En este capítulo
Fundamentos de sistemas de IA
Los sistemas de inteligencia artificial aprenden patrones o producen resultados a partir de datos y modelos, pero no todos funcionan del mismo modo. Entrenar consiste en ajustar un modelo con información; inferir es utilizarlo para generar un resultado; el ajuste adicional o fine-tuning modifica su comportamiento en determinados contextos. Un modelo generativo puede producir textos convincentes que contengan errores. El rendimiento depende de datos, tarea y entorno, y puede variar con el tiempo. Por eso hay que distinguir una aplicación que clasifica registros de otra que redacta recomendaciones. La pregunta esencial es qué decisión o proceso afecta, no si utiliza una etiqueta comercial de «IA».
Conceptos de este apartado
- Machine learning y modelos generativos: conceptos
- Entrenamiento, inferencia y fine-tuning
- Datasets, modelos, prompts y outputs
- Sistemas deterministas y probabilísticos
- Limitaciones, alucinación y drift
- Cadena de valor y actores de IA
Marco regulatorio europeo de IA
El Reglamento europeo de inteligencia artificial, o AI Act, organiza obligaciones según tipo de práctica, sistema, función y riesgo. Existen usos prohibidos, reglas de transparencia y exigencias específicas para determinados sistemas de alto riesgo; los calendarios de aplicación no son uniformes. Un sistema sanitario no queda clasificado automáticamente solo por mencionar medicina: importa su finalidad prevista, su condición de producto regulado y el supuesto normativo concreto. También deben distinguirse proveedores y quienes despliegan o utilizan el sistema, porque sus deberes pueden ser diferentes. La aplicación de estas normas exige revisar el texto vigente, reformas y disposiciones transitorias antes de afirmar obligaciones efectivas.
Conceptos de este apartado
- Enfoque basado en riesgos
- Prácticas prohibidas
- Sistemas de alto riesgo
- Obligaciones de proveedores y desplegadores
- Modelos de propósito general
- Documentación, supervisión y vigilancia post-comercialización
Gobierno y gestión de riesgo de IA
Gobernar IA comienza por identificar dónde se utiliza realmente, con qué datos y para qué finalidad. Un inventario permite distinguir aplicaciones aprobadas de herramientas incorporadas informalmente por equipos. La evaluación de riesgo analiza errores, exposición de información, efectos sobre personas y dependencia de proveedores. La supervisión humana debe ser efectiva: no basta con declarar que «una persona decide» si la interfaz empuja siempre a aceptar la recomendación. Los cambios de modelo requieren seguimiento porque pueden modificar resultados sin alterar visiblemente la pantalla. Una organización madura registra responsabilidades, límites de uso, incidentes y decisiones de aceptación de riesgo.
Conceptos de este apartado
- Inventario de sistemas de IA
- Clasificación de casos de uso
- AI risk assessment
- Roles y comités
- Human oversight
- Métricas, incidentes y cambios de modelo
Seguridad de IA
La seguridad de IA introduce amenazas específicas además de los riesgos informáticos tradicionales. Una inyección de instrucciones o prompt injection intenta que un sistema procese órdenes ocultas en contenido que debía tratar como dato. El envenenamiento de datos puede alterar entrenamiento; la extracción de modelos busca obtener información sobre su funcionamiento o componentes; la fuga de datos puede revelar secretos en respuestas. Con agentes conectados a herramientas, el riesgo aumenta cuando una instrucción puede desencadenar acciones reales. Las defensas requieren permisos mínimos, separación de confianza, pruebas y registro de operaciones. Una respuesta fluida no demuestra que sea segura ni correcta.
Conceptos de este apartado
- Prompt injection
- Data poisoning
- Adversarial examples
- Model extraction y model theft
- Data leakage y exposición de secretos
- Abuso de agentes y herramientas conectadas
Privacidad, propiedad intelectual y datos
Los conjuntos de entrenamiento e inferencia pueden contener datos personales, obras protegidas o secretos empresariales. El origen y la licencia de cada fuente importan para analizar qué usos son posibles. Un modelo puede reproducir fragmentos de información o exponer contenidos cuando se le consulta de manera inesperada. Las cuestiones de propiedad intelectual no se resuelven únicamente comprobando que la herramienta fue contratada de forma legítima. Los contratos con proveedores deben examinar retención de prompts, entrenamiento con datos enviados, ubicación y seguridad. La minimización y el control de acceso continúan siendo relevantes aunque el sistema produzca texto en lugar de almacenar expedientes tradicionales.
Conceptos de este apartado
- Bases y procedencia de datasets
- Datos personales en entrenamiento e inferencia
- Memorización y extracción
- Copyright y contenido generado
- Secretos empresariales
- Contratos con proveedores de modelos
Assurance y documentación de IA
La evaluación de sistemas de IA necesita documentación comprensible: finalidad, datos de referencia, límites, versiones, resultados de pruebas y mecanismos de supervisión. Fichas de modelo y de sistema ayudan a conservar ese contexto, pero no sustituyen verificaciones independientes. Las pruebas pueden examinar errores, sesgos, ataques y comportamiento ante cambios de datos; el registro permite reconstruir qué versión generó una salida. En pediatría, por ejemplo, una herramienta entrenada con población adulta puede fallar en lactantes: la validación debe corresponder al uso real. Un informe de control debe distinguir capacidad demostrada, condiciones de funcionamiento y riesgos todavía abiertos.
Conceptos de este apartado
- Model cards y system cards
- Evaluaciones y red teaming
- Logging y trazabilidad
- Controles de acceso
- Gestión de cambios y versiones
- Evidencia para auditoría y cumplimiento
Un caso para comprenderlo
Un centro sanitario incorpora una aplicación que señala pacientes pediátricos de alto riesgo. Antes de utilizarla de forma habitual necesita saber con qué población fue validada, cómo informa sus límites, quién revisa las recomendaciones y qué registros conserva. Una alerta puede condicionar decisiones incluso cuando la persona sigue siendo formalmente responsable. El ejemplo procede de los problemas analizados en «Inteligencia Artificial y Nuevas Tecnologías en Pediatría».
Cómo aplicar estos conceptos
El punto de partida es describir el sistema o situación con precisión, distinguir hechos de suposiciones y seleccionar qué información permitiría comprobar una conclusión. A partir de ahí se identifican riesgos, controles, responsabilidades y evidencias posibles. La utilidad de estos conocimientos aumenta cuando se relacionan con otras áreas de la ciberseguridad y del Derecho informático.
Aplicación en salud. Para comprender la importancia de validar modelos de IA, resulta ilustrativo el trabajo Inteligencia Artificial y Nuevas Tecnologías en Pediatría, de Mariano Enrique Torres Ponce y María Noel Arana. Describe cómo una alerta automatizada puede condicionar el juicio profesional y por qué la trazabilidad, la supervisión y la evaluación en la población concreta importan tanto como la precisión general del sistema.
Fuentes y lecturas de referencia
- Reglamento europeo de inteligencia artificial
- Calendario de aplicación del AI Act
- NIST AI Risk Management Framework
- Espacio Europeo de Datos Sanitarios, Reglamento (UE) 2025/327
Para aplicar estos marcos a un caso concreto deben comprobarse la versión vigente, el ámbito de aplicación y las condiciones del supuesto.
Lecturas relacionadas
Análisis relacionado: inteligencia artificial en salud, decisiones y responsabilidades