Gobernar la IA requiere identificar sistemas y usos, evaluar riesgos, controlar datos y accesos, establecer supervisión y conservar documentación verificable.
Una situación para empezar
Un asistente resume documentos y empieza a decidir
Una organización introduce un asistente para resumir documentos públicos. Meses después algunas áreas lo utilizan con expedientes confidenciales y empiezan a confiar en sus sugerencias para tomar decisiones importantes.
Aunque el modelo sea el mismo, el riesgo no lo es. Cambian los datos, las personas afectadas, las consecuencias y los controles necesarios. Una política genérica no reemplaza un inventario de casos de uso.
Conceptos que conviene separar
Caso de uso
Actividad concreta para la que se utiliza el sistema de IA y su importancia para personas y procesos.
Alucinación
Salida incorrecta o no respaldada presentada de forma aparentemente convincente.
Prompt injection
Intento de manipular instrucciones o comportamiento de un sistema mediante contenido de menor confianza.
Supervisión humana
Capacidad efectiva de una persona para comprender límites, intervenir y corregir decisiones cuando corresponda.
Cómo se conecta todo
Los riesgos cambian según el uso
No tiene las mismas consecuencias generar un borrador de texto que apoyar decisiones de acceso a servicios, empleo o salud. El marco regulatorio y las medidas de control deben analizarse para cada sistema, rol y finalidad.
Seguridad del modelo y del entorno
Las fugas de datos, el acceso a herramientas, la dependencia de proveedores y las entradas maliciosas afectan al sistema completo. Controlar únicamente la respuesta visible del modelo es insuficiente.
Documentación que sirve para decidir
Registrar datasets, versiones, evaluaciones, incidentes, criterios de revisión y responsables permite discutir resultados y detectar cambios. El AI Act europeo contempla obligaciones diferenciadas por sistema y rol, con calendarios de aplicación que deben verificarse.
Un error frecuente
Confundir una respuesta fluida con una conclusión verificada. La calidad lingüística no demuestra exactitud factual, ausencia de sesgos ni adecuación jurídica.
Qué conviene comprobar
- Identificar herramientas, áreas usuarias y tipos de datos introducidos.
- Distinguir recomendaciones de decisiones con efectos sobre personas.
- Definir evaluaciones, supervisión, registros y un circuito de incidentes.
Fuentes para seguir profundizando
Las fuentes siguientes permiten ampliar los conceptos y verificar marcos o criterios técnicos. La vigencia de las disposiciones aplicables debe comprobarse en cada caso.