Tema del Observatorio
Seguridad, evaluación y observabilidad
Tema sobre cómo probar, observar y contener sistemas de IA cuando sus comportamientos no pueden darse por supuestos.
Varias fuentes comparten una exigencia básica: si un sistema puede producir efectos relevantes, hay que poder probarlo, observarlo y reconstruir qué hizo.
Fuentes que ayudan a verlo
- OWASP · Los agentes amplían la superficie de ataque
- OWASP · Skills y herramientas convierten al agente en una cadena de suministro
- OpenAI · Agents, herramientas y tracing como infraestructura
- NIST · Un perfil específico para riesgos de IA generativa
- NCSC · Human in, on or out of the loop
- Gartner · Guardian agents para supervisar agentes
Qué tienen en común
Los sistemas generativos y agénticos no se validan bien con una sola comprobación previa al lanzamiento. Cambian el contexto, las herramientas, las entradas y las combinaciones posibles. La evaluación se desplaza hacia un ciclo continuo de pruebas, observación y respuesta.
Ejemplo
Un agente funciona correctamente en pruebas, pero en producción recibe una instrucción inesperada a través de un documento externo y utiliza una herramienta con permisos excesivos. Si nadie registra la secuencia de acciones, el problema no es solo que haya fallado: tampoco sabemos reconstruir cómo ni contener bien la siguiente repetición.
Qué capacidad puede ganar valor
Red teaming, evaluaciones por escenario, trazas, monitorización, guardrails, detección de anomalías, pruebas de regresión y mecanismos de corte. También evidencia que permita demostrar después qué controles existían y cómo funcionaron.
Profesiones próximas
Ciberseguridad, QA, SRE, auditoría tecnológica, risk engineering, data science y especialistas de seguridad de aplicaciones tienen un campo de ampliación inmediato. Parte del trabajo clásico de testing y control se convierte en assurance continuo de comportamiento.
Quién puede necesitar esta capacidad
Desarrolladores de IA, plataformas, sectores regulados, empresas con agentes en producción y organizaciones donde un fallo puede afectar dinero, clientes, datos o continuidad operativa.
Límite de este tema
Observar no equivale a comprender por completo un modelo. La trazabilidad operativa reduce incertidumbre y mejora la capacidad de responder, pero no elimina todos los riesgos.