NIST AI RMF · Usar IA también significa aprender a gobernar sus riesgos

Entidad: National Institute of Standards and Technology (NIST)
Autora de la publicación: Elham Tabassi
Referencia: Artificial Intelligence Risk Management Framework (AI RMF 1.0) · 26 de enero de 2023

Cuando una herramienta de IA pasa de una demostración a participar en una actividad real, aparece una pregunta inevitable: ¿cómo sabemos que podemos confiar suficientemente en ella para ese uso?

NIST publicó su AI Risk Management Framework como una guía voluntaria, aplicable a distintos sectores y usos, para ayudar a organizaciones que diseñan, desarrollan, despliegan o utilizan sistemas de IA.

Su núcleo se organiza alrededor de cuatro funciones: govern, map, measure y manage. En lenguaje corriente: establecer responsabilidades, entender el contexto y los riesgos, medirlos y gestionarlos de manera continua.

El riesgo no se resuelve con una aprobación inicial

Ésta es probablemente la señal más importante de la pieza.

Un sistema puede comportarse razonablemente durante una prueba y generar problemas cuando cambia el contexto, los datos, los usuarios o la manera de utilizarlo.

Por eso NIST insiste en que la gestión del riesgo debe acompañar el ciclo de vida del sistema.

No basta con que alguien diga al principio «está aprobado».

Hay que saber para qué se usa, qué puede salir mal, cómo se detecta, quién responde y qué se hace si el comportamiento deja de ser aceptable.

Cuanto más útil es la IA, más cerca está de decisiones reales

Una IA que solo genera ideas de marketing tiene unas consecuencias. Una IA que ayuda a seleccionar candidatos, orientar una decisión médica, conceder crédito o actuar sobre infraestructura crítica tiene otras.

La capacidad técnica puede ser parecida, pero el riesgo cambia con el uso.

Esto obliga a conocer algo que no viene dentro del modelo: el contexto real de la actividad.

Ahí aparecen profesionales que entienden procesos, derecho, seguridad, personas, calidad y consecuencias sectoriales.

La gobernanza crea trabajo nuevo

Durante la primera ola de IA muchas empresas han concentrado la atención en elegir herramientas.

A medida que esas herramientas entran en operaciones reales, crece otro mercado: el de conseguir que su uso sea gobernable.

Habrá que identificar sistemas, clasificar usos, documentar decisiones, probar resultados, revisar sesgos, controlar accesos, responder a incidentes y decidir cuándo una persona debe intervenir.

Eso no puede resolverse únicamente con un comité que se reúne cada varios meses.

Necesita integrarse en el trabajo.

Oportunidades que abre esta necesidad

El marco de NIST hace visible una familia muy amplia de oportunidades.

Abogados pueden traducir obligaciones y responsabilidad a decisiones concretas de diseño y uso.

Profesionales de ciberseguridad pueden ampliar su trabajo hacia riesgos específicos de sistemas de IA.

Auditores pueden desarrollar procedimientos para revisar trazabilidad, controles y funcionamiento.

Especialistas de datos pueden trabajar sobre calidad, procedencia y uso adecuado de información.

Responsables de operaciones pueden incorporar controles sin convertir cada uso en un bloqueo burocrático.

Psicólogos, especialistas en sesgos y expertos sectoriales pueden ayudar a evaluar consecuencias que un equipo puramente técnico no detecta.

Aseguradoras y gestores de riesgo pueden crear productos y criterios nuevos a medida que exista mejor información sobre fallos y controles.

Y pequeñas firmas especializadas pueden ofrecer a empresas medianas una función de gobierno de IA que no necesitan construir por completo dentro.

El perfil profesional también cambia

Muchos profesionales ya tienen una parte de lo necesario.

Un abogado de compliance conoce responsabilidad y procesos de control. Un auditor sabe trabajar con evidencia. Un responsable de seguridad conoce permisos e incidentes. Un profesional de calidad está acostumbrado a medir y corregir.

La oportunidad está en aprender qué cambia cuando el objeto que se gobierna es un sistema de IA y combinar conocimientos que antes vivían separados.

No hace falta que todos se conviertan en científicos de datos.

Hace falta que entiendan suficientemente la tecnología para hacer buenas preguntas sobre sus consecuencias reales.

Qué nos dice esta pieza sobre Lo que viene

NIST no afirma que toda IA sea peligrosa ni ofrece una arquitectura empresarial completa.

Lo que sí hace es institucionalizar una idea que irá ganando importancia: la capacidad artificial útil necesita una capacidad paralela de gobierno.

Cuantos más procesos dependan de IA, más valor tendrá quien consiga hacer compatibles velocidad, innovación, seguridad y responsabilidad.

Ahí aparece otra parte del nuevo mercado.

No solo construir capacidad nueva, sino hacer posible que pueda utilizarse sin perder el control sobre aquello que importa.