Cero incidentes no es una métrica
El primer cuadro de mando de un programa de gobierno de IA tiende a parecer perfecto.
Cero auditorías con hallazgos. Cero requerimientos del supervisor. Cero reclamaciones de clientes por una decisión automatizada. Cero incidentes. Cuatro indicadores en verde, y a nadie le extraña, porque así es como se imagina un dominio bajo control.
No sabes si algo va bien. Lo que sabes es que el programa lleva seis meses en marcha.
El verde que da el calendario
Los indicadores rezagados miden consecuencias, y las consecuencias tardan. Una auditoría necesita que haya habido un plan de auditoría que te incluyera. Un requerimiento necesita un supervisor que ya esté mirando. Una reclamación necesita un cliente que sepa que una decisión sobre él fue tomada por un sistema, y hace falta un canal por el que reclamarlo.
En un dominio con quince años de historia, un cero en esos cuatro indicadores es información: hay detección montada, hay recorrido, y aun así no ha pasado nada. En un dominio estrenado hace seis meses, el mismo cero es una propiedad del calendario.
El problema no es que el dato sea falso. Los cuatro ceros son rigurosamente ciertos. El problema es que el cuadro de mando los presenta con la misma semántica que tendrían en un dominio maduro, y quien los lee (un comité, un consejo) aplica la lectura que ha aplicado toda su vida profesional.
«Sin evidencia» es un estado, y no es «adecuado»
La corrección es de diseño y hay que tomarla antes de la primera medición.
Un indicador rezagado en un dominio nuevo no arranca en verde. Arranca en sin evidencia: no se ha comprobado, no hay dato, o el canal de detección todavía no existe. Es un estado distinto de adecuado, y la diferencia entre los dos es el trabajo entero del primer año.
Hacerlo después es mucho más caro. Nadie quiere ir a un comité a explicar por qué un indicador que llevaba tres trimestres en verde pasa a ámbar sin que haya ocurrido nada. La conversación es imposible de ganar aunque tengas razón, porque parece que has encontrado un problema y en realidad has encontrado que nunca estuviste midiendo.
Y tiene una ventaja que compensa la incomodidad: obliga a nombrar qué haría falta para poder valorarlo. Un indicador en «sin evidencia» viene con una tarea pegada. Un indicador en verde no viene con nada.
Lo que sí puede demostrar un programa nuevo
Un programa recién montado no puede demostrar control con indicadores rezagados. Puede demostrarlo con los adelantados, que miden lo que haces y no lo que te pasa:
- Cobertura del inventario sobre los sistemas que se sabe que existen, y una segunda cifra, más incómoda, sobre los que aparecen cada trimestre sin haber sido declarados.
- Sistemas que pasan por evaluación antes de producción, sobre el total de los que entran en producción.
- Personas formadas sobre el total de las que operan sistemas, no sobre la plantilla.
- Decisiones registradas con su motivo, que es lo que permite reconstruir el porqué meses después.
Ninguno de estos cuatro puede salir en verde por no haber pasado nada. Todos exigen haber hecho algo. Por eso son los que valen el primer año.
Un dato, dos audiencias, si escribes la regla
Los mismos indicadores suelen servir a dos foros: el seguimiento del propio programa y la valoración de riesgo operacional, que trabaja con escalas cualitativas de pocos niveles.
La tentación es mantener dos cuadros. La alternativa que funciona es mantener uno y escribir la regla que traduce el valor a la escala de la otra función: qué porcentaje corresponde a cada nivel de adecuación, acordado y firmado por las dos partes antes de cablearlo.
Si esa regla no está escrita, la traducción la hace cada uno por su cuenta y el mismo dato produce dos conclusiones distintas en dos comités distintos. La discusión que sigue es predecible, y no va del dato: va de quién tradujo mal.
Los indicadores indirectos no se leen solos
Casi todo lo que se mide en gobierno de IA es indirecto, porque lo que importa no se deja medir.
La formación completada es un indirecto de criterio. Se puede completar un año sin ganar ni un gramo de criterio, y el indicador no lo detecta. La cobertura del inventario es un indirecto de control: un inventario completo de sistemas mal descritos no controla nada, y sale en verde igual.
Un indirecto leído solo invita a optimizar la señal en vez del fondo. Es la forma más común de que un cuadro de mando empiece a mentir sin que nadie haya falseado un dato, y ya lo conté con más detalle en el KPI que mentía.
La defensa es barata: cada indirecto se lee junto a uno que lo contradiga. Formación completada, al lado de preguntas recibidas. Cobertura del inventario, al lado de sistemas descubiertos fuera de él. Si los dos suben a la vez, hay algo. Si sube uno solo, tienes una señal, no un hallazgo.
Lo que hay que decir en el primer comité
Que el cuadro de mando del primer año no sirve para decir que todo va bien. Sirve para decir qué se está construyendo y a qué ritmo.
Es un mensaje peor y es el único defendible, y forma parte de lo que un Consejo debería oír y casi nunca escucha. Un programa de gobierno que presenta cuatro verdes en su primer trimestre no está informando: está pidiendo que le dejen en paz. Suele funcionar, y es exactamente por eso por lo que hay que no hacerlo.