El KPI que mentía y el riesgo que cambió de cara
El comité de governance había aprobado todo. KPIs en verde. Actas firmadas. Próxima reunión, dentro de tres meses.
Tres semanas después, soporte recibe una queja. Un cliente ha cambiado dos veces de tarificación en quince días por la misma operación. Algo ha cambiado en el modelo. Nadie lo ha detectado a tiempo.
El responsable mira el dashboard. Los indicadores siguen en verde. La auditoría programada del modelo, la siguiente, dentro de dos meses. El acta de abril sigue diciendo que todo estaba bien. Y lo estaba. En abril.
Esto pasa todas las semanas en organizaciones que dicen tener gobierno de IA. La escena anterior es compuesta: no un caso propio, sino el patrón que se repite, con variantes, en organizaciones reales. La razón es estructural: están aplicando a la IA los rituales de governance diseñados para sistemas que no cambian.
Tres rituales heredados, tres trampas concretas.
En otro artículo defendía que el gobierno de IA solo funciona si lo entendemos como sistema adaptativo. Aquí hablo de qué rituales lo impiden, y de qué los sustituye.
El KPI que cuenta actividad en lugar de decisiones
El indicador más extendido en governance de IA es alguna variante de “modelos revisados por el comité este trimestre”. Doce modelos revisados, KPIs en verde.
Doce modelos revisados no es una métrica de gobernanza. Es una métrica de productividad del comité.
La pregunta que sí gobierna es otra. ¿Cuántas decisiones de modelo se han modificado por la revisión? ¿Cuántos despliegues se han bloqueado? ¿Cuántos incidentes se han detectado antes de que llegaran al cliente? ¿Cuántos KPIs heredados de otros comités se descubrió que estaban midiendo lo que no era?
Si la respuesta a las cuatro es cero, la conclusión no es que todo va bien. Es que el comité no está mirando. O está mirando lo que no era.
Los KPIs de governance que cuentan actividad sirven para llenar slides en la presentación al Board. No detectan nada. Y lo que es peor: dan cobertura. Si alguien dentro de la organización dijera “no estamos viendo riesgos importantes”, el KPI verde sería su contraargumento. El indicador que no detecta no es neutral. Es activamente cómplice.
El comité que se reúne cuando ya da igual
El segundo ritual heredado es la cadencia trimestral. Tiene su lógica: los comités trimestrales funcionaban cuando los sistemas que gobernaban cambiaban en escala de años. Un proceso de fabricación. Una política comercial. Una decisión de inversión.
Un modelo de IA en producción no funciona así.
El comportamiento de un modelo puede degradarse en semanas si los datos de entrada cambian de distribución. Puede generar sesgos nuevos en días si una integración aguas arriba modificó un campo. Puede empezar a tomar decisiones en categorías para las que no fue entrenado en horas, si alguien expande el alcance sin avisar.
Cuando el comité se reúne en julio para aprobar el cierre del segundo trimestre, lleva tres meses gobernando con los datos de abril. Si en mayo algo cambia, lo va a descubrir en octubre. Cuando lo descubra, las decisiones afectadas ya habrán sido tomadas.
La cadencia trimestral no es prudente. Es ficción. Es una formalidad heredada de un mundo que no se parece al que estamos gobernando.
La aprobación puntual que no aprueba nada
El tercer ritual es el más resistente, porque viene envuelto en una pretensión de rigor. Aprobar un modelo en una fecha concreta, con su documentación, su evaluación de impacto, su análisis de sesgo y su plan de monitorización.
Toda esa carpeta tiene una fecha de caducidad que nadie escribe en la portada. El modelo aprobado en abril es el mismo modelo, sí. Pero está procesando otros datos, en otro contexto, con otros consumidores aguas abajo, con otros casos de uso que se le han ido añadiendo sin que la aprobación original los previera.
La aprobación, en IA, no se concede. Se mantiene. Y mantenerla requiere infraestructura de detección, no un sello de comité.
Cuando alguien me dice “el modelo está aprobado”, le pregunto la fecha. Si la fecha es de hace más de tres meses, no está aprobado. Está documentado.
Lo que sustituye a las tres trampas
Detección continua. La frase es simple. Lo que está debajo, no tanto.
Detección continua significa cuatro cosas, en este orden.
Primero, indicadores que miden decisiones del comité, no actividad del comité. Si el comité no cambia decisiones, no está gobernando. Punto de partida.
Segundo, instrumentación del modelo en producción que dispare alertas antes de que el dashboard del comité las recoja. La señal tiene que llegar al equipo operativo, no al órgano de gobierno. El órgano se entera después: cuando la señal ya fue tratada, o cuando no se pudo tratar y necesita decisión.
Tercero, reuniones no calendarizadas. La cadencia trimestral se mantiene como ritmo de revisión estratégica, no como mecanismo de detección. Las reuniones que detectan se convocan cuando la instrumentación las pide. Si no hay nada que detectar, no hay reunión. Si hay algo, hay reunión esta semana, no la del trimestre.
Cuarto, expiración explícita de aprobaciones. Toda decisión de gobernanza lleva fecha de revisión obligatoria atada a condiciones del sistema, no del calendario. El modelo se reaprobará cuando cambie de distribución de datos, cuando expanda casos de uso, cuando supere un umbral de incidentes, cuando se modifique aguas arriba o aguas abajo. No cuando toque por agenda.
Esto no es teoría. Es lo que se hace en Statistical Process Control desde hace cuarenta años. La variación natural se tolera. La variación especial dispara intervención. La diferencia con governance de IA es que el sector ha decidido, por inercia, aplicar la lógica del comité industrial del siglo XX a sistemas que no se parecen en nada.
Gobernar es detectar. Aprobar es bendecir.
La línea que separa gobernanza real de gobernanza decorativa es esta: si tu comité aprueba cosas, no está gobernando. Está bendiciendo.
Un órgano de gobierno detecta. Decide en función de lo que detecta. Y cambia decisiones cuando las condiciones cambian, no cuando la agenda lo permite.
Un comité que bendice produce actas. Un órgano que detecta produce decisiones. Ambos pueden llamarse comité de governance. Solo uno lo es.
El KPI sigue en verde en la pantalla. El cliente está esperando una respuesta que el modelo ya no sabe darle. El acta de abril sigue ahí, firmada.
No había gobernanza. Había evidencias de aprobación.