OpenAI y la seguridad nuclear: lo que la IA debería copiar

Tras renunciar a OpenAI, David Robinson —que dirigía los informes de seguridad— pidió en The Atlantic que la IA se apoye en la experiencia que ya existe en otros campos de alto riesgo, como las plantas nucleares y la aviación. Su frase: si el riesgo de perder el control es serio, "se acabó el tiempo del ensayo y error". La pregunta que deja para quien usa agentes es simple: ¿el tuyo se apagaría solo?

La idea: copiar a quienes ya saben de riesgo

Robinson no habla en abstracto. Propone tomar prestadas prácticas probadas: el apagado inmediato de un reactor (el scram), la defensa en profundidad (varias capas de seguridad independientes) y la cultura del regulador nuclear de EE. UU.; y, de la aviación, los reportes confidenciales de incidentes (el ASRS de la NASA), donde se puede contar un error sin miedo a represalias para que todos aprendan.

Frente a eso, la semana de OpenAI

El contraste es duro. En los mismos días, OpenAI despidió a tres investigadores de seguridad, y en un incidente anterior una alarma avisó de un problema… pero no apagó el modelo, que siguió corriendo hasta que alguien lo detuvo a mano. Es justo lo que las industrias maduras evitan: detectar sin poder frenar. OpenAI publicó el 28 de septiembre una propuesta —casos de seguridad y controles que "fallen cerrados"—, aún en proceso de implementarse, y Joshua Achiam respondió al debate.

Qué copiar en tus agentes

La lección es muy aplicable. En una prueba propia comparamos dos controles de Claude Code: uno que "falla abierto" (si el control se cae, la acción pasa igual) y uno que "falla cerrado" (si algo sale mal, se bloquea). La diferencia lo es todo. Diseña tus agentes para que, ante la duda o el error, se detengan en vez de continuar. Un sistema seguro no es el que nunca falla, sino el que, cuando falla, falla hacia el lado seguro.