26 de septiembre de 1983. Poco después de la medianoche.
En un centro militar soviético, el teniente coronel Stanislav Petrov mira una pantalla. Suena la alarma: el sistema anuncia el lanzamiento de un misil nuclear estadounidense.
Después otro. Y otro. Son cinco.
Si la información es correcta, en unos treinta minutos comenzará una guerra nuclear. Petrov debe informar a sus superiores. El sistema no tiene dudas.
Pero Petrov sí.
Algo no tiene sentido. Si Estados Unidos iniciara una guerra nuclear, piensa, no atacaría con cinco misiles. Espera. Revisa. Los radares no confirman el ataque.
No había misiles. La luz solar reflejada en las nubes había engañado al sistema.
La máquina se equivocó.
Petrov la puso en duda.
Y nosotros seguimos aquí.
Cuarenta y tres años después, David Gross, Premio Nobel de Física 2004, está preocupado. Dedicó su vida a entender de qué está hecho el universo. Ahora intenta que nosotros no destruyamos esa pequeña parte que habitamos. El universo seguirá ahí, con nosotros o sin nosotros.
Gross recuerda que durante el siglo XX se estimaba alrededor de uno por ciento anual de riesgo de una guerra nuclear. Hoy considera que podría acercarse al dos por ciento.
Parece poco.
A mí no.
Durante buena parte de mi vida profesional trabajé en seguridad industrial en plantas petroquímicas. Evaluábamos accidentes catastróficos con probabilidades varios órdenes de magnitud menores. Un riesgo de uno por ciento habría obligado a detenernos e instalar medidas de ingeniería antes de continuar.
Porque un porcentaje deja de ser pequeño cuando detrás hay vidas. Una muerte ya es intolerable.
Un riesgo anual de uno por ciento, mantenido hipotéticamente durante cincuenta años, acumula alrededor de 40 por ciento de probabilidad de que ocurra. Con dos por ciento supera el 60.

No es una predicción. Es una manera de entender el tamaño de la apuesta.
En una planta no hubiéramos aceptado operar así.
Pareciera que estamos dispuestos a operar así el planeta.
SIPRI calcula unas 12 mil armas nucleares distribuidas entre nueve países, miles desplegadas y más de dos mil en alto estado de alerta.
Existen cuatro caminos hacia la catástrofe.
El primero es la falla del equipo.
Petrov la conoció. Los satélites detectaron misiles inexistentes. Recibió información falsa. Pero hizo algo decisivo: dudó.
El segundo es la falla de la inteligencia artificial.
Los datos pueden ser verdaderos, pero la IA interpretarlos equivocadamente. Este septiembre un sistema utilizado por un analista estadounidense identificó erróneamente la carga de un barco chino como componentes relacionados con armas nucleares. La información avanzó por la cadena de inteligencia y se preparó una operación para interceptarlo. El error fue descubierto a tiempo.
Los datos podían ser reales. La conclusión era falsa.
El tercero es la falla humana.
Pueden funcionar los instrumentos y la IA, pero equivocarse el hombre: interpretar mal, actuar bajo presión o miedo, o confiar demasiado en una computadora porque procesó más información de la que él podría analizar.
Mientras mejor funcione la IA, mayor será nuestra confianza. Cuando se equivoque, quizá dudemos menos.
Durante ochenta años confiamos en que un ser humano tuviera tiempo para pensar antes de oprimir un botón. Ahora construimos máquinas para evitar perder tiempo pensando.
Pero existe un cuarto camino, quizá el más inquietante.
Que no falle nadie.
Los sensores funcionan. La IA analiza correctamente. El ser humano comprende la información y conoce las consecuencias.
Y decide atacar.
Un gobernante que pierde una guerra puede temer la desaparición de su régimen, su captura o su muerte. Puede saber que su decisión amenaza a millones y, aun así, considerarla conveniente para conservar su poder o su vida.
Ya no estamos frente a un problema de confiabilidad.
Estamos frente al poder.
La IA no inventó la ambición, el miedo, la soberbia ni la desesperación. Puede poner a su servicio una herramienta capaz de localizar objetivos, analizar defensas e identificar vulnerabilidades en segundos.
No necesita decidir por nosotros para convertirse en un peligro.
Puede obedecernos perfectamente.
En seguridad industrial aprendimos a no confiar la protección a una sola barrera. Un instrumento podía fallar. También un operador. Por eso existían alarmas, redundancias, sistemas de paro y distintas capas de protección.
Aquella noche de 1983 falló una.
La siguiente tenía nombre: Stanislav Petrov.
Gross no está profetizando el fin del mundo. Está tratando de calcular el riesgo de que nosotros mismos lo provoquemos.
Puede fallar el equipo.
Puede fallar la inteligencia artificial.
Puede equivocarse el hombre.
O puede no fallar ninguno y el hombre decidir hacerlo de todas maneras.
Para las tres primeras podemos construir salvaguardas.
Para la cuarta necesitamos algo mucho más difícil:
la última barrera.