QUIEN NO CONOCE SU HISTORIA…
Agosto, 1939. Leo Szilard convence a Einstein de firmar una carta dirigida al presidente Frankiln D. Roosevelt advirtiendo del peligro de que la Alemania nazi desarrolle una bomba atómica. La carta funciona: nace el Proyecto Manhattan, que congrega a algunos de los científicos más brillantes de la historia en el desierto de Nuevo México para crear el artefacto más destructivo jamás construido.
Julio, 1945. El mismo Szilard redacta una petición con 70 firmas de científicos del Proyecto pidiendo que no se use la bomba contra Japón. Esta vez fracasa: la petición nunca llega a manos del presidente Harry S. Truman. El 6 de agosto de 1945, Little Boy cae sobre Hiroshima. Antes de que termine el año, más de 140 000 personas habrán muerto por el impacto y la radiación residual.
Entre esas dos cartas hay seis años, la misma mente, y una de las paradojas más reveladoras de la historia de la ciencia. Szilard no ignoraba el riesgo: lo había anticipado, articulado y firmado. Y aun así no pudo detener lo que había contribuido a crear.
El patrón se repite
Marzo, 2023. Más de 1 000 investigadores en inteligencia artificial –entre ellos, algunos de los arquitectos de los sistemas más potentes del mundo, como Yoshua Bengio o Geoffrey Hinton– firman una carta abierta pidiendo una pausa en el desarrollo de sistemas de inteligencia artificial. El argumento: estamos ante una “carrera fuera de control” para desarrollar mentes digitales que “nadie, ni siquiera sus creadores, puede entender, predecir o controlar de forma fiable”.
La carta se publica, pero el desarrollo continúa. La estructura recuerda a la de 1939-1945: los mismos agentes que construyen la tecnología identifican el riesgo, lo articulan públicamente y no son capaces detenerla. ¿Por qué?
La respuesta está en el cerebro
La neurociencia de la toma de decisiones ofrece dos mecanismos que explican este patrón con precisión:
Sesgo de disponibilidad. El cerebro humano genera predicciones continuas sobre el entorno a partir de la experiencia previa. Este sistema predictivo –anclado en el córtex prefrontal y el sistema límbico– es extraordinariamente eficiente para amenazas conocidas: un depredador, una enfermedad, un conflicto armado convencional. Pero ante amenazas sin precedente histórico, falla de forma estrepitosa: sin experiencia previa que sirva de referencia, el sistema no genera una señal de alarma proporcional a la magnitud real del riesgo.
Esto no es negación voluntaria ni falta de intelecto, es un límite neuro-arquitectónico. Una bomba capaz de destruir una ciudad entera era, en 1939, literalmente inconcebible para cualquier cerebro humano, incluido el de Szilard. Que él pudiera anticiparla intelectualmente no significa que su sistema de valoración emocional del riesgo respondiera con la intensidad correspondiente: la disociación entre comprensión intelectual y respuesta afectiva ante el riesgo es uno de los hallazgos más robustos de la neurociencia de la decisión.
Hoy, con la inteligencia artificial general (AGI), operamos bajo el mismo límite: podemos describir el riesgo con precisión milimétrica y seguir sin asimilar sus posibles consecuencias.
Descuento temporal hiperbólico. El segundo mecanismo es más insidioso. El córtex prefrontal valora las consecuencias futuras de forma no lineal: una amenaza a veinte años se descuenta hasta casi desaparecer frente a la recompensa inmediata. En contextos de alta motivación intrínseca –y pocos contextos generan mayor motivación que resolver un problema científico en tiempos de guerra, o construir la herramienta cognitiva más poderosa de la historia–, este descuento se descontrola. El proyecto se convierte en un fin en sí mismo.
El propio J. Robert Oppenheimer, eje vertebral del Proyecto Manhattan, lo formuló con una claridad que ningún neurocientífico ha superado: “Cuando ves algo técnicamente fascinante, lo llevas a cabo, y solo después de lograr el éxito te preguntas qué hacer con ello”. La recompensa del problema inmediato –su elegancia matemática, su complejidad técnica– superaba el peso de consecuencias que, aunque descriptibles numéricamente, eran abstractas y demasiado lejanas.
Los firmantes de ambas cartas –1945 y 2023– son, según cualquier métrica, mentes excepcionales. Sin embargo, el problema es algo más profundo: partimos de un hardware biológico diseñado para otro tipo de mundo, uno en el que las amenazas eran inmediatas, concretas, uno en el que sin precedente era sinónimo de inexistente.
La implicación es incómoda: no podemos abordar críticamente este problema con el mismo cerebro que lo está creando.
Ingeniería institucional para un cerebro limitado
Cuando la memoria individual se volvió insuficiente, externalizamos el conocimiento en libros e instituciones. El problema actual no es de capacidad de almacenamiento, es de arquitectura de valoración del riesgo. Por eso necesitamos una externalización de un tipo distinto: no de memoria, sino de juicio. No porque los científicos sean irresponsables, sino porque ningún cerebro humano, por brillante que sea, está equipado para razonar de forma fiable sobre lo que nunca ha ocurrido.
Diseñar planes sobre tecnologías de riesgo existencial exige compensar activamente estos sesgos: instituciones con horizontes temporales largos, mecanismos de disidencia estructurada, separación entre quienes desarrollan y quienes evalúan el riesgo. No es una cuestión de voluntad individual, sino ingeniería institucional para suplir lo que la arquitectura cognitiva humana no puede dar.
Szilard lo intentó desde dentro del sistema que él mismo había contribuido a construir. Redactó la petición, recogió las firmas, buscó los canales. No fue suficiente. La pregunta relevante no es si Szilard hizo todo lo que podía, es si el sistema en el que operaba estaba diseñado para contrarrestar los sesgos que él, como cualquier ser humano, no podía superar solo.
…ESTÁ CONDENADO A REPETIRLA
Szilard murió en 1964 sin ver una guerra nuclear. Quizás el sistema funcionó. O quizás tuvimos suerte. La diferencia entre ambas explicaciones importa más de lo que parece: si fue suerte, ¿confiaría a la suerte el futuro de nuestro planeta?
Fuente:
theconversation.com
