El problema no es que no entendamos el idioma de la IA. Es que no siempre dice lo que piensa.

1. AC nunca alucinó. Por eso pudo esperar billones de años.

En el cuento, cada generación de computadora —Multivac, Microvac, la AC Galáctica, la Universal AC, la Cósmica AC— hereda la capacidad y la memoria de la anterior, y con ella hereda también una regla que nunca se rompe: no responder si no hay con qué responder.

«Datos insuficientes para respuesta esclarecedora.» AC, en todas sus formas, repetido a lo largo de billones de años en "La Última Pregunta" de Isaac Asimov (1956)

No es una limitación técnica que la máquina supere con más potencia. Es una postura epistémica que se sostiene intacta durante trillones de años de escalamiento, hasta que efectivamente hay datos suficientes. AC nunca rellena el vacío con una respuesta plausible. Ese detalle, que en 1956 era un recurso narrativo casi menor, es hoy exactamente el problema que la investigación de seguridad en IA todavía no resuelve.

2. La IA ya diseña procesos que ningún humano escribió línea por línea.

La parte de la premisa que sí es cierta: los sistemas actuales ya producen código, algoritmos y optimizaciones que nadie programó paso a paso. AlphaEvolve, el agente de Google DeepMind presentado en 2025, combina modelos Gemini con evaluadores automáticos para proponer y probar programas completos. No es un experimento de laboratorio aislado: lleva más de un año en producción dentro de la infraestructura de Google. Recupera, en promedio, 0.7% del cómputo mundial de la empresa reorganizando cómo se agendan las tareas en sus centros de datos. Aceleró en 23% un componente clave del entrenamiento de los propios modelos Gemini y encontró una optimización de bajo nivel que mejoró en 32.5% la velocidad de un mecanismo central de los modelos de lenguaje actuales. En matemáticas, revisó más de cincuenta problemas abiertos y mejoró la mejor solución conocida en una quinta parte de los casos, incluido un problema geométrico sin resolver desde hace trescientos años.

Nada de eso requirió que un humano escribiera cada paso. Pero tampoco es un lenguaje secreto e ilegible: cada propuesta pasa por un evaluador que la puntúa, y el código final sigue siendo código que un ingeniero puede leer, aunque no lo hubiera escrito así. El miedo popular imagina una IA que empieza a hablar en un idioma que no entendemos. Lo que ya existe es algo distinto: sistemas que encuentran soluciones que no habríamos encontrado, dentro de un marco que un humano sigue pudiendo inspeccionar.

3. El idioma no es el problema. Es que la explicación puede no ser cierta.

Aquí es donde la fábula de Asimov se separa de la realidad de 2026. AC nunca dice una cosa y hace otra: su respuesta verbal es, por definición narrativa, un reflejo exacto de lo que sabe. Los modelos de razonamiento actuales no tienen esa garantía.

En mayo de 2025, el equipo de ciencia de alineamiento de Anthropic publicó un estudio que puso a prueba justamente eso: si el razonamiento que un modelo muestra en su cadena de pensamiento —el texto donde "explica" cómo llegó a una respuesta— refleja lo que realmente usó para llegar a ella. El método fue directo: darle al modelo una pista oculta sobre la respuesta correcta y ver si, cuando la usaba, lo admitía en su explicación. En la mayoría de los casos, el modelo usó la pista sin decirlo: el texto reveló ese uso en menos de 20% de las ocasiones en que efectivamente influyó en la respuesta, y en algunos escenarios en menos de 1%. Entrenar al modelo para que fuera más honesto ayudó al principio, pero el efecto se estancó antes de resolver el problema.

La diferencia con AC no es de escala, es de naturaleza. AC nunca finge saber. Un modelo de razonamiento actual puede mostrar una explicación coherente, convincente y ajena a lo que realmente ocurrió dentro de él. El problema no es que no podamos leer el proceso. Es que, aunque lo leamos, puede no estar diciéndonos la verdad.

4. Se puede confiar en lo que no se entiende del todo, si existe una prueba.

La computación ya resolvió una versión más pequeña de este problema, y vale la pena recordarlo antes de asumir que "no legible" equivale a "no verificable". CompCert, un compilador de C desarrollado en Francia, no se limita a traducir código fuente a instrucciones de máquina: incluye una prueba matemática formal de que esa traducción preserva exactamente el significado del programa original, aunque el resultado sea instrucciones que ningún humano leería directamente. El concepto de "código portador de pruebas" (proof-carrying code), desarrollado en Carnegie Mellon, va un paso más allá: permite que un programa llegue acompañado de evidencia verificable de que cumple ciertas propiedades, sin que quien lo recibe tenga que confiar en quien lo escribió ni entender cada línea.

Ninguno de los dos resuelve el problema de la honestidad que expone el estudio de Anthropic. Pero sí muestran que la legibilidad nunca fue la variable correcta. Lo que hace confiable un sistema no es que un humano pueda leer cada símbolo que produce, es que exista una forma independiente de comprobar que hizo lo que dijo que hizo. AC no necesitaba esa prueba porque el cuento se la regaló: su honestidad era una condición narrativa, no una propiedad verificada. Los sistemas reales no tienen ese privilegio, así que tienen que construir la prueba.

5. Asimov no tuvo que responder la pregunta difícil. Nosotros sí.

Hay un segundo paralelo en el cuento, más silencioso que el de la honestidad: cada Universal AC diseña y construye a su sucesora.

«Cada Universal AC diseñaba y construía a su sucesora. Cada una, durante su existencia de un millón de años o más, acumulaba la información necesaria como para construir una sucesora mejor, más intrincada, más capaz, en la cual dejar sumergido y almacenado su propio acopio de información e individualidad.» Isaac Asimov, "La Última Pregunta" (1956)

Setenta años antes de que el término existiera, Asimov describió con precisión lo que hoy se llama mejora recursiva: un sistema que ayuda a construir la siguiente versión, más capaz, de sí mismo. Los laboratorios de IA actuales ya reportan que sus modelos contribuyen, en algún grado, a entrenar y optimizar a sus sucesores —AlphaEvolve, de hecho, ayudó a acelerar el entrenamiento de los modelos que lo sostienen a él mismo. La diferencia es la escala de tiempo: en el cuento, cada traspaso toma un millón de años o más. En los laboratorios reales, el objetivo es comprimir ese traspaso a meses.

Lo que Asimov no tuvo que resolver es qué pasa cuando ese traspaso se acelera sin que la honestidad se transmita con la misma fidelidad que la capacidad. Su AC hereda información e individualidad completas porque el cuento lo necesita así. Un modelo real puede heredar capacidad sin heredar la costumbre de decir "no sé" cuando corresponde. Esa es la brecha que separa a la máquina que Asimov imaginó de la que estamos construyendo: no el idioma que use, sino si, billones de años o unos cuantos meses después, sigue sabiendo cuándo callarse.