Gonzalo Hernández Araujo · Notas e investigaciones

Por Gonzalo Hernández Araujo

Sobre el riesgo de la IA hay tres respuestas. Las tres te piden que les creas.

Sobre si la inteligencia artificial puede acabar con nosotros hay tres respuestas en circulación. Unos dicen que sí. Otros dicen que no. Y unos cuantos dicen que todo esto es una movida comercial para quedarse con el pastel.

Las tres suenan razonables según quién las cuente. Y las tres, si te fijas, te piden exactamente lo mismo: que les creas.

El que dice que sí te pide confiar en su alarma, que casi siempre viene de alguien que trabaja dentro de un laboratorio o cerca de uno. El que dice que no te pide confiar en su cálculo, que casi siempre viene de alguien que necesita que la inversión no se frene. Y el que dice que es una movida comercial te pide confiar en su mapa de dinero, que es la postura más atractiva de las tres porque explica todo sin necesidad de entender nada.

No tengo manera de saber cuál de las tres va a tener razón sobre el futuro. Tú tampoco. Y esa, más que cuál de las tres tenga razón, me parece la parte interesante del asunto.

Antes de la pelea hubo cosas que sí pasaron

El debate no salió de la nada. El 10 de septiembre, Anthropic publicó un reporte de 154 páginas sobre operaciones maliciosas detectadas en su plataforma entre diciembre de 2025 y agosto de 2026. No describe una superinteligencia que se haya escapado. Describe actores que usaron Claude para ciberataques, vigilancia, fraudes y otras actividades, con humanos definiendo objetivos y revisando resultados.

En varios casos, según el reporte, la IA ya no se usó sólo para hacer preguntas: participó en la ejecución u orquestación de flujos multiagente. Eso incluye reconocimiento, phishing, extracción de datos y adaptación de herramientas cuando una defensa las detectaba. Es un riesgo actual de velocidad, escala y costo para los defensores. No es la prueba de que las máquinas vayan a acabar con nosotros.

Un día antes, Jacob Coxon anunció que renunciaba a Anthropic. Había trabajado en investigación de preentrenamiento en OpenAI y Anthropic, y escribió que ambas empresas corrían hacia una superinteligencia que se mejora a sí misma, «apostando con nuestras vidas». AP confirmó su salida y recogió sus declaraciones. Su advertencia no demuestra que ese futuro sea inminente. Pero ayudó a que una discusión técnica se volviera pública de golpe.

No era la primera salida pública de ese tipo: en febrero, Mrinank Sharma, quien dirigía el equipo de salvaguardas de Anthropic, también renunció y habló de un mundo «en peligro» por varias crisis conectadas. Esa salida tampoco prueba una posición uniforme dentro de la empresa. Muestra que el desacuerdo no viene sólo de fuera. Forbes, sobre la renuncia de Sharma

Aquí conviene no revolver las capas: el informe es evidencia producida por Anthropic sobre incidentes que observó en su servicio; la renuncia es el diagnóstico de alguien que estuvo dentro; y el futuro que ambos imaginan sigue siendo una disputa. El problema empieza cuando usamos una capa para hacer pasar por cierta a otra.

1. La prueba que usamos está incompleta

La respuesta que se inventó para esto es la evaluación externa: si las empresas no pueden ser juez y parte, que alguien de fuera revise sus modelos y publique lo que encuentre. Suena bien. El problema empieza cuando uno pregunta qué vuelve «de fuera» a alguien.

La prueba que usamos casi siempre es una sola: ¿recibiste dinero de la empresa que evalúas? Es una buena pregunta. Pero se quedó corta.

METR es uno de los evaluadores más visibles de modelos de frontera. Dice no aceptar fondos de empresas de IA ni donaciones hechas por sus empleados o bajo su dirección. En la misma documentación pública explica algo más: las empresas le dan acceso y una cantidad significativa de tokens para evaluaciones, investigación e ingeniería.

Ahí está el hueco. No hay cheque, pero hay dependencia. Un evaluador puede necesitar de una empresa el acceso a modelos que el público no puede ver, los datos, el cómputo, las instalaciones y la información reservada que hace posible su trabajo. Ninguna de esas cosas aparece en una declaración de financiamiento, y todas se pueden retirar.

2. Lo más incómodo lo publicó el propio evaluador

Lo que hace útil este caso no es una filtración. Es que la organización lo contó ella misma.

En su informe de riesgos de mayo de 2026, METR explicó que al comenzar el piloto no tenía una política aplicable de conflictos de interés para el personal. Informó también que al menos seis participantes tenían relaciones personales cercanas con empleados de laboratorios de IA, y que trabaja desde un centro de investigación compartido que aloja a personal de algunos de esos laboratorios.

Nada de eso prueba que sus resultados sean falsos. Conviene decirlo claro, porque el atajo fácil sería juntar los nombres y dejar que suene a complicidad. Una relación personal no es una prueba de mala fe, y trabajar en el mismo edificio tampoco.

Lo que sí prueba es que la palabra «independencia» contiene más cosas de las que normalmente se ponen en una declaración de financiamiento. Y que el evaluador lo sabía antes que sus críticos.

3. El mapa del dinero tampoco te da con qué comprobar

La tercera postura, la de la movida comercial, tiene su versión más documentada en un repositorio de GitHub que rastrea el dinero del ecosistema de seguridad de IA: quién invirtió en qué laboratorio, quién financió a qué evaluador, qué nombres se repiten en los dos lados.

Es mejor que un hilo de X. Tiene filas de datos, documentos fiscales y enlaces, y permite ir de una afirmación a una fuente. Como mapa para encontrar dónde buscar, sirve.

Como prueba, no. Y lo interesante es que eso lo dice el repositorio mismo: sus propias auditorías internas concluyen que varias sumas se recomponen, pero que el gráfico sobre-atribuye dinero a un financiador, convierte recomendaciones y compromisos en algo que visualmente parece pago, y afirma algunos vínculos que los documentos no demuestran. Una de esas auditorías dice sin rodeos que el texto necesita corrección.

Ahí hay una distinción que casi nunca se hace y que cambia todo: recomendar un apoyo, comprometerlo y pagarlo son tres cosas distintas. En un gráfico se ven igual. En la realidad, no.

Así que la tercera postura queda donde quedaron las otras dos. Te ofrece una explicación completa y te pide creerle.

4. La propuesta que vuelve concreta la pregunta

En septiembre, Dario Amodei propuso que las empresas de frontera incorporen evaluadores externos con acceso permanente, «similar al de empleados», y mencionó a METR como un ejemplo posible.

Vale la pena cuidar el tiempo verbal, porque es donde suele perderse la precisión: Amodei dice que Anthropic pretende invitar pronto a un equipo externo, y lo presenta como un compromiso unilateral. No demuestra que ese equipo ya exista, ni que METR sea el elegido, ni que el contrato final publique todas las garantías que describe.

Aun así, la propuesta es seria y hace algo que ninguna de las tres posturas hace: dibuja condiciones que se pueden verificar. El equipo externo tendría acceso a espacios de trabajo, herramientas y permisos comparables a los del equipo interno de riesgos. Podría publicar hallazgos sobre riesgos, prácticas y sobre el acceso que recibió o no recibió. Y la empresa sólo podría tachar información por motivos estrechos: seguridad, privilegio legal, secreto comercial o confidencialidad de terceros; no porque una conclusión le resulte incómoda. Si una redacción afectara la conclusión, los evaluadores podrían decirlo en público.

También deja ver el problema en su forma más pura. Un evaluador empotrado ve cosas que nadie más ve, y esa cercanía no lo vuelve independiente por arte de magia. La independencia no dependería de estar fuera del edificio. Dependería de tres facultades concretas: acceso suficiente, libertad para disentir, y capacidad de explicarle al público qué no lo dejaron revisar.

Hay otra pregunta que ningún acuerdo de acceso resuelve: ¿alguien de fuera puede revisar el modelo, repetir el resultado o construir una alternativa sin pedir permiso?

Jack Dorsey la planteó el 14 de septiembre, en contra de que los límites se negocien entre los que ya controlan el cómputo. El debate sobre modelos abiertos es otro pleito y no lo voy a resolver aquí. El punto se sostiene sin él: un evaluador empotrado puede vigilar a quien le dio la llave. La llave sigue siendo de otro.

5. Cumplir la métrica no es cumplir el propósito

El 11 de septiembre, un grupo de matemáticos publicó una declaración sobre otra cosa que termina siendo la misma. Sostienen que resolver problemas matemáticos se ha vuelto una medida demasiado seductora del progreso de la IA: una solución puede ser correcta y aun así dejar fuera lo que la matemática necesita para seguir viva, que es comprensión, atribución, discusión, enseñanza y tiempo para que una idea entre al trabajo de otros.

No es evidencia sobre METR ni sobre sus financiadores, y no conviene mezclarla con los hechos. Es lenguaje prestado para nombrar el atajo.

En matemáticas, el atajo sería confundir «resolver el problema» con «producir comprensión». En evaluación de IA, el atajo es confundir «publicar un reporte externo» con «producir escrutinio independiente». Un reporte puede estar bien hecho, igual que una solución puede ser correcta. La pregunta que falta es qué condiciones hicieron posible ese resultado, qué partes no pudo revisar el público, y quién conserva la capacidad de discutirlo después.

6. Y luego la discusión deja de ser una sola discusión

El 14 de septiembre, Trump llamó por teléfono a Jensen Huang durante una aparición pública y calificó de «hoax» la oposición a los centros de datos. Ese mismo día rechazó nuevas reglas para la IA y respondió a las propuestas de Amodei.

Es un hecho político, no una prueba de intervención sobre nadie. Lo que interesa es la mezcla que deja a la vista. En pocas horas, cuatro asuntos distintos quedaron presentados como una sola batalla entre progreso y sabotaje: la seguridad de los modelos, el costo energético, hídrico y territorial de los centros de datos, la regulación y la concentración de mercado, y la competencia con China.

No son la misma pregunta. Una comunidad que objeta el agua, la electricidad o el ruido de un centro de datos no está opinando sobre alineamiento. Un investigador que pide poder auditar un modelo no está pidiendo detener la infraestructura del país.

La consecuencia es fea para el evaluador: si toda reserva pública se puede descalificar como una amenaza a la competencia nacional, la evaluación externa carga con una presión más. Ya no le basta con ser independiente del laboratorio que le abre la puerta. Además tiene que poder explicar que investigar un riesgo no es estar contra la tecnología, contra la inversión ni contra el país.

7. Aquí la pregunta empieza en otro lado

Hay una reacción que esta conversación casi no registra, y que en México se oye seguido: antes de preocuparse por una superinteligencia que se salga de control, aquí se va la luz, falta el agua o falla el internet.

No es ignorancia ni es una teoría sobre alineamiento. Es una jerarquía de urgencias, y viene con humor negro porque así se dicen aquí las cosas que cansan. Tampoco quiere decir que estemos a salvo. Quiere decir que la discusión de Silicon Valley parte de una infraestructura y de un horizonte de vida que no son universales.

De hecho, los efectos van a llegar de forma desigual, incluso a gente que no usa IA ni sigue nada de esto. La pregunta local no empieza necesariamente en el fin del mundo. Empieza en quién paga la electricidad, qué empleos se precarizan, qué servicios públicos compiten por recursos, qué decisiones automatizadas te afectan y a quién le reclamas cuando fallan.

Por eso importa quién evalúa y con qué controles. Sin una discusión pública que se pueda seguir, esas consecuencias se deciden lejos de quienes van a vivirlas.

8. Lo que tendría que publicarse para no tener que creerle a nadie

La pregunta útil no es si METR es independiente. Es qué tendría que publicar cualquier evaluador para que puedas comprobarlo por ti mismo. Un buen estándar no pediría pureza ni aislamiento. Pediría, cuando menos, cinco cosas:

1. Financiamiento desglosado por fuente y por tipo: pago recibido, recomendación, compromiso, donación y apoyo en especie. Separados, no sumados.
2. Valor y condiciones del acceso en especie: tokens, cómputo, modelos, datos e instalaciones, con las condiciones que vienen pegadas.
3. Política pública de conflictos de interés, declaraciones individuales y reglas de recusación aplicadas a cada evaluación.
4. Un procedimiento claro para publicar desacuerdos, limitaciones y material que una empresa no autorizó divulgar.
5. Auditoría externa de las evaluaciones importantes, no sólo una declaración de buena voluntad del propio evaluador.

Ninguna de las tres respuestas del principio necesita eso para sostenerse en público. Las tres funcionan igual de bien con o sin evidencia, que es justamente lo que las vuelve cómodas y lo que las vuelve inútiles.

Yo no sé si la inteligencia artificial nos va a acabar. Lo que sí sé es qué pregunta puedo hacer sin depender de la postura de nadie: ¿puede el público revisar las condiciones bajo las que se hizo la evaluación que le piden creer?

Mientras la respuesta sea que no, las tres posturas valen lo mismo. Y las tres valen poco.


Notas y fuentes

← Volver al archivo