Gonzalo Hernández Araujo · Notas e investigaciones
Tres gobiernos escribieron la misma regla sobre la IA, sin copiarse entre sí
Hay una frase que circula desde hace años, atribuida a un manual de capacitación de IBM de 1979: "a computer can never be held accountable, therefore a computer must never make a management decision". Una computadora nunca puede rendir cuentas, así que nunca debería tomar una decisión gerencial.
Antes de seguir, una aclaración honesta: no existe hoy un documento original que se pueda consultar. Lo que hay es la propia página de IBM que reproduce la frase y la atribuye a 1979, más el testimonio de alguien que dice haber tenido el material original y lo perdió en una inundación en 2019. Trátala como lo que es: una frase con procedencia incompleta, no como un hallazgo de archivo verificado.
Lo que sí es verificable, y es lo que me parece interesante, es que la preocupación de fondo de esa frase no se quedó en 1979. Casi cinco décadas después, sigue apareciendo, casi palabra por palabra, en los marcos con los que distintos gobiernos y organismos intentan poner reglas a la IA.
1. Estados Unidos: un marco voluntario, pero con la misma pregunta
El NIST (el instituto de estándares del gobierno de Estados Unidos) publicó en 2023 su AI Risk Management Framework. No es ley, es una guía voluntaria para empresas y organizaciones. Pero en su sección de "gobernanza" pide algo muy concreto: que existan roles y responsabilidades documentados, líneas de comunicación claras y liderazgo que asuma la responsabilidad por las decisiones sobre riesgos de cada sistema que se desarrolla o se despliega.
No dice "prohibido automatizar decisiones gerenciales". Dice, en esencia, "si vas a automatizar, define primero quién responde por eso". Es la misma lógica de la frase de IBM, traducida a lenguaje de gestión de riesgo.
2. Europa: la misma idea, pero con dientes legales
El Reglamento de IA de la Unión Europea, que entró en vigor en 2024, va un paso más allá porque sí es ley. Para los sistemas que clasifica como de "alto riesgo" (evaluación de solvencia crediticia, por ejemplo), exige supervisión humana efectiva y que la persona encargada tenga la competencia, la formación y la autoridad para entender las limitaciones del sistema, interpretar su resultado, ignorarlo o revertirlo y detenerlo cuando sea necesario.
La palabra clave ahí es "efectiva". No basta con que exista un nombre en un organigrama. La ley europea distingue entre tener a alguien "encima" del sistema y que esa persona tenga, en la práctica, información y autoridad suficientes para actuar. Es una distinción que la propia investigación académica respalda: sumar una persona a la ecuación no garantiza automáticamente un mejor resultado si esa persona no tiene margen real de intervención.
3. México: el mismo principio, en la misma década
En enero de 2026, la Secretaría de Ciencia, Humanidades, Tecnología e Innovación y la Agencia de Transformación Digital y Telecomunicaciones presentaron una Declaración de ética y buenas prácticas para el uso y desarrollo de la IA, sustentada en los Principios de Chapultepec. El principio número 3 dice, literal:
"Si una decisión no puede explicarse, no debe automatizarse."
Y el número 2:
"Toda decisión apoyada por IA debe tener responsables humanos."
Es, otra vez, la misma preocupación de fondo: explicabilidad y responsabilidad humana como condición para automatizar, no como advertencia después del hecho.
Lo que tienen en común, sin haberse copiado
Ninguno de los tres marcos se escribió citando a los otros dos. Uno es una guía técnica voluntaria de Estados Unidos, otro es una ley con sanciones de la Unión Europea, y el tercero es una declaración ética de un gobierno latinoamericano. Y sin embargo, los tres llegan a la misma conclusión: una máquina puede participar en una decisión, pero alguien identificable tiene que poder explicarla y responder por ella.
Eso me parece la parte más reveladora del asunto. No es que a alguien en 1979 se le haya ocurrido una frase profética. Es que el problema que esa frase señala (delegar sin conservar la capacidad de rendir cuentas) es tan estructural que distintos países, con culturas regulatorias completamente distintas, llegan al mismo principio en la misma década en que la IA generativa lo volvió urgente.
La parte que ningún marco resuelve sólo con escribirlo
Aquí está el matiz que vale la pena no perder: escribir el principio es la parte fácil. La investigación disponible sobre supervisión humana de sistemas automatizados muestra un patrón consistente: la responsabilidad "en el papel" y el control real sobre el sistema pueden separarse con facilidad. Un operador puede tener el nombre, la firma y la obligación formal de supervisar, sin tener el tiempo, la información o la autoridad para de verdad cuestionar lo que la máquina propone.
Eso no es un defecto exclusivo de ningún país. Es el reto común detrás de los tres marcos que mencioné: NIST, la Unión Europea y México coinciden en el principio, pero el trabajo pendiente en los tres casos es el mismo: convertir "debe existir un responsable humano" en un procedimiento con dueño que efectivamente se pueda usar cuando algo sale mal.
La pregunta que me queda
La frase de IBM, con toda su procedencia incierta, resultó más duradera de lo que su propio origen dudoso sugeriría. No porque fuera una profecía, sino porque describe un problema que no depende de la tecnología de cada época: cuando delegas una decisión, alguien tiene que seguir pudiendo responder por ella.
Estados Unidos lo resolvió con una guía. Europa con una ley. México con un principio ético. Los tres reconocen el mismo problema. La pregunta abierta, para cualquiera de los tres, es la misma: ¿qué tan fácil es, en la práctica, para alguien exigir esa explicación cuando la necesita?
Notas y fuentes
- IBM — AI decision-making: Where do businesses draw the line?, fuente que reproduce y atribuye la frase a un manual de 1979.
- Simon Willison — A computer can never be held accountable, 3 de febrero de 2025, reconstrucción de la procedencia de la frase.
- NIST AI Risk Management Framework (AI RMF 1.0), 2023.
- Reglamento (UE) 2024/1689, texto oficial, artículo 14 y anexo III.
- Declaración de ética y buenas prácticas para el uso y desarrollo de la IA en México, SECIHTI / ATDT, 29 de enero de 2026; sustentada en los Principios de Chapultepec.
- Vaccaro, Almaatouq y Malone — When combinations of humans and AI are useful: A systematic review and meta-analysis, Nature Human Behaviour, 2024.
- Madeleine Clare Elish — Moral Crumple Zones: Cautionary Tales in Human-Robot Interaction, 2019.