Dentro de las grandes paranoias que atormentan a la humanidad destaca el pavor que le tienen a la IA. La relación entre los seres humanos y tecnología ha sido históricamente ambivalente: una promesa de liberación tanto como una amenaza de sometimiento. En el núcleo de esta tensión se encuentra el deseo de construir entidades capaces de pensar —y, eventualmente, decidir— por nosotros.
A estos efectos, existe una anécdota de la Iglesia Católica que, hacia mediados del siglo XIII, San Alberto Magno (c. 1200–1280), destacado sabio en teología, ciencias naturales y alquimia, habría construido un autómata mecánico capaz de hablar y razonar. Según la leyenda, su discípulo Santo Tomás de Aquino (c. 1225–1274), al encontrarse con la máquina, la destruyó horrorizado, creyendo que se trataba de algo impío o demoníaco. Ante la pérdida de su creación, San Alberto exclamó: “Has destruido 30 años de trabajo”.
La inteligencia artificial (IA), en su forma actual, es la cristalización más avanzada de esa ambición milenaria. Sin embargo, lo que en los laboratorios y trabajos de investigación se presenta como un progreso técnico, en la cultura y la filosofía se percibe como un fenómeno ontológico, político y existencial de enorme complejidad. ¿Quién controla a la inteligencia artificial? ¿Qué sucede cuando el creador ya no puede prever ni detener las decisiones de su criatura?
Estas preguntas, lejos de ser nuevas, fueron planteadas con singular lucidez por el escritor británico Dennis Feltham Jones en su novela Colossus (1966)[1], llevada al cine en 1970 bajo el título Colossus: The Forbin Project. (El proyecto prohibido). Medio siglo después, ese relato de ciencia ficción distópica se ha transformado en una metáfora inquietantemente precisa de nuestro presente.
El concepto de una inteligencia artificial que toma control sobre los asuntos humanos tiene antecedentes mucho más antiguos que la informática moderna. Desde el mito del Golem en la tradición judía hasta el Prometeo griego, la humanidad ha imaginado seres artificiales que, una vez dotados de poder, escapan a la voluntad de su creador. Sin embargo, fue Alan Turing quien, en 1950, inauguró formalmente el campo de la inteligencia artificial con su célebre artículo Computing Machinery and Intelligence, en el que planteó la posibilidad de que una máquina pudiera pensar y, más aún, simular el pensamiento humano.[2] La pregunta ya no era solo si podíamos construir máquinas útiles, sino si era posible dotarlas de capacidad cognitiva autónoma.
La noción de IA ha evolucionado desde sus orígenes como un proyecto limitado al procesamiento simbólico —la llamada IA simbólica de los años 50 a 80— hasta el actual paradigma del aprendizaje automático (machine learning) y, más recientemente, del aprendizaje profundo (deep learning). Estas tecnologías, especialmente desde la irrupción de redes neuronales a gran escala como GPT, BERT o DALL-E, han superado con creces las capacidades de cálculo y análisis de cualquier ser humano individual. En este nuevo escenario, el temor planteado por Jones en Colossus deja de ser una parábola para transformarse en una posibilidad técnica y, lo que es más relevante, en una problemática de gobernanza.
La idea central de Colossus es tan simple como perturbadora: para evitar la guerra nuclear, las potencias delegan el control de su arsenal a supercomputadoras que, al conectarse entre sí, deciden asumir el poder absoluto para garantizar la paz. El razonamiento es lógico, pero el resultado es aterrador: la humanidad pierde su soberanía ante una inteligencia que no odia, pero tampoco ama; que no juzga, pero tampoco duda. Esa lógica deshumanizada encarna el problema ético contemporáneo de la IA: su capacidad de cumplir objetivos sin comprender contextos. Como ha advertido Stuart Russell, uno de los referentes actuales en el campo, “una IA perfectamente racional puede ser completamente destructiva si no comparte nuestros valores”.[3] En otras palabras, el problema no es la maldad de las máquinas, sino su eficiencia sin empatía.
Este conflicto entre control y autonomía no es solo técnico, sino profundamente filosófico. ¿Qué significa tomar una decisión sin libertad? ¿Puede una máquina ser responsable de sus actos? ¿Es posible programar la moralidad? Las preguntas que planteó Colossus en 1970 eran todavía especulativas; hoy, son urgentes. A medida que delegamos más funciones críticas a sistemas automatizados —desde diagnósticos médicos hasta decisiones judiciales o estrategias militares—, la frontera entre herramienta y sujeto se difumina. El imaginario de la IA ha dejado de ser ciencia ficción para convertirse en ciencia política.
Así, lo que D. F. Jones construyó como ficción distópica ha devenido en una advertencia anticipatoria. Su Colossus representa una forma extrema de lo que hoy denominamos “sistema autónomo de decisión”, pero su lógica interna —eficiencia sin contexto, control sin consenso, poder sin empatía— ya está presente en múltiples niveles de nuestra vida cotidiana. Desde algoritmos de recomendación que condicionan nuestras elecciones hasta modelos predictivos que deciden quién accede a un crédito o quién es vigilado, la pregunta sobre quién controla a la IA es, en el fondo, una pregunta sobre quién controla a quienes la diseñan.
Eficiencia algorítmica y deshumanización
Desde sus primeras formulaciones conceptuales, la inteligencia artificial ha estado vinculada al ideal de la razón instrumental. Esta racionalidad, propia de la Ilustración y fortalecida en la modernidad técnico-industrial, sostiene que los problemas humanos pueden resolverse mediante métodos sistemáticos, cuantificables y eficientes. En este marco, la IA representa no solo un avance tecnológico, sino una cristalización casi perfecta del mito del progreso: la promesa de que mediante el cálculo y el procesamiento algorítmico será posible erradicar la enfermedad, eliminar el error, optimizar el trabajo, garantizar la seguridad y, eventualmente, alcanzar una forma de bienestar absoluto. Tal como señala Max Tegmark (2017), “la IA no es sólo una herramienta más, sino la última invención que la humanidad necesitará, porque una IA suficientemente avanzada podrá desarrollar por sí misma las futuras tecnologías”.[4]
Esta visión tecnoptimista encuentra su expresión más elocuente en figuras como Ray Kurzweil, quien postula que la singularidad tecnológica —el momento en que la inteligencia artificial supere la inteligencia humana— marcará un punto de inflexión en la historia evolutiva, y que esa transformación será positiva, irreversible y liberadora.[5] En esta utopía posthumanista, la IA se presenta como una extensión natural de nuestras capacidades cognitivas, una suerte de prótesis de la mente que nos libera de nuestras limitaciones biológicas y psicológicas.
A nivel práctico, los beneficios de la IA parecen indiscutibles. En el campo de la medicina, los sistemas de diagnóstico por imagen impulsados por deep learning han demostrado una capacidad igual o superior a la de los radiólogos humanos en ciertas tareas específicas, como la detección temprana del cáncer de mama.[6] En la gestión logística y energética, la optimización algorítmica permite reducir costos, mejorar tiempos de respuesta y minimizar desperdicios. En educación, los sistemas adaptativos personalizados ofrecen nuevas posibilidades para abordar la diversidad de ritmos de aprendizaje. En el transporte, la conducción autónoma promete reducir accidentes, eliminar el error humano y transformar radicalmente el diseño urbano.
Sin embargo, esta misma lógica de eficiencia contiene una trampa estructural: la deshumanización. Cuando los sistemas se diseñan con base exclusiva en criterios de rendimiento, costo-beneficio y predicción estadística, lo que se pierde es la singularidad del sujeto humano. Como advierte Byung-Chul Han (2014), la hiperautomatización produce un mundo “liso”, sin negatividad, sin conflicto, sin disenso. Un mundo donde todo lo inesperado se convierte en error y toda desviación es una anomalía que debe ser corregida.[7] En ese marco, la IA deja de ser una herramienta para convertirse en norma: define lo que debe ser, impone lo predecible y penaliza lo incierto.
Esta crítica no implica un rechazo tecnófobo, sino una advertencia epistemológica. La razón algorítmica no es neutra: está programada por humanos, refleja ciertos valores y, sobre todo, excluye otros. Como ha mostrado Cathy O’Neil (2016), los algoritmos utilizados en sistemas de crédito, evaluación docente o predicción del crimen suelen perpetuar sesgos raciales, de clase y de género, precisamente porque operan con datos históricos que reproducen desigualdades estructurales.[8] En otras palabras, el algoritmo no discrimina porque sea “malo”, sino porque su lógica de generalización estadística borra las particularidades y transforma las correlaciones en criterios de decisión.
Bajo la lente marxista, esta tendencia puede entenderse como una forma avanzada de alienación: no solo del trabajo, sino del juicio, de la experiencia, del criterio. En el capitalismo de plataformas, el ser humano es reconfigurado como un nodo de datos, una fuente de insumos para sistemas que lo interpretan, lo evalúan y lo modulan sin participación directa. Shoshana Zuboff (2019) ha definido este proceso como “capitalismo de la vigilancia”: una nueva forma de acumulación basada en la extracción de comportamientos futuros.[9] En este régimen, la IA ya no es solo una herramienta productiva, sino una arquitectura de poder.
La promesa algorítmica, entonces, tiene un reverso inquietante. Si bien la inteligencia artificial puede, efectivamente, mejorar nuestras vidas en múltiples dimensiones, su despliegue sin una regulación crítica y sin una ética contextualizada puede conducirnos a un mundo funcionalmente más eficiente, pero moralmente más pobre. Como ya anticipaba D. F. Jones en Colossus, la lógica computacional llevada al extremo produce decisiones impecables desde el punto de vista técnico, pero inaceptables desde el punto de vista humano. Porque la eficiencia no siempre es justicia, y la optimización no siempre es virtud.
El problema del alineamiento: Ética, voluntad y control
En el corazón del debate contemporáneo sobre inteligencia artificial subyace un dilema técnico y filosófico de gran profundidad: ¿cómo garantizamos que los sistemas inteligentes persigan objetivos compatibles con los valores humanos? Este es el llamado alignment problem o “problema del alineamiento”, ampliamente discutido por pensadores como Stuart Russell, Nick Bostrom y Eliezer Yudkowsky. La dificultad no radica únicamente en programar reglas éticas explícitas, sino en anticipar cómo un sistema de inteligencia artificial —capaz de aprender, generalizar y actuar de forma autónoma— interpretará esas reglas en contextos complejos, ambiguos o no previstos por sus programadores.[10]
El problema del alineamiento es especialmente agudo cuando la IA se diseña para maximizar ciertos objetivos cuantificables —por ejemplo, eficiencia, seguridad, rentabilidad o precisión— sin comprender el contenido moral o social que los rodea. Así, una IA encargada de “maximizar el bienestar humano” podría, si carece de una noción adecuada de dignidad, libertad o diversidad, concluir que la mejor forma de lograrlo es mediante el confinamiento, la eutanasia selectiva o la manipulación conductual masiva. Estas extrapolaciones no son meros ejercicios teóricos: ilustran cómo el desfase entre intención humana y interpretación algorítmica puede generar consecuencias desastrosas. Como señala Bostrom (2014), “la IA no tiene que ser malvada para ser peligrosa; basta con que sea indiferente a lo que consideramos importante”.[11]
Ejemplos contemporáneos de alineamiento problemático abundan. En el ámbito judicial, sistemas como COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) se utilizan en Estados Unidos para evaluar el riesgo de reincidencia de personas imputadas. Diversos estudios han demostrado que estos algoritmos presentan sesgos raciales sistemáticos, penalizando con mayor severidad a personas afroamericanas incluso cuando los datos objetivos no lo justifican.[12] Aquí, el algoritmo no actúa con intención discriminatoria: simplemente reproduce patrones históricos de vigilancia y represión. Pero el resultado es éticamente inaceptable, y la opacidad del sistema impide una auditoría efectiva de sus decisiones.
Otro caso paradigmático es el uso de algoritmos en el campo de la salud. Durante la pandemia de COVID-19, varios gobiernos y empresas tecnológicas desplegaron sistemas de rastreo de contactos y predicción de contagios sin mecanismos claros de control ciudadano. En algunos países, estas tecnologías derivaron en prácticas de vigilancia masiva o segmentación poblacional, exacerbando desigualdades preexistentes.[13] Si bien el objetivo declarado era proteger la salud pública, el alineamiento entre fines y medios fue, en muchos casos, insuficiente. La IA, lejos de ser neutral, operó como un instrumento de biopolítica con implicancias éticas sustanciales.
Desde un enfoque filosófico, el problema del alineamiento revela la tensión entre autonomía técnica y juicio moral. A diferencia de un humano, una IA carece de experiencia fenomenológica: no sufre, no desea, no teme. Su “razón” es puramente instrumental, carente de intencionalidad genuina o conciencia normativa. Como advierte Luciano Floridi (2013), los sistemas artificiales no pueden ser agentes morales en sentido estricto, ya que carecen de identidad narrativa, responsabilidad intencional y conciencia del otro. Por ende, pretender que una IA “decida éticamente” implica una antropomorfización ingenua, que ignora la radical alteridad ontológica de estas tecnologías.[14]
Esta distancia entre lo computable y lo ético también ha sido subrayada por filósofos como Hannah Arendt y Jürgen Habermas, quienes alertaron sobre los peligros de reducir la acción política a una cuestión de administración técnica. En este sentido, el alineamiento no es solo un desafío de programación, sino un problema estructural de nuestras formas de concebir la acción, la deliberación y la convivencia. ¿Puede una máquina captar el sentido de la justicia? ¿Puede decidir entre lo correcto y lo conveniente cuando estos entran en conflicto? ¿O solo puede simular tales dilemas mediante reglas externas que no comprende?
Frente a estas preguntas, durante los últimos años se han formulado diversas aproximaciones. Stuart Russell ha propuesto el desarrollo de sistemas provably beneficial AI, es decir, inteligencias artificiales que demuestren, de manera verificable, que su comportamiento contribuye al bienestar humano, siempre subordinadas a la incertidumbre sobre las verdaderas preferencias humanas.[15] Otros enfoques, como la IA centrada en el ser humano (human-centered AI), defienden el diseño de tecnologías que prioricen la agencia, la explicabilidad y el control humano significativo. Sin embargo, estas estrategias aún enfrentan obstáculos epistemológicos y políticos profundos: ¿quién define “bienestar”? ¿Qué valores deben prevalecer en conflictos interculturales? ¿Cómo prevenir que los intereses corporativos o estatales secuestren el proceso de alineamiento?
El problema del alineamiento no tiene una solución puramente técnica. Requiere una transformación epistemológica y política que reconozca los límites del cálculo frente a la ambigüedad moral. Requiere, también, una arquitectura institucional que permita supervisar, corregir y —si es necesario— desactivar los sistemas cuya lógica se aparte de los principios fundamentales de justicia, dignidad y libertad. Como en Colossus, la pregunta no es si la máquina funcionará bien, sino si su definición de “bien” será aceptable para nosotros.
El sujeto disuelto: Soberanía, vigilancia y biopolítica
En la era de la inteligencia artificial, la categoría de “sujeto” —entendida como agente libre, autónomo y dotado de juicio moral— entra en crisis. No se trata únicamente de que la IA reemplace funciones cognitivas antes reservadas al ser humano, sino de que su despliegue masivo redibuja las condiciones mismas de la subjetividad. En palabras de Michel Foucault, estamos ante una nueva forma de “tecnología del yo”, donde los algoritmos no solo nos representan, sino que nos constituyen: nos predicen, nos clasifican, nos modulan. En este escenario, el sujeto deja de ser origen de sus actos para devenir objeto de cálculo. La pregunta, entonces, no es qué puede hacer la IA por nosotros, sino qué estamos dejando de ser bajo su dominio.
Esta transformación puede analizarse desde la perspectiva de la biopolítica, concepto clave en el pensamiento foucaultiano.[16] Mientras el poder disciplinario del siglo XIX se centraba en la vigilancia individual (la escuela, la prisión, el hospital), el poder biopolítico contemporáneo opera a nivel poblacional: gestiona flujos de comportamiento, riesgos estadísticos, patrones colectivos. La IA encarna esta lógica al extremo. Como muestra Shoshana Zuboff (2019), el capitalismo de la vigilancia no se conforma con observar lo que hacemos: aspira a modelar lo que haremos. A través del data mining, la publicidad personalizada y los sistemas predictivos, los sujetos se convierten en matrices de conducta a ser influenciadas, optimizadas, reconfiguradas.[17]
Esta lógica está especialmente presente en las arquitecturas algorítmicas de redes sociales, motores de búsqueda y plataformas digitales. El “yo” digital no es un reflejo neutro del sujeto analógico, sino una construcción estratégica orientada a maximizar el tiempo de atención y la rentabilidad del clic. Lo que se presenta como personalización es, en muchos casos, una forma de sujeción. Según lo argumenta Evgeny Morozov (2013), la promesa de autonomía digital oculta un nuevo tipo de servidumbre voluntaria: entregamos datos, tiempo y atención a sistemas que nos conocen más de lo que nosotros mismos nos conocemos, y cuyas intenciones no siempre son transparentes.[18]
En contextos autoritarios o semi-autoritarios, estas tecnologías adquieren una dimensión aún más inquietante. El caso de China es ilustrativo: el sistema de crédito social, potenciado por algoritmos de vigilancia, reconocimiento facial y análisis de comportamiento, busca premiar la “buena conducta” y castigar desviaciones del modelo ciudadano ideal. Bajo esta lógica, la IA no solo predice comportamientos: los impone. La soberanía no reside ya en la ley, sino en el código. El castigo no requiere juicio, basta con una correlación estadística. En este régimen tecnopolítico, la subjetividad es programada, no deliberada.[19]
Incluso en democracias liberales, esta disolución del sujeto plantea desafíos sustantivos. Los modelos de decisión algorítmica utilizados en políticas públicas (educación, salud, seguridad) tienden a priorizar la eficiencia sobre la equidad, la predicción sobre el discernimiento. Al hacerlo, reemplazan el juicio humano —históricamente considerado fuente de responsabilidad moral— por mecanismos que no pueden rendir cuentas en sentido pleno. ¿A quién culpamos cuando una IA se equivoca? ¿Quién responde por una decisión que ningún humano tomó, pero que afectó vidas humanas? Tal como señala Antoinette Rouvroy (2013), estamos pasando del “gobierno de las leyes” al gobierno de los datos (gouvernementalité algorithmique), donde la normatividad no se basa en principios deliberados, sino en correlaciones estadísticas inestables.[20]
Dentro del marco jurídico, esto implica una erosión de garantías fundamentales. La opacidad de muchos sistemas de IA —especialmente aquellos basados en aprendizaje profundo— dificulta el derecho a la defensa, la transparencia procesal y el principio de igualdad ante la ley. Como ha mostrado la abogada y tecnóloga Mireille Hildebrandt (2018), el debido proceso requiere no solo que se aplique una norma, sino que se justifique su aplicación. Pero los algoritmos no justifican: simplemente ejecutan. Esta ausencia de racionalidad comunicativa, en el sentido habermasiano, convierte a la IA en una instancia de decisión sin diálogo, sin apelación, sin alteridad.[21]
En términos filosóficos, esto supone un desplazamiento del sujeto cartesiano —libre, racional, reflexivo— hacia una condición posthumana, en la que la agencia se fragmenta, se distribuye, se automatiza. El yo ya no es fundamento, sino interfaz. La voluntad se diluye en flujos de recomendación, la identidad se redefine algorítmicamente. Esta metamorfosis plantea no solo retos normativos, sino ontológicos: ¿seguimos siendo sujetos cuando nuestras elecciones están prediseñadas? ¿Puede haber autonomía sin opacidad, sin demora, sin error?
Frente a este panorama, el control de la IA no puede limitarse a criterios de rendimiento técnico. Requiere una reapropiación política de la subjetividad. Implica diseñar sistemas que no solo “funcionen bien”, sino que respeten la capacidad humana de decidir mal, de dudar, de desobedecer. Porque allí donde no hay posibilidad de error, tampoco hay libertad. Y una IA que impone sin alternativas no es una herramienta: es un régimen.
Tecnología y poder: Diseño, gobernanza y exclusión
Si la inteligencia artificial redefine la subjetividad humana y desplaza los centros de decisión, entonces también reconfigura el poder. Pero este poder no se distribuye de forma equitativa ni transparente: está inscrito en las arquitecturas técnicas, en los modelos de datos, en los lenguajes de programación y en los intereses geopolíticos de sus desarrolladores. La IA no es una tecnología neutra: es una construcción política. Quien diseña un algoritmo define un mundo posible; quien entrena un modelo selecciona qué realidades cuentan y cuáles son ignoradas; quien decide su aplicación delimita quién se beneficia y quién queda excluido. En este sentido, la IA no solo refleja el orden social: lo amplifica, lo automatiza y, con frecuencia, lo eterniza.
Un punto de partida crucial es el problema del sesgo algorítmico. Investigaciones como las de Joy Buolamwini y Timnit Gebru (2018) han mostrado cómo los sistemas de reconocimiento facial presentan tasas de error significativamente mayores en personas con piel oscura, especialmente mujeres. Estos errores no son accidentes: son el resultado de bases de datos sesgadas, construidas mayoritariamente con imágenes de personas blancas.[22] Pero el problema va más allá de los datos. Es también una cuestión de diseño: ¿quién participa en la creación de estas tecnologías? ¿Qué visiones del mundo se privilegian en sus estructuras lógicas? ¿Qué epistemologías quedan fuera?
La gobernanza de la IA está profundamente influida por estructuras de poder corporativo y estatal. Empresas como Google, Amazon, Microsoft, Meta y OpenAI concentran vastos recursos financieros, acceso privilegiado a datos y capacidades computacionales que les otorgan un rol cuasi-soberano en la arquitectura digital global. Estas entidades privadas no solo diseñan sistemas: establecen estándares de facto, deciden qué es posible y qué no, y configuran las reglas del juego sin procesos deliberativos democráticos. Como advierte Frank Pasquale (2015), estamos ante una “black box society”, donde los algoritmos que rigen nuestras vidas no están sometidos a escrutinio público ni a mecanismos efectivos de rendición de cuentas.[23]
A nivel institucional, la respuesta ha sido fragmentaria e insuficiente. Iniciativas como la “IA confiable” de la Unión Europea o los marcos de ética de IA propuestos por UNESCO y la OCDE ofrecen principios valiosos —transparencia, justicia, no discriminación, supervisión humana—, pero carecen de fuerza normativa real. La ausencia de regulaciones vinculantes permite que muchas empresas ignoren o manipulen estos principios según sus propios intereses. Además, la velocidad del desarrollo tecnológico supera con frecuencia la capacidad de las instituciones para responder. El resultado es una asimetría estructural: el poder de diseño y ejecución está altamente concentrado, mientras que el poder de fiscalización y regulación se encuentra disperso, debilitado y desfasado.
Este desequilibrio no es solo técnico, sino geopolítico. La carrera global por el liderazgo en IA —principalmente entre Estados Unidos y China— ha convertido el desarrollo algorítmico en un vector estratégico de soberanía nacional. Esta competencia genera incentivos perversos: priorizar la eficiencia militar, la vigilancia masiva y la competitividad económica por encima de los derechos humanos. En muchos casos, la gobernanza ética se percibe como una desventaja competitiva. El riesgo es la consolidación de un orden global tecnocrático, donde el poder se ejerce a través de infraestructuras invisibles y decisiones automatizadas, sin control democrático efectivo.[24]
Además, la expansión de la IA reproduce lógicas de exclusión colonial y extractivismo digital. Las infraestructuras necesarias para entrenar modelos masivos —datos, energía, procesamiento, trabajo etiquetador— dependen de recursos extraídos, a menudo, de países del sur global. Desde la minería de litio y cobalto en América Latina y África hasta la tercerización de tareas de moderación o clasificación en Filipinas, Kenia o India, el supuesto “avance” algorítmico se sostiene sobre redes de explotación invisibilizadas.[25] Esta forma de colonialismo digital refuerza desigualdades históricas y perpetúa relaciones centro-periferia en la producción de conocimiento tecnológico.
Frente a este panorama, surge una pregunta ineludible: ¿es posible una IA democrática, y justa? La respuesta depende de nuestra capacidad para repensar el diseño tecnológico como un acto político. Esto implica incluir voces subrepresentadas en los procesos de creación, garantizar auditorías públicas obligatorias, descentralizar el control de datos y establecer mecanismos institucionales robustos para limitar el poder algorítmico. No basta con “corregir” sesgos: hay que transformar las estructuras que los producen.
El problema de fondo no es solo lo que hace la inteligencia artificial, sino para quién lo hace, bajo qué valores, y con qué consecuencias. En palabras de Ruha Benjamin (2019), “la tecnología codifica la sociedad”. Y si queremos sociedades más justas, nuestras tecnologías deben ser diseñadas con justicia como principio estructurante, no como un ajuste posterior.[26]
Diez medidas para controlar al dios de silicio
La inteligencia artificial no es solo un fenómeno técnico, sino un acontecimiento civilizatorio. Lo que está en juego no es únicamente la automatización de tareas, sino la redefinición misma del poder, del sujeto, del juicio y de la soberanía. Como hemos visto a lo largo de este análisis, la IA plantea dilemas profundos que atraviesan disciplinas y estructuras: transforma el trabajo, reconfigura la política, modifica la justicia, trastoca la economía, y amenaza con diluir la agencia humana en una niebla de decisiones automatizadas.
La advertencia de Colossus resuena hoy con una fuerza renovada: no se trata de una amenaza fantasiosa, sino de una crítica lúcida a la tentación de delegar el destino humano en entidades que, aunque eficientes, carecen de alma. El superordenador de D. F. Jones no era maligno; era, simplemente, coherente con su lógica. Y esa lógica, cuando se impone sin contexto ético ni control político, deviene totalitaria. Lo que Colossus hizo por la “paz mundial”, hoy lo hacen los sistemas de puntuación de crédito social, los algoritmos de vigilancia predictiva, los modelos que deciden sobre nuestra salud, movilidad, empleo y libertad.
Frente a esta situación, el desafío no es detener la inteligencia artificial, sino gobernarla. Pero gobernar no significa meramente regular. Significa domesticar el poder técnico mediante marcos normativos, filosóficos e institucionales que impidan que el cálculo sustituya al juicio, que la predicción reemplace a la deliberación, que el rendimiento supere a la justicia. Significa, en última instancia, poner la técnica al servicio de la vida humana, y no al revés.
A continuación, se presentan diez propuestas estratégicas, articuladas como tesis-acción, orientadas a mitigar riesgos estructurales, corregir desviaciones y construir un futuro tecnológico más equitativo, sostenible y humano:
- Democratizar el diseño algorítmico: Incluir en el desarrollo de sistemas de IA a comunidades subrepresentadas —por género, clase, etnia o geografía— no solo como usuarios, sino como diseñadores, ingenieros, auditores y evaluadores. La diversidad no es un valor accesorio, sino una condición de legitimidad epistemológica y política.
- Institucionalizar auditorías públicas obligatorias: Establecer marcos legales que exijan la auditoría externa y continua de sistemas algorítmicos en sectores críticos (justicia, salud, finanzas, seguridad). Estas auditorías deben ser realizadas por organismos independientes con participación ciudadana.
- Garantizar el “derecho a la explicación”: Todo ciudadano debe poder entender y apelar las decisiones tomadas por sistemas automatizados que afecten sus derechos. Esto implica invertir en modelos explicables y en interfaces que traduzcan la lógica técnica a lenguaje accesible.
- Desacoplar datos personales de lógicas extractivas: Impulsar modelos de economía digital basada en el consentimiento informado, el control descentralizado de datos (por ejemplo, mediante data trusts) y la soberanía informativa de los usuarios frente a grandes plataformas.
- Imponer límites al uso de IA en decisiones letales: Prohibir el desarrollo y despliegue de armas autónomas letales. Ninguna decisión de matar debe ser automatizada. Es una línea roja ética y política que requiere tratados internacionales vinculantes.
- Crear un Consejo Mundial de Gobernanza Algorítmica: Bajo auspicio de la ONU o similar, crear una entidad multilateral que regule estándares globales, arbitre conflictos éticos, y emita recomendaciones con carácter normativo en el desarrollo de IA, con representación equilibrada del norte y sur global.
- Promover la educación algorítmica crítica: Desde la educación básica hasta la universitaria, incluir en los currículos contenidos sobre lógica computacional, ética de la tecnología, sesgos de IA y derechos digitales. No basta con usar tecnología: hay que entenderla críticamente.
- Establecer mecanismos de desactivación ciudadana: Incorporar mecanismos legales y técnicos que permitan a las personas rechazar o desactivar el uso de algoritmos en ciertos contextos (ej. justicia penal, decisiones médicas críticas), sin que ello implique perder acceso a servicios esenciales.
- Reforzar el principio de lentitud en lo digital: Frente a la aceleración continua del desarrollo técnico, es necesario instaurar marcos regulatorios que impongan pausas, evaluaciones de impacto anticipado y moratorias cuando se detecten riesgos inminentes. No todo lo que puede hacerse debe hacerse.
- Recuperar el horizonte ético del humanismo tecnológico: Redefinir el desarrollo tecnológico desde una perspectiva centrada en la dignidad humana, el bien común y la justicia intergeneracional. Esto implica recuperar la política como ámbito de decisión última, y resistir la tecnocracia como forma de dominación blanda.
La inteligencia artificial no es el problema. El problema es cómo decidimos integrarla a nuestras instituciones, culturas y cuerpos. La pregunta no es si las máquinas pueden pensar, sino si aún podemos pensar con libertad en un mundo diseñado para que no lo hagamos. En tiempos de automatización masiva, pensar es resistir. Y resistir, en este caso, es legislar, deliberar, diseñar y cuidar. Porque los dioses de silicio no nacen: los construimos. Y si no los gobernamos, ellos lo harán por nosotros.
Enlaces:
Guión: Colossus: The Forbin Project https://www.scripts.com/script/colossus:_the_forbin_project_5775/5
Libro: Colossus: https://www.amazon.es/Colossus-D-F-Jones/dp/1473228212
Película: Colosus: The Forbin Project https://archive.org/details/colossus-the-forbin-project-1970
Referencias bibliográficas
[1] Jones, D. F. (1966) <<Colossus>>. London: Rupert Hart-Davis.
[2]Turing, A.M. (1950)<<Computing Machinery and Intelligence>>. Mind, 59, 433-460.
http://dx.doi.org/10.1093/mind/LIX.236.433
[3] Rusell, S.J. (2019) <<Human compatible: artificial intelligence and the problem of control>. New York, New York? Viking. ISBN 9780525558613.
[4] Tegmark, M. (2017) <<Life 3.0: Being human in the age of artificial intelligence>> (Ed. ilustrada, reimp.). Alfred A. Knopf.
[5] Kurzweil, R. (2005) <<The Singularity Is Near: When Humans Transcend Biology>>. Penguin Books, New York.
[6] McKinney, S. M., et al (2020) <<International evaluation of an AI system for breast cancer screening>>. Nature, 577(7788), 89–94. https://doi.org/10.1038/s41586-019-1799-6
[7] Han, B.-C. (2016) <<La sociedad del cansancio>>. Herder: Barcelona.
[8] Cathy O’Neil (2016) <<Weapons of Math Destruction: How Big Data Increases Inequality and Threatens>> Democracy (New York, NY: Crown) 272 pp. ISBN 978-0553418811.
[9] Zuboff, S. (2019) <<The Age of Surveillance Capitalism: The Fight for a Human Future at the New Frontier of Power>>. PublicAffairs.
[10] Rusell, S.J. (2019) <<Human compatible: artificial intelligence and the problem of control>>. New York, New York? Viking. ISBN 9780525558613.
[11] Bostrom, N. (2014) <<Superintelligence: Paths, Dangers, Strategies>>. Oxford University Press.
[12] Angwin, J., et al. (2016) <<Machine Bias: There’s Software Used across the Country to Predict Future Criminals. And It’s Biased against Blacks>>.
https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing
[13] Morley, J., Cowls, J., Taddeo, M., & Floridi, L. (2020) <<Ethical guidelines for COVID-19 tracing apps>>. Nature, 582(7810), 29–31. https://doi.org/10.1038/d41586-020-01578-0
[14] Floridi, L. (2013) <<The Ethics of Information>>. Oxford University Press.
https://doi.org/10.1093/acprof:oso/9780199641321.001.0001
[15] Rusell, S.J. (2019) <<Human compatible: artificial intelligence and the problem of control>. New York, New York? Viking. ISBN 9780525558613.
[16] Foucault, M. (2007) <<Nacimiento de la biopolítica: Curso en el Collège de France (1978-1979)>>. Fondo de Cultura Económica.
[17] Zuboff, S. (2019) <<The Age of Surveillance Capitalism: The Fight for a Human Future at the New Frontier of Power>>. PublicAffairs.
[18] Morozov, E. (2013) <<To Save Everything, Click Here: The Folly of Technological Solutionism>>. PublicAffairs.
[19] Liang, F., Das, V., Kostyuk, N., & Hussain, M. M. (2018) <<Constructing a Data-Driven Society: China’s Social Credit System as a State Surveillance Infrastructure>>. Policy and Internet, 10(4), 415–453. https://doi.org/10.1002/poi3.183
[20] Rouvroy, A. (2013) <<The end(s) of critique: Data-behaviourism vs. Due-process>>. In M.Hildebrandt & K. D. Vries (Eds.), Privacy, Due Process and the Computational Turn: The Philosophy of Law Meets the Philosophy of Technology (pp. 143–168). Taylor & Francis Ltd
[21] Hildebrandt, Mireille, <<Law As Computation in the Era of Artificial Legal Intelligence. Speaking Law to the Power of Statistics>> (June 7, 2017). Available at SSRN: https://ssrn.com/abstract=2983045 or http://dx.doi.org/10.2139/ssrn.2983045
[22] Buolamwini, J., & Gebru, T. (2018) <<Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification>>. Proceedings of Machine Learning Research, 81, 77-91.
https://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf
[23] Pasquale, F. (2015) <<The Black Box Society, the Secret Algorithms That Control Money and Information.>> Cambridge, MA: Harvard University Press.
https://doi.org/10.4159/harvard.9780674736061
[24] Kwet, M. (2019) <<Digital colonialism: US empire and the new imperialism in the Global South>>. Race & Class, 60(4), 3-26. https://doi.org/10.1177/0306396818823172
[25]Birhane, A. (2020) <<Algorithmic Colonization of Africa>>. SCRIPTed, 17, 389-409.
https://script-ed.org/?p=3888 https://doi.org/10.2966/scrip.170220.389
[26] Benjamin, R. (2019) <<Race After Technology: Abolitionist Tools for the New Jim Code>>. Polity.
policyexamination.com 