SERIE «INTELIGENCIA ARTIFICIAL Y AUTONOMÍA HUMANA»

Quién define las condiciones en las que pensamos y decidimos

Michael A. Galascio | Entrega IV

La inteligencia artificial suele llegar hasta nosotros como una conversación privada. Detrás de esa pantalla hay empresas, centros de datos, normas, contratos públicos y decisiones de diseño. Comprender esa estructura es una condición para conservar el juicio propio.

Una pregunta que aparece después de usarla

Durante las últimas semanas he utilizado inteligencia artificial para corregir manuscritos, revisar documentos, preparar artículos y ordenar información dispersa. La utilidad es evidente. También lo es una incomodidad que aparece cuando la herramienta empieza a integrarse en la rutina: recibo una respuesta clara y bien escrita, pero casi nunca veo la institución que la hace posible.

La pantalla refuerza esa impresión. Parece que una persona formula una pregunta y una inteligencia sin historia ni intereses contesta al otro lado. En realidad, la respuesta es el resultado de una cadena larga de datos seleccionados y excluidos, capacidad informática, instrucciones internas, criterios de seguridad, objetivos comerciales, decisiones sobre la interfaz y obligaciones legales. Nada de eso invalida automáticamente el resultado, pero modifica la forma en que conviene leerlo.

Las tres entregas anteriores de esta serie siguieron ese desplazamiento. La primera examinó la IA como ampliación de la inteligencia humana. La segunda estudió su capacidad para democratizar recursos intelectuales antes reservados a instituciones y especialistas. La tercera advirtió que la ayuda puede debilitar la autonomía cognitiva cuando dejamos de contrastar y empezamos a delegar el juicio. Esta cuarta entrega cambia de escala. Pregunta quién organiza la ayuda, quién establece sus límites y quién responde cuando se integra en decisiones que afectan a otras personas.

El debate público suele presentar el asunto como una competición entre seres humanos y máquinas. Esa imagen atrae titulares, pero dice poco sobre el poder real. En realidad, el problema cotidiano es menos espectacular pues unas pocas organizaciones pueden fijar las condiciones bajo las que millones de personas reciben explicaciones, resúmenes, recomendaciones y borradores de decisión. La pregunta política empieza ahí.

De la institución visible a la mediación invisible

Durante siglos, las instituciones que ordenaban el conocimiento tenían una presencia reconocible. La escuela decidía el currículo. La universidad certificaba la competencia. El periódico escogía qué noticias merecían portada. La biblioteca organizaba catálogos y preservaba documentos. El Estado publicaba unas estadísticas y mantenía otras bajo reserva. Esas mediaciones nunca fueron neutrales, pero podían identificarse. Sabíamos dónde discutirlas.

Por su parte, la IA introduce una mediación más íntima. No organiza la información para una audiencia abstracta. Contesta a una persona concreta, adapta el tono, resume un expediente, propone una interpretación y puede redactar una carta lista para enviar. La relación parece doméstica, incluso confidencial. Su base material, sin embargo, es amplia y concentrada: semiconductores, centros de datos, proveedores de nube, modelos fundacionales, equipos humanos y acuerdos comerciales.

El cómputo siempre tuvo una dimensión física. El ENIAC ocupaba una sala y hacía visible el carácter industrial de la computación. Los sistemas actuales esconden mejor esa materialidad porque accedemos a ellos desde un navegador o un teléfono. La distancia entre la experiencia y la infraestructura no ha eliminado el poder institucional. Lo ha vuelto más difícil de percibir.

Un buscador ofrecía enlaces que el usuario debía recorrer. Una red social distribuía contenidos escritos por otros. Un modelo generativo entrega directamente una síntesis. Ahí reside su enorme comodidad y también un cambio de poder. Cuando la respuesta llega ya ordenada, con un tono seguro y una conclusión aparente, es más fácil olvidar que alguien decidió qué fuentes eran accesibles, cómo debía tratarse la incertidumbre y qué tipos de respuesta quedarían fuera.

Una respuesta no nace en la pantalla

Conviene seguir el recorrido de una consulta sencilla. Una persona pregunta por una ley, un tratamiento médico o un conflicto histórico. El sistema interpreta la frase, combina patrones aprendidos durante el entrenamiento con instrucciones posteriores, aplica filtros y produce una respuesta. Si incorpora búsquedas, selecciona además unas fuentes y descarta otras. Después, la interfaz presenta el resultado con citas visibles, con referencias incompletas o sin ninguna indicación de procedencia.

Cada etapa contiene decisiones humanas. Algunas pertenecen a ingenieros; otras, a abogados, responsables de seguridad, equipos de producto, directivos y reguladores. Incluso la orden aparentemente técnica de reducir errores exige elegir qué error preocupa más. Un sistema puede ser muy prudente ante un posible daño y demasiado concluyente ante una duda histórica. Puede advertir con claridad sobre una limitación médica y hablar con seguridad excesiva sobre una cuestión política discutida.

Por eso no resulta útil imaginar el modelo como un oráculo autónomo. Se parece más a una institución comprimida en una interfaz que reúne materiales de procedencia desigual, aplica normas que el usuario no ve y habla con una voz unificada. La voz puede ser razonable y la síntesis puede ahorrar horas de trabajo. Aun así, conviene preguntar qué condiciones la produjeron.

Dónde se concentra el poder

Hablar de concentración no significa afirmar que una empresa controla mecánicamente lo que piensa cada usuario. Esa descripción sería exagerada. La concentración aparece en los cuellos de botella. Por ejemplo, quién puede entrenar modelos a gran escala, quién controla la nube, quién distribuye la herramienta y quién fija los términos de acceso. Esos puntos permiten influir de forma desproporcionada en el entorno intelectual sin dictar cada conclusión.

Datos, cómputo y distribución

Entrenar y operar modelos avanzados requiere datos, energía, capacidad informática, talento especializado y dinero. La existencia de modelos abiertos y la competencia entre proveedores amplían las opciones, pero no eliminan la dependencia de chips, centros de datos, servicios de nube y canales de distribución. Una persona puede elegir entre varias aplicaciones y descubrir que casi todas descansan sobre un número reducido de infraestructuras.

La libertad de elección depende de condiciones colectivas como competencia real, interoperabilidad, portabilidad de datos, investigación pública, acceso para universidades y capacidad de auditoría. Si esas condiciones faltan, la elección del usuario puede reducirse a cambiar de ventana sin cambiar de dependencia.

Las reglas discretas de la interfaz

El poder se ejerce también mediante pequeños detalles. Una interfaz puede mostrar las fuentes junto a cada afirmación o esconderlas detrás de varios clics. Puede diferenciar un hecho comprobado de una inferencia o mezclarlos bajo la misma prosa. Puede invitar a pedir una objeción, ofrecer varias interpretaciones o cerrar la conversación con una respuesta que parece definitiva.

Quien utiliza estas herramientas reconoce la diferencia. Una advertencia de incertidumbre obliga a bajar la velocidad. Una cita precisa facilita la comprobación. Un botón que propone «mejorar» el texto puede homogeneizar la voz si el usuario acepta cada cambio sin leer. Son decisiones de diseño, pero también orientan hábitos: cuánto contrastamos, cuánto recordamos y con qué facilidad atribuimos autoridad a una frase bien construida.

La definición de lo seguro y lo permitido

Todo sistema incorpora límites. Algunos son necesarios: impedir fraude, proteger a menores, evitar instrucciones que faciliten violencia o delitos y preservar datos personales. La dificultad aparece cuando esas reglas son opacas, cambian sin explicación o se aplican del mismo modo a contextos muy distintos.

La moderación contiene juicios. Clasificar una respuesta como peligrosa, engañosa, discriminatoria o aceptable exige interpretar intención, contexto y riesgo. Las empresas tienen que asumir esa responsabilidad operativa. También deben aceptar que su criterio privado no resuelve por sí solo conflictos públicos sobre libertad de expresión, acceso al conocimiento o deliberación política. Cuando una regla afecta a millones de personas, la explicación deja de ser una cortesía. Se convierte en una forma de rendición de cuentas.

El Estado: árbitro, comprador y usuario

El Estado ocupa una posición incómoda. Regula a las empresas que desarrollan IA, compra sus productos y utiliza sistemas automatizados en la administración. Puede emplearlos para atención al ciudadano, análisis documental, educación, salud, seguridad o control fronterizo. Cada función introduce riesgos distintos y no admite el mismo nivel de supervisión.

Pensemos en una administración que usa un modelo para ordenar expedientes o señalar casos prioritarios. El funcionario puede ahorrar tiempo. Para la persona afectada, sin embargo, el sistema quizá influya en una inspección, una ayuda o una demora. Esa persona necesita saber que la herramienta intervino, qué función desempeñó y cómo solicitar una revisión humana. Sin esas garantías, la burocracia adquiere una apariencia técnica que vuelve más difícil localizar al responsable.

La Unión Europea ha avanzado en esta dirección con el Reglamento de Inteligencia Artificial. Las obligaciones para los proveedores de modelos de propósito general incluyen documentación técnica, información para quienes integran los modelos, políticas de cumplimiento del derecho de autor y un resumen suficientemente detallado del contenido utilizado en el entrenamiento. Desde el 2 de agosto de 2026, la Comisión puede ejercer plenamente sus competencias de cumplimiento respecto de estas obligaciones. La norma exige explicar y documentar incluso cuando un sistema opera a gran escala.

La regulación tampoco equivale a soberanía tecnológica. Un país puede aprobar normas exigentes y seguir dependiendo de nube, chips, modelos o capacidades técnicas desarrolladas en otros lugares. La autonomía estratégica requiere universidades fuertes, investigación pública, contratación inteligente y acceso de investigadores independientes a sistemas que ya influyen sobre la vida social.

La neutralidad que parece hablar en primera persona

La forma conversacional produce una ilusión comprensible. La pantalla responde «yo», recuerda el contexto y adapta el tono. Parece una conversación sin institución. Detrás hay objetivos de producto, filtros de seguridad, decisiones de diseño y presiones económicas. Reconocerlo permite leer la respuesta como leeríamos un documento útil cuya procedencia y método importan.

Una respuesta puede estar bien fundamentada y, al mismo tiempo, omitir una perspectiva relevante. Puede dar demasiada confianza a una hipótesis débil o suavizar un desacuerdo legítimo. El tono amable aumenta la utilidad, pero también puede hacer que aceptemos sin resistencia una conclusión que habríamos discutido si viniera firmada por un periódico, una empresa o un ministerio.

Podemos cruzar un puente sin conocer su ingeniería porque existen inspecciones, normas, responsables identificables y mecanismos de reparación cuando falla. La IA necesita una cultura parecida. Sin convertirse en especialista, el usuario debe poder saber qué sistema intervino, con qué límites, bajo qué responsabilidad y dónde reclamar si una decisión relevante le perjudica.

Qué puede exigir una democracia

La confianza pública no puede descansar únicamente en la buena voluntad de una empresa o en la habilidad individual de cada usuario. Cuando una herramienta interviene en educación, administración, trabajo, información o salud, hacen falta reglas que puedan comprobarse. Algunas exigencias son especialmente importantes:

• Transparencia proporcionada. La persona debe saber cuándo interviene un sistema de IA, para qué se utiliza y cuáles son sus límites relevantes.
• Trazabilidad práctica. Una explicación útil indica qué papel desempeñó el sistema y qué elementos fueron decisivos, sin esconderse detrás de una fórmula técnica.
• Auditoría independiente. Reguladores, investigadores y organizaciones cualificadas necesitan examinar riesgos, sesgos y efectos reales con acceso suficiente.
• Pluralidad e interoperabilidad. La vida intelectual no debería depender de una sola puerta de acceso, un único proveedor o una única forma de presentar la realidad.
• Revisión y recurso. Toda decisión de consecuencias relevantes debe poder cuestionarse ante una persona u organismo responsable.
• Alfabetización cívica. La educación debe enseñar a distinguir entre explicación, recomendación, predicción y decisión legítima.

Estas garantías no producirán respuestas infalibles. Su función es más modesta y más importante. Significa distribuir la responsabilidad. Permiten que un ciudadano pregunte, que un investigador examine, que un juez revise y que una empresa tenga que justificar decisiones que hasta ahora podían quedar escondidas en el sistema.

La autonomía también necesita instituciones

La entrega anterior sostuvo que la autonomía cognitiva depende de conservar la capacidad de contradecir a la IA. Esa disciplina sigue siendo necesaria. Resulta insuficiente si toda la carga recae sobre el individuo. Una persona puede contrastar con cuidado y seguir utilizando sistemas cuyos criterios básicos no puede conocer.

La autonomía necesita escuelas que enseñen a formular objeciones, medios que separen información de propaganda, administraciones que expliquen sus decisiones y empresas que respondan por daños previsibles. También necesita tiempo. Si cada entorno profesional premia únicamente la velocidad, el usuario prudente queda en desventaja frente a quien acepta la primera respuesta. La calidad del juicio depende de la voluntad y también de los incentivos.

En una redacción, un hospital, un despacho o una oficina pública, conviene examinar qué tareas se confían a la IA, qué revisiones se mantienen y quién firma el resultado final. Esa distribución de responsabilidades convierte una herramienta útil en una práctica institucional responsable.

Quién gobierna la síntesis

La inteligencia artificial puede ampliar el acceso al conocimiento, reducir barreras profesionales y ayudar a comprender documentos que antes quedaban fuera del alcance de muchas personas. Quiero seguir utilizándola para esos fines. Precisamente por su utilidad, conviene mirar con atención la estructura que la sostiene.

El control de la infraestructura permite fijar condiciones de acceso, visibilidad, prioridad y credibilidad. Permite decidir qué resulta sencillo, qué necesita varios pasos y qué no se ofrece. A largo plazo, esas decisiones influyen en la forma en que una sociedad busca información y justifica sus decisiones.

Cuando un asistente me entrega una respuesta limpia y convincente, prefiero detenerme un momento: ¿de dónde procede?, ¿qué alternativa falta?, ¿quién asumiría la responsabilidad si esta respuesta guiara una decisión equivocada? Esa pausa conserva algo esencial. Recuerda que la comodidad de la síntesis no elimina nuestra obligación de juzgar.

La autonomía humana se conserva cuando podemos utilizar herramientas poderosas y, al mismo tiempo, discutir las reglas que las gobiernan. Esa discusión no pertenece únicamente a ingenieros y empresas. También corresponde a ciudadanos, docentes, profesionales, jueces, periodistas y administraciones. La calidad democrática de la IA dependerá de que todos ellos puedan intervenir antes de que la infraestructura se vuelva tan cotidiana que deje de verse.

English Abstract

This fourth essay in the series examines artificial intelligence as an institutional and cognitive infrastructure. AI assistants appear as private conversations, yet their outputs are shaped by data, compute, interface design, safety policies, commercial incentives and legal obligations. The political question is therefore not whether machines will replace human beings, but who sets the conditions under which AI systems synthesize information and influence judgment. The essay argues for proportionate transparency, practical traceability, independent audit, pluralism, meaningful human review and civic literacy. Cognitive autonomy remains a personal habit of questioning outputs, but it also depends on institutions that distribute responsibility and allow citizens to contest consequential decisions.

Bibliografía

European Commission (2025). Guidelines on obligations for General-Purpose AI providers. AI Act Service Desk. Consulta oficial

European Union (2024). Regulation (EU) 2024/1689 laying down harmonised rules on artificial intelligence. Official Journal of the European Union. Consulta oficial

National Institute of Standards and Technology (2023). Artificial Intelligence Risk Management Framework (AI RMF 1.0). U.S. Department of Commerce. Consulta oficial

UNESCO (2021). Recommendation on the Ethics of Artificial Intelligence. UNESCO. Consulta oficial

OECD (2024). Recommendation of the Council on Artificial Intelligence. OECD Legal Instruments. Consulta oficial

Créditos de las imágenes

Carol M. Highsmith / Library of Congress. Sala Principal de Lectura de la Biblioteca del Congreso. Dominio público. Ficha y licencia

U.S. Army Research Laboratory. ENIAC. Dominio público. Ficha y licencia

Marco Librero / NASA Ames Research Center. Supercomputador Pleiades. Dominio público. Ficha y licencia

Serie «Inteligencia artificial y autonomía humana»

Entrega I: La inteligencia artificial como ampliación de la inteligencia humana.

Entrega II: La inteligencia artificial como democratización del poder intelectual.

Entrega III: La inteligencia artificial y la autonomía cognitiva: cuando delegar el pensamiento empieza a convertirse en delegar el juicio.

Entrega IV: La inteligencia artificial, las instituciones y el poder: quién define las condiciones en las que pensamos y decidimos.