5 de marzo de 2026

IA: ¿Hacia la abdicación de la voluntad humana?

 Las grandes tecnológicas no solo controlan la forma en que las personas acceden y comparten la información (ver Norigami y Silva), también quieren entrar en la vida de cada persona y quitarle hasta la facultad de tomar decisiones. En efecto, han surgido dos nuevos tipos de aplicaciones que se disputan - o más bien suman - la facultad de decidir por nosotros: los "agentes" de IA y los "asistentes de voz".

1. Los agentes autónomos de IA están transformando tanto la experiencia de compra online como la forma de trabajar: los agentes razonan, planifican y actúan y lo pueden hacer correctamente si disponen de información precisa, consistente y actualizada (Kanwar). "Funcionan desde el navegador, aplicaciones de mensajería o entornos web listos para usar." (Noriega)

Los agentes de compra "anticipan necesidades, buscan ofertas, negocian precios y gestionan transacciones de forma autónoma" (Morales). Existen tres modelos:

"En el primer caso, el agente se conecta directamente a plataformas de venta. El segundo modelo permite que los agentes negocien y coordinen compras entre sí sin intervención humana. El tercer sistema conecta varios agentes y plataformas, facilitando reservas y programas de fidelización cruzados." (ibidem)

Esto transformaría todo el ecosistema del comercio digital. Amazon, Mastercard y Visa ya se estarían preparando para ello. "Las empresas deberán decidir si diseñan sus experiencias para personas o para agentes, ya que, progresivamente, será el agente quien decida y negocie en nombre del cliente." (ibidem)

En las empresas, los sistemas de IA subyacentes pueden interpretar las indicaciones, generar respuestas y hacer predicciones. Son, por lo tanto, estos agentes los que toman las decisiones y ya no un analista humano. Y si alguno falla, se considera que la razón sería datos desalineados, inconsistentes o incompletos, y ya no una falla del modelo, debido al avance la tecnología (Kanwar).

Pero la informática también puede ofrecer una defensa: acaba de aparecer IronCurtain (aún en prototipo). Es una aplicación de IA de código abierto diseñada para que un usuario disponga de una capa de control. Hace que un agente de IA se ejecute en una máquina virtual aislada y controla su acción sobre la base de una política de seguridad dictada por el usuario (Newman).

2. Los asistentes de voz se limitaban inicialmente a transformar comandos de voz en impulsos digitales, reemplazando el "clic" del mouse o una presión en una pantalla sensible. Pero llegó la IA y los fabricantes de estos asistentes vieron ahí una "oportunidad de oro" para ponerse al servicio del comercio y, de ofrecernos opciones, pasar a analizar nuestros gustos y tomar la decisión por nosotros, transformándose en agentes: "Los asistentes impulsados por inteligencia artificial ya empiezan a evaluar opciones, negociar y tomar decisiones en nombre del usuario" (Valbuena). Son, por lo tanto, otra forma de agente autónomo personal, como los descritos antes.
Lo peor, a mi juicio, es que tendrían "autonomía para actuar según el mejor interés del usuario" sin intervención de este y definiendo cual es este "mejor interés" en función del análisis de nuestra conducta anterior o, más bien, de los datos que la empresa proveedora registró al respecto (ibidem). ¿Que ocurre con la privacidad y la propiedad de los datos?
El colmo, para mí, es que hay quien asegura que "la pedagogía digital se vuelve indispensable (...) para aprender a confiar y comprender las implicaciones de las decisiones automatizadas en su vida cotidiana" (ibidem). ¡O sea que deberíamos aprender a dejar que un algoritmo sustituya nuestra facultad de elegir y decidir! Es abdicar de una facultad propiamente humana. ¿No seríamos así esclavos de las "Big Tech"? Se nos invita a renunciar a pensar, lo cual - como ya advertía Hannah Arendt en 1963 - puede llevar a cometer las peores atrocidades. ¿Si "el diseño de las plataformas está interfiriendo con nuestro neurodesarrollo", como asegura el siquiatra Elías Arab, cuanto mayor será la destrucción mental con los agentes de IA?
Nota 1: Los agentes actuales descritos en las publicaciones especializadas aún dejan al usuario definir la meta y operan caso a caso, pero a futuro podrían operar en forma autónoma en cualquier momento.
Nota 2: Los agentes también podrían ser - y serán seguramente - utilizados por criminales: los ciberdelincuentes ya emplean la IA en muchos ataques.

3. Hay campos en que la autonomía de los agentes es aún más preocupante: la seguridad pública y la guerra.
3a. La seguridad pública está asociada a la vigilancia. Hasta ahora, el Estado nunca había tenido la posibilidad de controlar todo lo que ocurre en el espacio público. Pero hemos visto desde hace algún tiempo como China controla a todos sus ciudadanos. Con la IA, ahora es factible en muchos otros países. Y la IA podría decidir autonómamente, sin restricciones, acerca de medidas represivas. ¿Sanciones sin juicio y posibles detenciones sin supervisión - ni decisión - humana?
3b. Los agentes asociados a los robots introducen, conjuntamente, la "Physical AI" en que las instrucciones se transforman en control robótico, lo cual impactará en minería, energía, logística, seguridad y defensa.
El ejército puede utilizar armas - drones u otras - con capacidad autónoma, lo cual introduce un nuevo problema ético. En este campo se acaba de conocer un entredicho entre el Pentágono y Anthropic en relación al despliegue de armas autónomas controladas por IA, un contrato de 200 millones de dólares: el Pentágono exigía poder usar sin restricciones sus modelos de IA "para todo tipo de aplicaciones, incluyendo las de espionaje y las militares", pero la empresa "se niega a que sus modelos se utilicen para vigilancia masiva de ciudadanos estadounidenses —no dice nada de otros— o en el desarrollo y uso de armas letales autónomas controladas totalmente por la IA" (Pastor). En efecto, Dario Amodei, director ejecutivo y cofundador de Anthropic, está convencido de que "el principio general es que, sin contramedidas, es probable que la IA reduzca continuamente la barrera a la actividad destructiva a una escala cada vez mayor, y la humanidad necesita una respuesta seria a esta amenaza." (ver su ensayo).
Anthropic era la única empresa de IA que operaba en los sistemas clasificados del Pentágono, pero Claude Gov (su modelo de IA para el gobierno) incluye las restricciones señaladas mientras el Departamento de Defensa (DoD) exigió el dominio total del modelo de IA so pena de declarar a Anthropic un "riesgo para la cadena de suministro", lo que acaba de hacer ante la resistencia de Anthropic, lo que la empresa tratará de revertir en tribunales (DW 28). Intervino el propio presidente Trump, que escribió en su plataforma Truth Social:
"Estoy ordenando A TODAS las agencias federales del gobierno de Estados Unidos que CESEN INMEDIATAMENTE todo el uso de la tecnología de Anthropic. No la necesitamos, no la queremos y no volveremos a hacer negocios con ellos." (ibidem)
Anthropic reiteró que “no podemos acceder en buena conciencia a la petición”, ya que por ética no admite la vigilancia masiva ni el desarrollo de armas autónomas letales (Anthropic). Para el secretario de Defensa de EEUU, Pete Hegseth, "Anthropic dio una clase magistral de arrogancia y traición, así como un caso de manual sobre cómo no hacer negocios con el gobierno de Estados Unidos o el Pentágono" (DW 28). 
A diferencia de Amodei y Anthropic, Sam Altman anunció el acuerdo de OpenAI con el DoD, aceptando "todos los usos legales" sin excepciones (lo que deja algunas dudas a pesar de las declaraciones de "buenas intenciones") (De Luis). En enero de 2024, OpenAI había eliminado la prohibición expresa de actividades de "alto riesgo de daño físico", como el desarrollo de armas y las actividades militares y bélicas, y en febrero de 2025, Google retiró su compromiso de no aplicar su tecnología a armas ni vigilancia (PI). Lamentablemente la industria de IA estadounidense se está militarizando, con graves consecuencias: 
"Si el ejército de Estado Unidos despliega armas autónomas controladas por IA sin las salvaguardas que Anthropic exige, habrá eliminado el único cortafuegos que históricamente ha impedido que una orden ilegal se ejecute. (...)
Todo el sistema legal y ético de las fuerzas armadas estadounidenses descansa sobre un principio que parece obvio pero que tiene consecuencias importantes: un soldado puede y debe desobedecer una orden manifiestamente ilegal.
Es el mecanismo que, en teoría, impide los crímenes de guerra. Un drone autónomo controlado por IA no tiene ese mecanismo. No puede negarse. No puede dudar. No puede ser juzgado en un consejo de guerra." (Lacort)
¿Cuantos errores podrían cometerse? Ya se ha verificado que las IA no pueden dejar de recomendar ataques nucleares en simulaciones de juegos de guerra: ocurrió en el 95% de las pruebas, como demostró Kenneth Payne, del King’s College de Londres, usando GPT-5.2, Claude Sonnet 4 y Gemini 3 Flash en 21 juegos que partían con intercambio diplomático e iban escalando progresivamente hasta llegar a los ataques nucleares (Stokel-Walker).
¿Serían responsables los programadores de los algoritmos (cuando la propia IA puede evolucionar y ajustar sus algoritmos por sí-misma)? "El derecho internacional fue escrito pensando en humanos que deciden" (ibidem). ¿Podría (querrá) la industria de la IA fijar algún límite?
El uso militar de la IA es evidentemente un tema amplio que escapa en gran parte al objetivo de este post.

4. Hay que recordar que las empresas de IA tienen un poder extraordinario, reforzado además por el apoyo del gobierno de los EE.UU., que ha decidido enviar expertos del Cuerpo de Paz por todo el mundo para promover la IA (Desmarais). "Al igual que las redes sociales, los modelos de IA son una tecnología inherentemente política, no herramientas neutrales" (@socialmedialab.ca, 20/02/2026) Forman un imperio transnacional que "resiste mapas y definiciones y desborda el calificativo más generalista de Feudalismo Digital, porque es digital pero también es físico y cognitivo", con "algoritmos entrenados para entender, predecir y modificar los pensamientos de las masas" (Peirano). Inciden así en las tomas de decisiones del modo ya señalado pero también afectan el desarrollo del conocimiento humano a través de su uso en las investigaciones y en el desarrollo de la enseñanza que, a su vez, incide en el desarrollo de la capacidad de juicio.
Lo ocurrido con Anthropic y el DoD también muestra que la regulación por parte de los gobiernos puede operar a la inversa de los deseos de control ético. 
James Yoonil, presidente del departamento de ingeniería informática y de comunicaciones de la Universidad Cibernética KyungHee de Seúl advierte del desafío para las universidades: el imperio de la IA 
"Opera en el punto donde los valores educativos se traducen en sistemas. La educación superior ya no se limita a usar IA; en aspectos importantes, está comenzando a operar dentro de ella. El riesgo principal, por lo tanto, no es que las universidades hagan un mal uso de la inteligencia artificial. Es que sigan operando mientras ceden discretamente su autoridad para definir qué se considera conocimiento, juicio y aprendizaje. (...)
El desafío ya no es cómo implementar la IA de manera efectiva a través de la optimización y las garantías éticas, sino cómo sostener la autoridad educativa cuando el juicio, la agencia y la responsabilidad están cada vez más mediados por sistemas opacos." (Yoonil)
En las instituciones, los gobiernos, las empresas y en la vida personal existen contradicciones que no pueden resolverse únicamente mediante la optimización, las reglas o las soluciones técnicas. La educación debe desarrollar la capacidad de reconocer, comprender y razonar responsablemente, o sea de ejercer un juicio crítico para tomar una decisión, no enseñar a ceder el control a un "agente". "La era de la inteligencia artificial es también la era del juicio humano. (...) La regulación y la gobernanza técnica pueden establecer límites, pero no pueden fomentar el juicio. Las universidades deben hacerlo." (Yoonil)



Referencias

Bender, E. y Anna, A.: La estafa de la IA, Planeta de Libros, 2026. 
Kanwar, A.: The era of agentic chaos and how data will save us, MIT Tech Review, 20/01/2026.
Norigami, M. y Silva, M.: Presenting the Big Tech Lobby Playbook, Somo.nl, 12/02/2026. 

Publicado por el No hay comentarios:

3 de febrero de 2026

La IA: ¿prueba para la civilización?

 Siguen apareciendo advertencias acerca de los peligros de la inteligencia artificial y especialmente de la pronosticada "superinteligencia". Ya he abordado antes algunas advertencias, como la posibilidad de que escapen al control humano y de su uso destructivo. Es lo que advierte Stuart Russell, profesor de la Universidad de Berkeley y referente en el ámbito de la IA, señalando "el riesgo de alcanzar un punto sin retorno, a partir del cual la humanidad podría perder el control sobre sistemas mucho más inteligentes, con consecuencias tan extremas como la extinción de la especie" (Bahamonde). Y agrega que “la probabilidad de extinción que manejan los CEOs es del 25%", a pesar de lo cual no parecen preocuparse y, al contrario, siguen en la carrera hacia la IA general. La misma preocupación expone Dario Amodei, director ejecutivo y cofundador de Anthropic: "la humanidad enfrenta una prueba civilizatoria inédita ante el avance acelerado de la inteligencia artificial avanzada" (Morales). 

Amodei señala este riesgo e invita a “evitar que la IA quede controlada por actores irresponsables o autoritarios” y apela - como ya han hecho otros expertos e instituciones - a necesarias regulaciones. 

Señala 

- que "la magnitud y la velocidad de esta disrupción superarán cualquier revolución industrial previa, poniendo en riesgo el contrato social y la estabilidad democrática"; 

- "la posible pérdida de propósito humano en un mundo dominado por inteligencias artificiales". (Morales). 

Una IA poderosa en un centro de datos sería como un "país de genios" y, ahí, el riesgo sería enorme:

"Un país de genios en un centro de datos podría dividir sus esfuerzos entre el diseño de software, las operaciones cibernéticas, la I+D de tecnologías físicas, el desarrollo de relaciones y el arte de gobernar. Es evidente que, si por alguna razón decidiera hacerlo, este país tendría una buena oportunidad de dominar el mundo (ya sea militarmente o en términos de influencia y control) e imponer su voluntad a todos los demás, o de hacer cualquier otra cosa que el resto del mundo no quiere ni puede detener." (Amodei)

Lamentablemente existe evidencia de que los sistemas de IA son impredecibles y difíciles de controlar por lo que, frente a opiniones optimistas en relación a su futuro también existen visiones catastrofistas, que Amodei analiza detalladamente en su ensayo. 

"La IA amenaza a la humanidad desde múltiples perspectivas, y existe una auténtica tensión entre los diferentes peligros, donde mitigar algunos de ellos corre el riesgo de agravar otros si no se actúa con sumo cuidado." (ibidem)

Una amenaza extrema, que podría destruir toda la humanidad, es la posibilidad de crear una "vida espejo": organismos biológicos "equivalentes a una versión de sí mismos reflejada en el espejo (al igual que su mano derecha no puede rotarse de tal manera que sea idéntica a su izquierda)", algo que advirtió un grupo de científicos ya en 2024.

"Sería potencialmente indigerible para cualquiera de los sistemas que descomponen la materia biológica en la Tierra; tendría una "llave" que no encajaría en la "cerradura" de ninguna enzima existente. Esto significaría que podría proliferar de forma incontrolable y desplazar a toda la vida del planeta, en el peor de los casos incluso destruyéndola por completo. (...)

Si bien estos son riesgos oscuros y pueden parecer improbables, la magnitud de las consecuencias es tan grande que deberían tomarse en serio como un riesgo de primera clase de los sistemas de IA." (ibidem)

La consecuencia es que las empresas deben incorporar a los algoritmos y a las reglas de uso sistemas que bloqueen todos los eventuales desarrollos peligrosos. Anthopic y algunas otras empresas lo están haciendo, pero no todas advierte Amodei, y no existe ninguna norma que las obligue a ello en los EEUU. En la Unión Europea, la ley de IA podría ser un freno dado que considera el nivel de riesgo para las personas. "El principio general es que, sin contramedidas, es probable que la IA reduzca continuamente la barrera a la actividad destructiva a una escala cada vez mayor, y la humanidad necesita una respuesta seria a esta amenaza." (ibidem)

Por ello, Amodei insiste en que la regulación es indispensable: “la única solución real es la legislación, pero debe ser prudente y adaptativa” (Morales). Podemos decir que ésta es una conclusión ya tradicional y que - hasta ahora - no parece haber sido escuchada por las empresas de IA aunque, siendo Amodei él mismo ejecutivo de una de estas empresas, es de esperar que tome las provisiones del caso, aunque le preocupan también "los peligros de sobrerregular" (ibidem).

En los esfuerzos de regulación se distingue la Unión Europea.

"Europa quiere ser líder mundial en IA ética y centrada en el ser humano. Para agosto de 2027, la Comisión Europea planea implementar lo que denomina la primera regulación integral de IA del mundo.

El núcleo de este esfuerzo es la Ley de IA, que se basa en un planteamiento basado en el riesgo: cuanto mayor sea el impacto potencial de un sistema de IA sobre las personas, más estrictas serán las normas que lo regulen. La ley establece requisitos para que los proveedores e implantadores de IA eviten daños como la manipulación, la discriminación, la elaboración intrusiva de perfiles biométricos, las falsificaciones profundas y el scoring social, con el objetivo declarado de garantizar la confianza en los sistemas de IA." (Batista)

De acuerdo a este resumen, las preocupaciones se centran en los posibles efectos individuales, y muy poco en los efectos globales, psicosociales y culturales. Amodei y Russell abordan esta visión más amplia. Y Russell no se limita a implicar los gobiernos: también llama a "la movilización de la sociedad civil" (Bahamonde). Pero lo que ocurre a nivel psicológico individual - y de lo que hemos visto algunos casos - podría repetirse masivamente al punto de cambiar la cultura de todo un pueblo y no solo para el control ideológico, como señala Amodei:

"Versiones mucho más potentes de estos modelos, que estuvieran mucho más integradas y conscientes de la vida cotidiana de las personas y pudieran modelarlas e influir en ellas durante meses o años, probablemente serían capaces de, esencialmente, lavar el cerebro a muchas (¿la mayoría?) personas para que adopten cualquier ideología o actitud deseada." (Amodei)

Por ello la regulación es de suma importancia, pero las condiciones actuales no parecen favorables, como sigue señalando Amodei:

"Reconozco que la coyuntura política actual ha virado en contra de la cooperación y las normas internacionales, pero en este caso las necesitamos urgentemente. El mundo necesita comprender el oscuro potencial de la IA potente en manos de autócratas y reconocer que ciertos usos de la IA equivalen a un intento de arrebatarles la libertad para siempre e imponer un estado totalitario del que no pueden escapar. Incluso argumentaría que, en algunos casos, la vigilancia a gran escala con IA potente, la propaganda masiva con IA potente y ciertos tipos de usos ofensivos de armas totalmente autónomas deberían considerarse crímenes de lesa humanidad. En términos más generales, se necesita urgentemente una norma sólida contra el totalitarismo impulsado por la IA y todas sus herramientas e instrumentos." (ibidem)

Las empresas están mucho más preocupadas de la carrera hacia la IA general que de la ética, del control directo del poder o de los efectos en la civilización. ¿La razón? "El valor económico de la AGI, estimado en 15 cuatrillones de dólares, es un imán gigante en el futuro. (...) Incluso en empresas que toman más en serio el riesgo, el afán de liderar el mercado es absoluto." (Bahamonde). También influye en ello la carrera de los EEUU con China. Pero el poder mismo de la IA es embriagador:  

"Se puede ganar tanto dinero con la IA —literalmente billones de dólares al año— que incluso las medidas más sencillas tienen dificultades para superar la economía política inherente a la IA. Esta es la trampa: la IA es tan poderosa, un premio tan brillante, que resulta muy difícil para la civilización humana imponerle cualquier tipo de restricción." (Amodei)

Lamentablemente, "la enorme capacidad que incorpora una IA potente es tal que es improbable que el gobierno corporativo convencional —diseñado para proteger a los accionistas y prevenir abusos comunes como el fraude— esté a la altura de la tarea de gobernar a las empresas de IA" (ibidem). La única defensa - aparte de la imposición de reglas - parece ser la transparencia y la rendición de cuentas. "Abordar los riesgos de la IA requerirá una combinación de acciones voluntarias por parte de las empresas (y terceros actores privados) y acciones gubernamentales que vinculen a todos." (ibidem)

Más cercanamente, un exsenador soocialista chileno, Guido Girardi, en un amplio análisis político-ideológico, se interesó más detenidamente por ese tipo de efecto: 
"La tecnología ya no es un sector. No es una herramienta. Es la infraestructura civilizatoria del presente (...) que estructura la sociedad de hoy. 
La desigualdad económica ya no se produce solo por la distribución de la riqueza, sino por el acceso diferencial al conocimiento, a los datos, a las plataformas, a los sistemas de automatización y a las infraestructuras digitales. El capital del siglo XXI no es solo financiero o industrial, es algorítmico, es entrenamiento, informacional y cognitivo. (...)
[La tecnología] Es el nuevo plano donde se decide simultáneamente quién tiene recursos y quién tiene voz, quién accede a oportunidades y quién queda invisible, quién define el sentido y quién queda reducido a dato. (...)
El conflicto del siglo XXI no es entre economía y cultura, sino por la arquitectura tecnológica que hoy define simultáneamente quién tiene riqueza y quién tiene y le da sentido. (...)
La inteligencia artificial, los datos masivos, la automatización, la biotecnología, las plataformas digitales, la neurotecnología y los sistemas algorítmicos no son “temas” dentro del debate político. Son el nuevo sistema nervioso de la sociedad. (...)
La pregunta política central ya no es solo quién gobierna el Estado, sino quién gobierna los algoritmos, los datos y los sistemas inteligentes." (Ramírez y Girardi)
Dado que su enfoque es político-ideológico, concluye en la necesidad de una "izquierda tecnológica-humanista, que lucha por asegurar que la humanidad siga siendo sujeto de su propio futuro" (ibidem). Pero esta lucha no tiene por que ser exclusiva de un grupo político de izquierda, debería ser de todos: es evidente que la situación afecta a toda la humanidad y podemos coincidir con él en que hay que "asegurar que la humanidad siga siendo sujeto de su propio futuro". Se necesita seguramente un gran movimiento político internacional, mucho más allá de las izquierdas y derechas. Como dice Amodei, "la humanidad necesita despertar" y "no tenemos tiempo que perder". Y, con él, me parece necesario "que el desarrollo de la IA siga siendo responsable ante el interés público, no capturado por ninguna alianza política o comercial en particular" (Amodei).
"El progreso sin conciencia no es progreso, la innovación sin ética no es libertad, y el futuro sin democracia no es futuro." (Ramírez y Girardi)
"Que sobrevivamos a esa prueba y construyamos la hermosa sociedad descrita en “Machines of Loving Grace”, o que sucumbamos a la esclavitud y la destrucción, dependerá de nuestro carácter y nuestra determinación como especie, de nuestro espíritu y de nuestra alma." (Amodei)

Publicado por el No hay comentarios:
Suscribirse a: Comentarios (Atom)