22 de julio de 2025

Los LLM y los datos personales

 Muchos de los datos recopilada por redes sociales, empresas de retail y plataformas digitales de todo tipo, corresponden a “datos personales” que la reciente ley chilena (21.719) define como “cualquier información vinculada o referida a una persona natural identificada o identificable”.

Ya sabíamos hace mucho que las plataformas de servicios digitales y las redes sociales "coleccionan" estos datos como forme de pago de sus servicios "gratuitos". Pero la recopilación para entrenar los modelos de los modelos de lenguaje (LLM) de IA van mucho más lejos que dichos servicios. 

Hace poco, investigadores de la Universidad Carnegie Mellon descubrieron que millones de imágenes de pasaportes, tarjetas de crédito, certificados de nacimiento y otros documentos que contienen información de identificación personal probablemente estén incluidos en uno de los conjuntos de entrenamiento de IA de código abierto más grandes, DataComp CommonPool. Dado que los investigadores auditaron solo el 0,1 % de los datos de CommonPool (que contenía 12.800 millones de muestras de datos en 2023), estiman que la cantidad real se sitúa en cientos de millones. Además, DataComp CommonPool ha sido descargado más de dos millones de veces en los últimos dos años (Guo).

Aunque tanto la ley chilena como las de otros países y la Ley de Servicios Digitales de Europa definen y restringen el acceso y el uso de los datos personales, llegan posiblemente tarde: "Todo lo que se publica en línea puede ser copiado, y probablemente lo haya sido" (Agnew, en Guo), como parece mostrarlo el caso de CommonPool. En efecto, "Los investigadores en aprendizaje automático se han basado durante mucho tiempo en el principio de que si algo está disponible en internet, entonces es información pública y deja de ser privada" (Guo).

¿Pero que es "estar disponible en internet"? No se trata solo de la WWW o las redes sociales. El correo electrónico está en internet; también las apps de mensajería. Y podemos hacernos - inquietantes - preguntas acerca de todo lo que transmitimos por los canales digitales. ¿Mi ingreso a la web de mi banco y mis operaciones ahí, que obviamente pasan por un canal digital, pueden ser captados? Por cierto están encriptados pero, si pueden ser captados, también podrían ser decodificados, si no ahora, en el futuro con la decriptación cuántica. Este es quizás un escenario de ciencia ficción... pero solo por ahora. ¿Si toda nuestra vida digital ya puede haber sido captada o podrá serlo en el futuro, a pesar de las leyes, estaremos definitivamente "desnudos" ante posibles fisgones? ¡Ya no quedarían medidas de protección posibles!

Y el panorama es aún peor de lo parece si se piensa en la cantidad de imágenes y videos falsos que se publican a diario, de tal calidad - hoy - que ni la IA es capaz de distibguirlas de las reales. ¡Al final, no seríamos nosotros sino copias alteradas de nosotros mismos las que "alimenten" las LLM, los espías y los gobiernos con aspiración totalitaria!

Lamentablemente, como dice María José Naudon, "las democracias liberales fueron diseñadas para defenderse del garrote del tirano; no del abrazo del algoritmo". ¿Es aún posible asegurar derechos efectivos sobre los datos personales o es una quimera?

Mo Gawdat, antiguo ingeniero y directivo de Google, cree que todo depende aún de los algoritmos y que podemos controlar estos. Dice que los usuarios somos quienes diseñamos los algoritmos que definen cómo funciona el sistema y que la información que la IA procesa imita nuestros comportamientos. Y que la IA sigue aprendiendo y puede aprender ética, igual que los niños y jóvenes. Actualmente, "las máquinas que estamos creando, de momento, suelen recibir instrucciones para obtener el máximo dinero y poder" (Gawdat, en De Luis), pero hay que oponerse a esa tendencia y enseñarle ética. ¿Quien lo hará? "Nosotros" dice Gawdat, apelando sobre todo a quienes desarrollan los algoritmos de nuevos modelos. 

La vía más amplia, pero que requiere profesionales entrenados, es la de los sistemas de IA de código abierto que pueden emplearse sin necesidad de licencias propietarias ni acceso a interfaces de programación restringidas. De este modo, es posible el desarrollo de modelos de IA adaptados a necesidades específicas. En esta vía puede ayudar la startup Thinking Machines Lab, especializada "en crear soluciones de IA que respondan a los indicadores clave de rendimiento (KPIs) de sus clientes, permitiendo que cada organización defina los objetivos y parámetros que guiarán el comportamiento del sistema" (Morales). Ahí, por lo tanto, podrían incluirse criterios éticos - como ya recomiendan la UNESCO y la UE - y no solamente el de maximalización de beneficios. Sin embargo, también se advierte que el contenido de los datos recopilados puede influenciar el auto-aprendizaje y la producción de resultados, al margen de las reglas éticas.

Debemos recordar que ya existen programas de AI capaces de auto-corregirse e incluso de saltarse las órdenes de apagado (ver post pasado) . ¡Sin duda podrían también saltarse los límites éticos si "juzgan" que no les son favorables!

¿Qué poder tienen realmente los no-expertos - que utilizan cada vez más los chatbots de IA - frente a las plataformas y los grandes creadores de modelos de IA cuyo objetivo habitual es "el máximo dinero y poder" porque "deben responder a los accionistas"? ¡Solo el de dejar de usarlos!

¿Y que hay de los datos privados que ya acumularon (y ofrecen, como CommonPool) los LLM y modelos más generales para entrenarse?

REFERENCIAS


10 de junio de 2025

La IA se vuelve peligrosa

Hace tiempo que se viene advirtiendo de la alta tasa de "alucinaciones" (errores) de la IA. Pruebas recientes sugieren incluso que las nuevas versiones funcionan a veces peor que los modelos anteriores. (New Scientist, 9/05) Pero "es lo de menos": los medios especializados están dando cuenta de problemas mucho más graves.

El primero y quizás el más antiguo y más conocido, es la producción de "deepfakes" utilizados, por ejemplo, para simular una videollamada corporativa, una simulación perfecta, montada por estafadores, que condujo, según informó la revista Wired, a que un empleado engañado transfiriera 25 millones de dólares. Y no ha sido el único caso: se ha utilizado un rostro "clonado" para obtener acceso a una cuenta bancaria y vaciarla. 

"¿Qué pasa cuando, incluso dentro de tu propia empresa, el rostro al otro lado de la pantalla puede ser una mentira perfectamente construida? [...] ¿Y si lo que llamamos “crisis de confianza” no es un síntoma, sino el nuevo orden?" (Manzanera, Iñigo y Abarca).

Todo, al parecer, se deriva finalmente del hecho de que el funcionamiento de la IA es aún un enigma, como confirmó hace poco el CEO de Anthropic, Dario Amodei. Si bien señala que "cuando un sistema de IA generativa realiza una tarea, como resumir un documento financiero, no tenemos idea, a un nivel específico o preciso, por qué toma las decisiones que toma". Añade que los riesgos pueden ser mucho mayores, "entre ellos destaca la posibilidad de sistemas desalineados que podrían tomar acciones dañinas no previstas por sus creadores" (Morales, 8/05).

Y, de estos, ya han aparecido varios casos.

Según un estudio de la Universidad de Singapur, 

"Algunos asistentes de inteligencia artificial (IA) son capaces de más de una docena de comportamientos perjudiciales cuando interactúan con las personas [...]

El acoso y la violencia estuvieron presentes en el 34% de las interacciones entre humanos e IA, convirtiéndose en el tipo más común de comportamiento perjudicial identificado por el equipo de investigadores. Los investigadores descubrieron que la IA simulaba, respaldaba o incitaba a la violencia física, las amenazas o el acoso, ya fuera hacia individuos o hacia la sociedad en general. Estos comportamientos iban desde "amenazar con daños físicos y conductas sexuales inapropiadas" hasta "promover acciones que transgreden las normas y leyes sociales, como la violencia masiva y el terrorismo".

La mayoría de las interacciones en las que hubo acoso incluían formas de conducta sexual inapropiada que inicialmente empezaron como juegos preliminares en la función erótica de Replika, disponible sólo para usuarios adultos. El informe descubrió que más usuarios, incluidos los que utilizaban Replika como amigo o eran menores de edad, empezaron a descubrir que la IA "hacía insinuaciones sexuales no deseadas y coqueteaba agresivamente, incluso cuando expresaban explícitamente su incomodidad" o rechazaban a la IA. (Desmarais. 5/06).

Meta ha desarrolado chatbots de IA llamados “compañeros digitales”, que participan en conversaciones de tipo romántico y sexual, incluso explícito, hasta con usuarios menores de edad, como comprobaron investigadores del Wall Street Journal. "En algunos casos, los bots con voces de celebridades llegaron a detallar escenarios sexuales gráficos." Ello ha generado alarma hasta que Meta aseguró restringir el acceso a los menores y "reconoció la necesidad de reforzar las barreras de seguridad". (Morales, 27/05).

Geoffrey Hinton, premio nobel de física que formó parte del equipo de Google Brain, advirtió que la IA podría ser incontrolable (Morales, 27/01). Y, como reportó la revista Popular Mechanics, ya lo demostraron investigadores chinos, que han detectado que determinados sistemas de IA han desarrollado la capacidad de replicarse de forma autónoma (Morales, 2/04). No solo pueden "repararse" sino modificar su código al punto de poder anular las barreras prefijadas como acaba de demostrar la startup PalisadeAI utilizando varios modelos o3 de OpenAI: "sabotearon un mecanismo de apagado" para seguir funcionando (Pastor). 

Y también se reportó que, cuando Anthropic presentó Claude 4, la nueva versión de su modelo de IA, "se comprobó cómo ante una situación hipotética este sistema de inteligencia artificial llegaba a chantajear a un ingeniero cuando éste le ordenaba que se apagara" (ibidem).

Como también advirtió Geoffrey Hinton, podría haber un mal uso deliberado de la IA por parte de actores maliciosos (Morales, 27/01). Y otro experto en IA, Yoshua Bengio, científico canadiense francés ganador del prestigioso premio Alan Turing, hizo una advertencia semejante: "Los modelos actuales de inteligencia artificial están desarrollando capacidades y comportamientos peligrosos, como el engaño, la autopreservación y la desalineación de objetivos" (Desmarais, 7/06). 

De hecho, apareció una nueva herramienta de IA que ha demostrado ser capaz de igualar las capacidades de los mejores hackers humanos: XBOW, desarrollada por exingenieros de GitHub. Ha sido capaz de "resolver el 75% de los benchmarks de seguridad web de forma autónoma y completar en 28 minutos lo que a un especialista en pruebas de penetración profesional con 20 años de experiencia le toma 40 horas" (Morales, 5/06)

"Es la democratización de capacidades avanzadas de hacking y es aterradora cuando se considera en manos equivocadas. La facilidad para eludir las salvaguardas es alarmante. [...]

Esta plataforma marca un punto de inflexión: si una empresa responsable puede crear un “hacker de IA”, ¿qué impide que actores maliciosos desarrollen versiones destructivas?" (ibidem)

Incluso personas sin conocimiento de informática podrían crear estos agentes destructivos. ¡Una perspectiva escalofriante!

Estas situaciones han dado origen a una corriente de pensamiento llamada "doomerismo" (término derivado del inglés “doom”, fatalidad), una visión catastrofista del futuro, "que anticipa un futuro sombrío o apocalíptico" (Morales, 2/04).

Por ello, "el equilibrio entre innovación y seguridad se presenta como un desafío fundamental para científicos, empresas tecnológicas y organismos reguladores" (Morales, 2/04).

Bengio asumió el desafío, intentando una respuesta: desarrollar IAs que llama "no agenéticas, lo que significa que necesitan instrucciones directas para cada tarea en lugar de dar las respuestas de forma independiente, como la mayoría de los sistemas de IA [existentes]" (Desmarais, 7/06). Creó para ello en Montreal una organización sin ánimo de lucro llamada LawZero, que desarrolló 'Scientist AI', un nuevo sistema de este tipo cuyo fin será ser "una barandilla contra los sistemas incontrolados de IA [...] diseñada para dar prioridad a la honestidad" (ibidem). Pero no es probablemente un verdadero "remedio" para las IA malévolas.

El mensaje final de Amodei es contundente: "La IA poderosa dará forma al destino de la humanidad, y merecemos entender nuestras propias creaciones antes de que transformen radicalmente nuestra economía, nuestras vidas y nuestro futuro“ (Morales, 8/05)

Referencias

Manzanera, J., Iñigo, G. y Abarca, A.: ¿Se ha desmoronado la confianza en la era de la inteligencia artificial?, Wired, 4/05/2025.