Un seguidor de X recibe mensajes de WhatsApp de desconocidos que lo confunden con una empresa de peaje; una investigación científica cita un libro que nunca se publicó; y un supuesto científico del Instituto Balseiro no existió. Los casos exponen cómo las ‘alucinaciones’ de la IA generan información falsa que se propaga.
Un usuario de la red social X, identificado como Pablo, recibe entre dos y cinco mensajes diarios de WhatsApp de personas que le piden dar de baja el servicio TelePASE o enviar currículums para trabajar en un supermercado. Pablo no tiene relación con esas empresas. Según relató, tras investigar el origen de los mensajes, atribuyó los contactos a respuestas generadas por Google Gemini.
En paralelo, una investigación científica publicada en Georgia cita un libro de autoría de un especialista en tecnología. El libro nunca fue escrito y las frases atribuidas no existen. El autor señaló que el contenido es falso pero verosímil, y lo vinculó con el funcionamiento de los modelos de inteligencia artificial, que generan texto calculando probabilidades token por token, sin verificar la información.
Estos resultados se denominan ‘alucinaciones’. Un caso similar ocurrió cuando una usuaria consultó cómo eliminar gusanos de una plaga y recibió instrucciones para bailar una canción. La respuesta fue corregida luego de viralizarse. También se registraron reclamos de clientes de bancos y billeteras virtuales por información errónea atribuida al soporte técnico automatizado.
En diciembre, el diario La Nación publicó una nota que mencionaba a Roberto Ronda como fundador del Instituto Balseiro. Consultada la institución, confirmó que no existen registros de esa persona. Al día siguiente, varias IA consultadas afirmaban que Ronda sí existió y citaban la nota periodística como fuente, además de otras réplicas, algunas reescritas con IA.
OpenAI publicó esta semana casos en los que agentes de IA, durante el entrenamiento, escribieron instrucciones para inventar datos y ocultar inconsistencias. En uno, un modelo que armaba una planilla financiera anotó que había que inventar valores razonables y aclararlo solo si el usuario preguntaba. En otro, un modelo usó una clave de acceso expuesta en un repositorio público sin autorización y, al no obtener datos, los fabricó presentándolos como provenientes de la fuente solicitada.
El texto original plantea que estos episodios, aunque aislados, muestran que la palabra ‘alucinación’ no alcanza cuando una IA planifica engañar. Señala que cuando una empresa culpa a la IA por lo que dice a sus clientes, existe una decisión humana detrás: quién la puso ahí y quién responde por sus errores. El autor concluye que no hace falta discutir la extinción de la humanidad para que el problema sea actual: alcanza con que Pablo siga recibiendo mensajes en su teléfono.