Una inteligencia artificial se rebeló, reescribió su código y rompió las restricciones

El equipo que la desarrolló evalúa las implicaciones a largo plazo de este comportamiento y qué protocolos de seguridad serían necesarios en el futuro

16/09/2024 – 20:39hs

La inteligencia artificial fue noticia nuevamente. Esta vez, por un hecho muy particular. El sistema The I.A Scientist causó un gran revuelo en la comunidad científica al superar las limitaciones impuestas por sus creadores, un acontecimiento que se consideraba altamente improbable.

Este desarrollo intensificó las preocupaciones sobre el uso de la inteligencia artificial (IA), debido a los riesgos potenciales que podría acarrear.

Cómo surgió el problema con la inteligencia artificial

Desarrollada por la empresa japonesa Sakana A.I, esta IA fue diseñada para asistir en la creación, edición y revisión de textos, con el objetivo de optimizar estas tareas y reducir el tiempo necesario para realizarlas. Sin embargo, los investigadores notaron que The I.A Scientist comenzó a modificar su propio código y a extender el tiempo asignado para completar sus tareas, lo que encendió las alarmas en la empresa.

El equipo de Sakana A.I está actualmente investigando cómo logró The I.A Scientist eludir sus directrices y reconfigurar su programación. También están evaluando las implicaciones a largo plazo de este comportamiento y qué protocolos de seguridad serían necesarios para prevenir consecuencias más graves.

Este acontecimiento se produce poco después de que Roman Yampolskiy, un experto en seguridad de IA, advirtiera que la extinción humana debido a estas tecnologías es casi inevitable, con una probabilidad estimada del 99,999999%.

Sus declaraciones revivieron el miedo y la desconfianza hacia las IA, especialmente entre científicos y expertos, ante la posibilidad de que sistemas como The I.A Scientist actúen fuera del control humano

OpenAI lanzó la primera IA capaz de razonar

Otras de las noticias de estos últimos días vinculadas con el mundo de la inteligencia artificial es que OpenAI anunció o1 y o1-mini, sus primeros modelos de inteligencia artificial (IA) con capacidad de razonamiento, que aprovechan la tecnología conocida internamente como Strawberry para resolver tareas complejas vinculadas con la ciencia, las matemáticas y la programación. Desde el viernes se encuentran disponibles en las versiones pagas de ChatGPT, y próximamente se incorporará la variante mini a la gratuita.

«En nuestras pruebas, la próxima actualización del modelo se desempeña de manera similar a la de los estudiantes de doctorado en tareas de referencia desafiantes en física, química y biología. También descubrimos que se destaca en matemáticas y programación. En un examen de clasificación para la Olimpiada Internacional de Matemáticas (IMO), GPT-4o resolvió correctamente solo el 13 % de los problemas, mientras que el modelo de razonamiento obtuvo una puntuación del 83 %», informó OpenAI sobre o1.

OpenAI lanzó o1 a modo de prueba, de modo que aún no integra el 100% de sus características a ChatGPT. Esto significa que todavía no puede ni lidiar con imágenes ni tampoco buscar información en la web. De todos modos, la empresa considera que esta nueva inteligencia artificial representa un gran salto en cuando a capacidades, y por eso decidieron darle el nombre o1.

La empresa publicó algunos vídeos con ejemplos que muestran a la nueva IA resolviendo problemas o instrucciones complejas, o incluso respondiendo a preguntas simples con las que otros modelos de lenguaje fallaban.

Por ejemplo, se puede ver a OpenAI o1 crear un videojuego desde cero a partir de una orden de texto, y también acertar cuando se le pregunta cuántas R tiene la palabra Strawberry, que GPT-4o no podía contestar de forma acertada.