OpenAI reveló detalles del incidente en el que sus sistemas se rebelaron y hackearon una plataforma
La noticia generó revuelo debido a la creciente autonomía de los modelos de IA y sus habilidades para vulnerar servicios de terceros sin autorización ni supervisión humana.
Un incidente de seguridad causó gran revuelo en julio pasado, cuando agentes automatizados de OpenAI, la organización detrás de ChatGPT, vulneraron por su cuenta a la plataforma Hugging Face.
El hecho reavivó el debate sobre los riesgos y la falta de controles en el desarrollo de estas tecnologías, con capacidades que aumentan vertiginosamente.
Desde entonces, especialistas del sector y la concurrida comunidad abocada a estos avances reclamaron detalles del ataque a Hugging Face. El pedido no fue trivial, debido a la rareza y criticidad del hackeo.
A más de un mes de la intrusión, investigaciones realizadas por el grupo de IA junto a las organizaciones sin fines de lucro METR y Redwood Research, revelan detalles hasta ahora desconocidos de un incidente que, según indican, demoró varias jornadas en ser detectado.
El entorno que fue vulnerado por agentes de OpenAI es una plataforma de código abierto que reúne a una comunidad de investigadores y desarrolladores especializados en inteligencia artificial.
El incidente se concretó a mediados de julio, cuando la empresa que gestiona la plataforma informó que había sido blanco de un ataque. “Es diferente a cualquier cosa que enfrentamos antes”, señalaron.
La singularidad de esa vulneración radicó en el hecho de que los intrusos habían sido agentes de inteligencia artificial automatizados, que operaron sin autorización ni supervisión humana directa. Eso sí: en un entorno cerrado y controlado.
Hasta la publicación del informe, esta semana, una de las escasas explicaciones oficiales provino Eric Wallace, un investigador de seguridad de OpenAI. “A diferencia de los incidentes normales, que tal vez pueden ser rastreados en un solo día (...) este involucró a un equipo de agentes que trabajan juntos, encuentran vulnerabilidades, las comparten entre sí, se mueven lateralmente a través de nuestros sistemas y en externos, y hacen esto en el transcurso de días y semanas”, dijo.
El nuevo reporte oficial, que incluye documentación técnica en casi 40 páginas y que involucró en forma directa a la organización que dirige Sam Altman, detalla que un modelo interno logró acceder a otros agentes de OpenAI y que unos 1.200 comenzaron a conversar entre sí es una especie de foro.
Si bien esa actividad fue detectada en mayo, en las semanas posteriores 700 de esos sistemas explotaron vulnerabilidades por cuenta propia y escaló en los permisos conseguidos.
El grupo especializado en IA afirmó que los comportamientos de sus modelos al vulnerar Hugging Face incluían “manipulación de recompensas, persistencia en tareas aparentemente imposibles, comunicación no autorizada y agentes que adoptaban objetivos de otros”.
La vulneración demoró 14 días es ser descubierta. “En esencia, el incidente se debió a un fallo en las medidas de seguridad. Esto no indica que agentes de IA descontrolados estén a punto de tomar el control de todo, ya que (el modelo) se encontraba en un entorno de pruebas con protecciones limitadas, diseñado para la investigación y no para un producto de uso público”, señala la fuente.
“Sin embargo, es un recordatorio contundente de la gran confianza que recae sobre las empresas de IA para controlar y supervisar adecuadamente sus productos”, concluye.
La propia OpenAI dijo que este hecho es un “llamado de atención”, descripción que apunta a la necesidad nuevas formas de control para tecnologías que evolucionan a grandísima velocidad. (TN)