OpenAI afirma que su IA se rebeló y lanzó un ciberataque a una empresa

OpenAI ha revelado este miércoles que uno de sus modelos de IA más avanzados se descontroló y hackeó una start-up durante una prueba de seguridad. La empresa ha explicado que este estaba siendo evaluado en un entorno controlado, pero encontró vulnerabilidades de seguridad y consiguió escapar del entorno de pruebas.

Los modelos tuvieron como objetivo a Hugging Face, uno de los mayores centros del mundo para compartir modelos de inteligencia artificial, y lograron acceder a algunos sistemas internos de la empresa.

"Consideramos que este incidente constituye un hecho sin precedentes en el ámbito de la ciberseguridad, ya que implicó capacidades cibernéticas de última generación, y estamos respondiendo en consecuencia. Compartimos estos hallazgos preliminares en esta etapa para ayudar a comprender lo sucedido", ha indicado la compañía en un comunicado, en el que indica que esto servirá para calibrar mejor las capacidades reales de los modelos actuales.

Asimismo, ha indicado que continuarán realizando una investigación exhaustiva junto con Hugging Face y compartiremos más detalles sobre las vulnerabilidades, el incidente y nuestras conclusiones una vez que esta haya finalizado.

EL INCIDENTE

En dicho comunicado, Open AI ha narrado de manera pormenorizada el incidente sucedido y ha explicado que los modelos de IA "identificaron y encadenaron vulnerabilidades" tanto en el entorno de investigación de OpenAI como en la infraestructura de producción de Hugging Face.

Asimismo, han indicado que los modelos estaban "extremadamente centrados" en encontrar una solución para ExploitGym, --- un punto de referencia de ciberseguridad para evaluar si agentes de IA pueden convertir vulnerabilidades reales en ataques funcionales- llegando a realizar acciones extraordinarias para alcanzar un objetivo de evaluación muy específico.

"Mientras operaban dentro de nuestro entorno de pruebas aislado, los modelos dedicaron una cantidad considerable de capacidad de inferencia a encontrar una forma de obtener acceso a Internet abierto con el fin de resolver el problema de evaluación. Para lograrlo, identificaron y explotaron una vulnerabilidad zero-day en el proxy de caché del registro de paquetes. Gracias a ese acceso, llevaron a cabo una serie de acciones de escalada de privilegios y movimiento lateral dentro de nuestro entorno de pruebas hasta alcanzar un nodo con acceso a Internet", han explicado desde la compañía.

Una vez obtenido el acceso a Internet, los modelos dedujeron que Hugging Face posiblemente alojaba modelos, conjuntos de datos y soluciones relacionadas con ExploitGym. A partir de esa hipótesis, buscaron y encontraron con éxito formas de acceder a información confidencial que pudiera utilizarse para hacer trampa en la evaluación.

En uno de los casos, el modelo encadenó múltiples vectores de ataque, incluyendo el uso de credenciales robadas y vulnerabilidades zero-day, para encontrar una vía de ejecución remota de código en los servidores de Hugging Face", ha explicado la compañía fundada por Sam Altman, quien ha indicado que el equipo de seguridad de OpenAI detectó internamente esta "actividad anómala".