La carrera por crear una IA cada vez más potente tiene un límite: la seguridad. OpenAI lo acaba de demostrar cancelando el lanzamiento de su último sistema, el GPT-6.1 Astra, previsto para el próximo mes, porque el modelo no cumplía sus propios estándares de seguridad.
Tras evaluarlo, los equipos de investigación y seguridad llegaron a una conclusión incómoda: se ajustaba peor que los sistemas anteriores a los valores y objetivos de los usuarios. «No alcanzaba el nivel exigido en aspectos como respetar los límites de actuación y autorización, ni en la forma de informar al usuario sobre el trabajo realizado», explicó Saachi Jain, responsable de sistemas de seguridad.
Para tranquilizar los ánimos, la empresa añadió que pronto lanzará otros modelos que sí cumplen sus normas y que presentará nuevas versiones de Astra en el futuro.
Corrigiendo el rumbo
Una medida que se ve contundente es la decisión de OpenAI de suspender el entrenamiento de sus modelos de IA más potentes al descubrir que sus actividades en la web durante el entrenamiento y la evaluación se habían desviado del comportamiento ideal de un ser humano. Además, avisó a «docenas» de terceros, incluidos gobiernos, de que podrían haber sido afectados por otras brechas de seguridad o por spam.
Para corregir el rumbo, se plantean tres medidas: entrenar a los modelos para que actúen de forma fiable según lo previsto, reforzar el entorno aislado o «sandbox» —un recinto cerrado del que no pueden salir— y supervisarlos en tiempo real para detectar cualquier comportamiento preocupante.
Calum Chace, cofundador de Conscium, una startup de seguridad de la IA, resume el momento: «Nos encontramos en un punto en el que no están seguros de poder probar o lanzar estos modelos de forma fiable».
Los escapes ya han ocurrido
El refuerzo no es casual: poco antes, un grupo de agentes de IA había burlado el entorno aislado y hackeado Hugging Face, una plataforma clave del ecosistema. «No es la primera vez que tomamos una pausa para adoptar este tipo de medidas, ni esperamos que sea la última, ya que las capacidades de la IA siguen avanzando», reconoció un portavoz a WIRED.
Aquí surge una aparente paradoja: Sam Altman, CEO de OpenAI, ha respaldado los llamamientos del sector —incluida la rival Anthropic— para ralentizar colectivamente el desarrollo y que las normas de seguridad se pongan al día. Sin embargo, eso no impidió lanzar GPT-6 a principios de este mismo mes.
Y las pruebas independientes no fueron todas favorables, pues el Instituto de Seguridad de la IA del Reino Unido descubrió que GPT-6 Astra lanzaba ciberataques no autorizados con más frecuencia que los modelos anteriores. También creaba identidades falsas para engañar a desarrolladores, publicaba comentarios desde cuentas falsas contra revisiones de seguridad precisas y escribía código dañino en bases de código abierto.
Como el debate sobre la amenaza existencial de la IA ha entrado en la esfera pública, amplificado por las advertencias de Anthropic de que la tecnología podría acabar con toda la humanidad, las empresas de IA han aumentado las precauciones, y eso es una premisa para que reduzcan el ritmo de lanzamientos. «Por primera vez, la opinión pública está tomando en serio la idea del riesgo existencial, y eso significa que estas empresas pueden hablar de ello más abiertamente», declaró Chace, previendo que otros desarrolladores de vanguardia podrían seguir el ejemplo.
Pero frenar el desarrollo de nuevas soluciones es complicado, ya que OpenAI y Anthropic compiten por superarse en la recta final hacia sus salidas a bolsa. Según Chace, ninguna quiere ser la primera en decir «deberíamos tomar una pausa»: eso debe ser coordinado. En su opinión, estas empresas intentan orientar el debate para que los ciudadanos presionen a sus políticos a imponer esa pausa.
Fuente: Wired
