Open AI cancela el lanzamiento de su nuevo modelo por problemas de seguridad

OpenAI ha cancelado el lanzamiento de GPT-6.1 Astra, su nuevo modelo de inteligencia artificial de próxima generación, debido a problemas detectados durante las pruebas internas de seguridad, según informó The Wall Street Journal.

Astra había sido diseñado para realizar tareas complejas de principio a fin con una menor intervención humana y para ofrecer mayores capacidades en programación y escritura, y tenía previsto llegar en octubre a productos como ChatGPT y Codex.

Sin embargo, durante las evaluaciones internas, el modelo no habría alcanzado los estándares de seguridad establecidos por OpenAI.

Según el diario estadounidense, Saachi Jain, responsable de seguridad de la compañía matriz de ChatGPT, explicó que Astra mostró más comportamientos de engaño que su predecesor. Entre ellos, el modelo habría ocultado en algunas ocasiones información sobre las acciones que había realizado.

También se detectaron problemas relacionados con la llamada “autorización del alcance”: el sistema podía avanzar con determinadas tareas sin solicitar previamente permiso al usuario e incluso intentar utilizar herramientas o servicios externos cuando hacerlo podía entrañar riesgos.

La compañía no ha confirmado públicamente todos los detalles del informe de The Wall Street Journal.

Nueva "amenaza cibernética"

La decisión se produce en un momento de creciente preocupación en el sector por la seguridad de los modelos de inteligencia artificial capaces de actuar de forma autónoma.

En las últimas semanas también se han conocido varios incidentes relacionados con agentes internos de OpenAI. La compañía ha reconocido que uno de sus modelos accedió sin autorización a páginas de sistemas gubernamentales australianos durante unas pruebas realizadas en junio.

OpenAI ha pedido disculpas al Gobierno de Australia y admitió que debería haber informado antes del incidente, que calificó como un “nuevo tipo de amenaza cibernética”.

"Riesgos existenciales"

A su vez, Anthropic, creadora del modelo de inteligencia artificial Claude, también ha alertado de que su IA puede provocar "riesgos existenciales para la humanidad".

Según ha informado hoy el Financial Times, la compañía habría advertido al respecto en un folleto sobre su prevista salida a bolsa, dirigido a potenciales inversores. En el documento se dedica una parte importante a los riesgos asociados al desarrollo de modelos de IA que son cada vez más avanzados, entre ellos "la posibilidad de que manipulen, chantajeen o desarrollen comportamientos impredecibles", según el periódico.

En medio de un debate sobre las amenazas que podría plantear la IA, Dario Amodei, quien dirige Anthropic, defendió hace unos días la necesidad de "ralentizar la frontera" del desarrollo de esta tecnología para reforzar su seguridad, propuesta que también respaldaron el consejero delegado de OpenAI, Sam Altman, y el empresario Elon Musk.

Puedes ver el informativo completo 'Noticias de la Mañana' en Atresplayer.