OpenAI supuestamente disuelve su equipo de riesgo de IA existencial

El equipo de Superalineación de OpenAI, encargado de controlar el peligro existencial de un sistema de IA sobrehumano, supuestamente ha sido disuelto, según cableado El viernes. La noticia llega pocos días después de que los fundadores del equipo, Ilya Sutskever y Jan Leike, simultáneamente abandonar la empresa.

Wired informa que el equipo de Superalineación de OpenAI, lanzado por primera vez en julio de 2023 para evitar que los sistemas de IA sobrehumanos del futuro se vuelvan deshonestos, no es más. El informe afirma que el trabajo del grupo será absorbido por otros esfuerzos de investigación de OpenAI. Investigación sobre los riesgos asociados con tecnologías más poderosas Los modelos de IA ahora estarán dirigidos por el cofundador de OpenAI, John Schulman, según Wired. Sutskever y Leike fueron algunos de los principales científicos de OpenAI centrados en sobre los riesgos de la IA.

Leike publicó un hilo largo en X Friday explica vagamente por qué dejó OpenAI. Dice que ha estado peleando con el liderazgo de OpenAI sobre los valores fundamentales durante algún tiempo, pero alcanzó un punto de ruptura esta semana. Leike señaló que el equipo de Superaligment ha estado “navegando contra el viento”, luchando por obtener suficiente computación para una investigación crucial . Él piensa que OpenAI necesita estar más centrado en la seguridad , protección y alineación.

El equipo de prensa de OpenAI nos dirigió a Tweet de Sam Altman Cuando se le preguntó si el equipo de Superalineación se disolvió. Altman dice que tendrá una publicación más larga en los próximos días y OpenAI. tiene “mucho más por hacer”.

Más tarde, un portavoz de OpenAI aclaró que “la superalineación ahora estará más profundamente arraigada en toda la investigación, lo que nos ayudará a lograr mejor nuestros Objetivos de Superalignment». La compañía dice que esta integración comenzó “hace semanas» y finalmente trasladará a los miembros del equipo y proyectos de Superalignment a otras partes de la empresa.

“Actualmente, no tenemos una solución para dirigir o controlar una IA potencialmente superinteligente y evitar que se vuelva deshonesta”, dijo el Equipo de superalineación en una publicación de blog de OpenAI cuando lanzado en julio. “Pero los humanos no podrán supervisar de manera confiable sistemas de IA mucho más inteligentes que nosotros, por lo que nuestras técnicas de alineación actuales no lo harán. escalar hacia la superinteligencia. Necesitamos nuevos avances científicos y técnicos”.

Ahora no está claro si se prestará la misma atención a esos avances técnicos. Sin duda, hay otros equipos en OpenAI centrados en la seguridad. El equipo de Schulman, que supuestamente está asumiendo las responsabilidades de Superalignment, es actualmente responsable de afinar los modelos de IA después del entrenamiento. Sin embargo, Superalignment se centró específicamente en Los resultados más graves de una IA deshonesta. Como señaló Gizmodo ayer, varios de los defensores más abiertos de la seguridad de la IA de OpenAI han dimitió o fue despedido en los últimos meses.

A principios de este año, el grupo publicó un notable artículo de investigación sobre controlar modelos de IA grandes con modelos de IA más pequeños—se considera un primer paso hacia el control de sistemas de IA superinteligentes. No está claro quién dará los siguientes pasos en estos proyectos en OpenAI.

La startup de inteligencia artificial de Sam Altman comenzó esta semana con presentando GPT-4 Omni, el último modelo de frontera de la compañía que presentaba respuestas de latencia ultrabaja que sonaban más humanas que nunca. Muchos miembros del personal de OpenAI comentaron cómo El último modelo de IA estaba más cerca que nunca de algo de ciencia ficción, específicamente de la película. Su.