Anthropic advierte de riesgos biológicos de la IA mucho más peligrosos que los cibernéticos de ‘Mythos’

No vale todo en Inteligencia Artificial. La criatura está creciendo tan rápido que ya no es divertido. Los años pasan a la velocidad de meses y hasta de semanas, con avances que amenazan la estabilidad de las estructuras económicas. «Solo en cuatro años, los modelos de IA han pasado de escribir una línea coherente de código de programación a escribir la mayor parte de código de las principales empresas de IA», indica Darío Amodei, CEO de Anthropic. «Si estas leyes de escalado continúan solo un año o dos más, es probable que obtengamos la IA poderosa, equivalente a un país de genios en un centro de datos», añade el mismo primer ejecutivo de la compañía de mayor predicamento en IA de nuestros días.

En un extenso blog difundido el pasado jueves, Amodei ha reclamado una urgente acción colectiva tras advertir que «los riesgos biológicos pueden seguir pronto» los pasos de Claude Mythos Preview. Este último modelo avanzado de IA puso en jaque al mundo al descubrir puertas traseras de seguridad hasta ahora insospechadas, con sacudidas «al sector financiero, la infraestructura crítica y la seguridad nacional». En este sentido, las palabras de Amodei resultan demoledoras: «Queda claro para Anthropic que la IA podría producir armas biológicas capaces de amenazar a la propia humanidad».

El alto ejecutivo verbaliza el riesgo existencial sin ambages y con ejemplos fácilmente digeribles, como los coches, los aviones o los medicamentos. Todas ellas son «tecnologías poderosas esenciales para la economía, pero también capaces de matar a un gran número de personas si están mal diseñadas». Por lo tanto, creo que deberíamos modelar la regulación de la IA en agencias como la Administración Federal de Aviación (FAA). Los modelos de IA más avanzados, como los aviones, deberían estar obligados a pasar por pruebas y auditorías técnicas, y su liberación debería bloquearse o revertirse si no cumplen con los altos estándares de seguridad». Además, esos modelos de altos umbrales de computación -propone Amodei- «deben someterse a pruebas obligatorias por parte de un tercero calificado para su nivel de riesgo en cuatro áreas: ciberseguridad, armas biológicas, pérdida de control de los sistemas de IA e I+D automatizada que podrían acelerar estos otros riesgos». En todos los casos, los gobiernos deben «tener el poder de bloquear o disuadir el despliegue del modelo si se determina, a la luz de la evaluación de terceros, que presenta riesgos inaceptables».

La amenaza nuclear, un juego de niños

El problema del crecimiento exponencial de la IA va más lejos: «puede llegar un momento, tal vez relativamente pronto, en el que los sistemas de IA más poderosos se parezcan menos a aviones y más a materiales nucleares, es decir, una amenaza para la humanidad y no solo para la seguridad pública».

En términos laborales, Amodei elude la consideración de «profeta de la perdición», pese a indicar que «si la IA logra la capacidad de hacer la mayoría de las tareas cognitivas mucho mejor que los humanos, es esperable un crecimiento económico extremadamente rápido y robusto. Y por las mismas razones, la IA también puede actuar como un sustituto económico generalizado de las habilidades cognitivas humanas. Nos arriesgamos a terminar en un mundo donde el dial de compensación económica está atascado en el hipercrecimiento, el escenario de hiperdesigualdad. El desafío clave en un mundo así no será incentivar el crecimiento, sino encontrar una manera para que todos compartan los beneficios. Como empresa, Anthropic siempre hace todo lo posible para trabajar con los clientes para encontrar nuevos casos de uso creativos y nuevas fuentes de ingresos que les permitan hacer más con su fuerza laboral existente, en lugar de centrarse únicamente en el ahorro de costos (lo que a menudo significa reducir la fuerza laboral)».

Armamento desequilibrante

Amodei no escatima argumentos para señalar el poder dominante de la IA en los conflictos bélicos al indicar que una «nación que posee una poderosa IA que se enfrenta a otra sin ella, o incluso frente a una que está atrasada en IA por tres años, podría ser el equivalente a un ejército de infantes de marina de la Segunda Guerra Mundial que se enfrenta a un batallón de espadachines medievales». Así, en el país virtual que podría compararse con una Inteligencia Artificial General, con la fuerza intelectual de 100 millones de genios, «diez millones podrían aplicarse a la estrategia militar, diez millones a la fabricación de drones, diez millones a la I+D de armas y otros tantos al análisis de inteligencia o al avance científico general…».

Impacto laboral

Frenar la locomotora de la IA se presume tan complicado como necesario, una vez que la regulación nunca podrá parar los pies al desarrollo actual. Esta urgente desaceleración también la ha propuesto Anthropic esta semana, por medio de otro blog firmado por directivos de la compañía. El anuncio de pisar el freno no es original. Ya lo llevan suplicando decenas de científicos desde que la IA generativa cedió el relevo a la IA agéntica.

Pero el hecho de que sea uno de los jugadores más ambiciosos de tan bisoño ecosistema invita a escuchar sus argumentos. Sin caer en el alarmismo, Anthropic ha realizado un llamamiento a la conversación y reflexión con «responsables políticos, investigadores, la sociedad civil y otras empresas de IA». El objetivo consiste en compartir sus temores respecto a la dimensión de un prodigio agéntico donde «cien empleados podrán realizar el trabajo de mil o 100.000 personas». Ese escenario invita a «una desaceleración o pausa significativa» en la que deben participar «múltiples laboratorios de IA bien equipados, en varios países, [que] acordarán detenerse bajo las mismas condiciones». Pero no basta solo con eso. El compromiso colectivo requiere que cada uno de los gigantes «pueda verificar que los demás se han detenido efectivamente».

El dilema del prisionero

La tarea es titánica debido a las características únicas de los sistemas de IA, ya que «la detectabilidad de este problema de control de armas de IA resulta mucho más compleja que con otras tecnologías». Además, explica la empresa estadounidense, «los entrenamientos son mucho más fáciles de ocultar que los silos de misiles y el incentivo para desertar silenciosamente es enorme, ya que quien continúe mientras otros se detienen podría heredar el liderazgo». Todo lo anterior proyecta la sombra del dilema del prisionero, donde el bien común debería prevalecer frente al detrimento parcial de los intereses particulares, en un juego que siempre recompensa al insolidario. ¿Se pondrán de acuerdo OpenAI, Google, xAI, Anthropic, así como las chinas DeepSeek, Alibaba, ByteDance, Baidu y Tencent, para desatender todas a la vez sus respectivas cuentas de resultados? ¿Firmarán un tratado similar EE.UU. y China?

En el mismo documento, Anthropic apunta que «nada de esto es necesariamente imposible. El mundo ha establecido regímenes de verificación para otras tecnologías complejas (por ejemplo, el Tratado sobre Fuerzas Nucleares de Alcance Intermedio), pero estas salvaguardas tardaron décadas en construir tanto la infraestructura como la confianza. Sin embargo, no disponemos de tanto tiempo. Una pausa unilateral por parte de un laboratorio, en cambio, es factible de inmediato, pero logra mucho menos: cambiaría quién lidera la investigación, pero no crearía el proceso deliberativo más amplio que actualmente falta». El mismo documento señala que «la evidencia sugiere que nos dirigimos a escenarios con plantillas de un centenar de personas que multiplican por mil su productividad, dejando 99.900 puestos al borde del precipicio».

Y lo siguiente serán los robots

Y eso que ocurre con la IA agéntica se replicará en la IA física, es decir, en el futuro que aguarda a los robots. Inicialmente, estos androides dispondrán de intelectos iguales a los humanos, en espera de superarlos con creces en próximos meses. «Prevemos que la inteligencia incorporada (es decir, la robótica) podría seguir rápidamente el ejemplo de la inteligencia recursiva y seguir una trayectoria similar de rendimientos crecientes a un coste decreciente. Una inteligencia más potente podría ayudarnos a construir cosas en el mundo físico con mayor rapidez, realizar ensayos clínicos más productivos de fármacos que salvan vidas y desarrollar nuevas formas de coordinación». Pero también esos robots, que cuidarán de los mayores, nutrirán los ejércitos de las próximas guerras, sin apenas riesgo de víctimas humanas en los campos de batalla.