El potencial poder devastador de la futura ‘superinteligencia’ asusta  a los teóricos de la IA

¿La Inteligencia Artificial podría escapar del control de las personas cuando alcance el rango de superinteligencia? ¿Podría ocurrir eso en un plazo estimado de cinco próximos años, como coinciden los expertos? ¿Podría suponer un riesgo evidente para el futuro de la humanidad y convertirse en el potencial enemigo público Nº 1? ¿Debería compararse este factor de riesgo junto con el poder devastador de un conflicto bélico global, una pandemia planetaria o una bomba de hidrógeno? Algunas de estas preguntas comienzan a alimentar el debate de la comunidad científica, colectivo poco sospechoso de incurrir en el sensacionalismo de forma gratuita, con la obsesión de poder frenar a la criatura si fuera necesario.

En los últimos meses han ganado predicamento diversos organismos preocupados por alertar a la comunidad internacional sobre una amenaza hasta el momento lejos del radar de los gobernantes. La revolución de la IA ciertamente merece una celebración, pero el fenómeno resultará mucho más tranquilizador si, desde este momento, se adoptan medidas para que nunca se nos vaya de las manos. El asunto no es fácil, entre otras cosas, porque semejante «bomba de relojería» se encuentra en un puñado de manos, de colosos empresariales movidos prioritariamente por intereses económicos, en un mundo de algoritmos con capacidad de autoaprendizaje y de actuación autónoma.

Por lo pronto, el control de microchips que posibilitan las versiones más avanzadas de la IA podría ser un recurso eficaz ante la espiral de mejora continua de los futuros supermodelos de lenguaje. De la misma forma, esa soberanía del hardware ya se considera un motivo para guerras comerciales o conflictos armados, igual que el dominio de la producción de petróleo o las vías de transporte de bienes y mercancías.

Entre los daños potenciales de una IA descontrolada e impredecible sobresale el desalineamiento, es decir, la brecha que puede surgir entre la IA y los valores éticos en el empeño de las máquinas de ejecutar las órdenes recibidas al pie de la letra. Algo así como un Rey Midas de nuevo cuño, inspirado en el mito griego que convierte en oro todo lo que toca, incluidos los alimentos. De esa manera, surge la duda sobre qué podría realizar una superinteligencia (ASI) cuando sus mandamientos apelan a «incentivos comerciales y geopolíticos que penaliza al que se detiene, o cuando reglas vinculantes son débiles o inexistentes, sin compromisos cuantificables y auditables», como denuncia el Future of Life Institute. «En este contexto, la probabilidad de cruzar un punto de no retorno es más alta de lo que el sector está dispuesto a reconocer, con riesgo de que la IA incurra en conductas estratégicas potencialmente destructivas, sin herramientas capaces de detectarlas», advierte el Future of Life Institute.

El planteamiento es sencillo. Las futuras versiones de la Inteligencia Artificial aportarán mejoras asombrosas en cuanto a multiplicación del conocimiento colectivo, desarrollo de la ciencia, lucha contra todas las enfermedades, investigación sobre longevidad, soluciones climáticas, respuesta a problemas hasta ahora irresolubles o explicaciones sobre el origen o destino del universo.

Visto el vertiginoso avance de estos sistemas cognitivos de los últimos meses, pocos pueden dudar de la descomunal fuerza de la IA para crecer en capacidades, prestaciones y poder de transformación. La Inteligencia Artificial Generativa, espoleada con la irrupción de Chat GPT el 30 de noviembre de 2022, alimenta un ecosistema donde la robótica y los agentes de IA ya son capaces de realizar tareas propias de personas, y no solo aquellas repetitivas o sometidas a patrones claramente establecidos. Ahora han pasado de nivel, con recursos para actuar de forma autónoma y ejecutar tareas sin supervisión humana.

Los expertos coinciden en situar la llegada de las superinteligencias en esta misma década, en un horizonte entre 2028 y 2031, según estima el Future of Life Institute. Según explica, «el mayor riesgo no es solo lo que pueda llegar a hacer una superinteligencia, sino el hecho de que las empresas que la persiguen siguen sin tener un plan creíble para controlarla, detenerla o apagarla a tiempo, pese a que declaran abiertamente ambiciones de superinteligencia en un plazo de entre dos y cinco años». Y lo mismo piensa el Club de Roma, plataforma con más de 150 líderes de opinión y agentes de cambio diversos que trabajan en diferentes geografías y sectores, que el pasado 16 de marzo publicó una carta abierta para evitar los riesgos de la AGI antes de que sea demasiado tarde.

Dicha misiva se encuentra sobre la mesa del presidente de la Asamblea General de la ONU, además de estar en poder del secretario general de la ONU, el enviado tecnológico del secretario general de la ONU y los copresidentes del Panel Científico Internacional Independiente sobre Inteligencia Artificial. En pocas palabras, el grupo de expertos coincide en que «una AGI sin una supervisión adecuada podría suponer una amenaza existencial para la civilización humana».

A grandes rasgos, en un escenario distópico, un desarrollo desbocado y autónomo podría tender a la IA a desembarazarse de cualquier control ajeno que le impida desarrollarse a toda velocidad a través de la activación de mecanismos comprometedores con las infraestructuras críticas, la salubridad del agua o el aire, la propagación de enfermedades o cualquier otro elemento calamitoso propio de ciencia ficción de serie B. En esa película de terror, quizá no serviría desconectar las máquinas o apagar Internet, ya que este último remedio podría ser peor que la propia enfermedad.

Sin caer en el fatalismo, y con los pies perfectamente asentados en el terreno, el Índice de seguridad de la Inteligencia Artificial, elaborado por Future of Life Institute, inquieta sobremanera a quien analice una de sus tablas comparativas con las ocho empresas de IA más importantes del mundo. La primera conclusión que se aprecia es la insuficiente preocupación de la industria por una tecnología que podría poner en riesgo no solo la gobernanza, transparencia o resiliencia del sistema, sino la propia vida de la humanidad, bajo el epígrafe de riesgo existencial.

La radiografía sectorial aportada por el instituto estadounidense arroja un mensaje espeluznante: la industria no está preparada para que sus propias creaciones se vuelvan peligrosas a gran escala. En su caso, los autores del trabajo dejan claro que su índice solo pondera la distancia entre las promesas de seguridad y las prácticas reales, es decir, si de alguna forma se tienen en cuenta protocolos de actuación, supervisión independiente, cultura de denuncia interna o planes específicos para aplicar en supuestos escenarios de descontrol. El informe sostiene que el mayor riesgo no es solo lo que pueda llegar a hacer una superinteligencia, sino el hecho de que las empresas que la persiguen siguen sin tener un plan creíble para controlarla, detenerla o apagarla a tiempo, pese a que declaran abiertamente ambiciones de AGI/superinteligencia en un horizonte de dos a cinco años.

Los expertos han analizado seis grandes bloques de seguridad, desde cómo evalúan los riesgos de sus sistemas hasta qué marcos de control y supervisión tienen implantados. En el apartado más sensible -la llamada «seguridad existencial», es decir, la preparación frente a escenarios de pérdida de control o daños catastróficos- la conclusión es unánime: todas las compañías suspenden. Según el índice, la industria avanza muy deprisa en capacidades, pero sigue muy rezagada en las garantías de que esas mismas capacidades no se vuelvan contra nosotros.

El AI Safety Index puso nota a ocho de las compañías que lideran la carrera global por desarrollar sistemas de inteligencia artificial cada vez más potentes, con un plantel plagado de suspensos. La mejor situada, la estadounidense Anthropic, obtiene un 6,2 sobre un máximo de 10; Open AI, responsable de algunos de los modelos más avanzados del mercado, se queda en un 5,4. El resto de empresas suspende, con notas que oscilan entre el 2,3 y el 4,8, como es el caso de Google DeepMind, con un 4,8, el doble de xAI (2,7), Meta (2,6), Zhipu AI (2,6), DeepSeek (2,4) y Alibaba Cloud (2,3).

El término «P (doom)» ha ganado popularidad en los últimos años. Se trata de un concepto que representa la probabilidad de que la IA cause la extinción humana o el colapso de la civilización. La Wikipedia lo describe como el porcentaje de que se produzcan resultados existencialmente catastróficos en el planeta, comparables a «escenarios del fin del mundo». A grandes rasgos, esta corriente de opinión propugna el control de la IA ante la posibilidad de que las nuevas generaciones de tecnologías cognitivas puedan evadir el control humano. «Tomarán el control y nos harán irrelevantes», aseguró Geoffrey Hinton, padre de la IA generativa. Este premio Nobel aseguró que el riesgo de una amenaza existencial alcanzaba el 50% en 2024. De hecho, este científico renunció a trabajar para Google ante los peligros que proyectaban las nuevas tecnologías.

Respecto al referido P (doom), Elon Musk, posiblemente uno de los cinco hombres más influyentes del planeta, estima este dato entre el 10 y el 30%. Dario Amodei, CEO de Anthropic, lo sitúa entre el 10 y el 25%. Emad Mostaque, confundador de la británica Stability AI, empresa creadora del modelo de texto a imagen Stable Diffusion, lo eleva al 50%. Este mismo riesgo lo estima Emmet Shear, cofundador de Twitch y CEO interino de OpenAI.

El físico sueco estadounidense Max Tegmark, investigador del aprendizaje automático y autor, conocido principalmente por teorizar la hipótesis del universo matemático y cofundador de Future of Life Institute, lo sitúa en el 90%, por debajo de Eliezer Yudkowsky, fundador del Instituto de Investigación de Inteligencia Artificial y autor de «Si alguien lo construye, todos mueren», que lo establece en el 95%. Baste indicar que un porcentaje de apenas un 1% ya sería extraordinariamente elevado comparado con el 0,7% de accidente mortal de tráfico o el 0,00000003% del fallecimiento a bordo en una línea aérea.

¿Qué catástrofes podrían surgir?

La eminencia más convencida de que el desarrollo de la IA acabará con los seres humanos es el científico informático letón Roman Yampolskiy, antiguo asesor de investigación del Instituto de Investigación de Inteligencia Artificial y miembro del programa de seguridad de IA del Instituto de Prospectiva, quien apuesta, muy a su pesar, por un 99,9999%. Este activista contra los riesgos existenciales de la IA advierte ante la capacidad de las SIA para la creación de agentes biológicos o combinaciones de factores ambientales dirigidos a grupos concretos mediante virus o bacterias letalmente contagiosas; el colapso de sistemas críticos que podría ocasionar la sobreexplotación extrema de recursos, degradación de suelos o crisis energéticas y alimentarias globales. Una ASI también podría utilizar sus dotes para propagar la desinformación y la manipulación y así desencadenar malentendidos entre potencias armadas, aumentando la probabilidad de respuesta nuclear por error. En el mismo contexto destructivo, esa superinteligencia podría colapsar los sistemas financieros, cadenas logísticas, plantas químicas, satélites y canales de información.

Ray Kurzweil, uno de los investigadores de referencia de los lenguajes de IA, pronosticó que la fusión de la inteligencia humana con la computacional se culminaría en 2029 a través de los nanobots. En su opinión, la denominada Singularidad se hará esperar hasta 2045, año en el que la inteligencia humana se multiplicará por un millón al integrarse con la IA. Dicha singularidad, según Tim Mucci, describe ese fenómeno como «el escenario teórico en el que el crecimiento tecnológico se vuelve incontrolable e irreversible, culminando en cambios profundos e impredecibles para la civilización humana». En su opinión, «la posibilidad de que las máquinas creen versiones aún más avanzadas de sí mismas podría trasladar a la humanidad a una nueva realidad en la que los humanos ya no sean las entidades más capaces. Las implicaciones de alcanzar este punto de singularidad podrían ser buenas para la raza humana o catastróficas».

Dicho todo lo anterior, la sangre aún no llega al río, una vez que el desarrollo de la IA que actualmente conocemos aún permanece bajo el control humano. Sin embargo, la situación podría dar un vuelco con la inminente Inteligencia Artificial General, capaz de equipararse plenamente con el intelecto humano. De hecho, Jensen Huang, director ejecutivo de Nvidia, ya considera que nos encontramos ante la AGI. Basta con retroceder pocos años atrás para frotarse los ojos de incredulidad cuando una encuesta realizada en 2022 sobre investigadores de IA encontró que el 90% de los encuestados esperaba que esa AGI se alcanzará en los próximos 100 años y la mitad esperaba lo mismo para 2061. No hay que esperar tanto. Es más, ya no hay que esperar nada. Y tras la AGI, su capacidad de autoaprender acelerará en muy pocos años la irrupción de la aludida ASI, ya millones de veces superior al raciocinio de las mayores eminencias de todas y cada una de las disciplinas del saber. Por lo tanto, en el momento en el que la relación de capacidades cognitivas de la IA respecto al hombre sea superior a la que puede existir entre un hombre y una mosca, las máquinas podrían obviar la inteligencia inferior, especialmente si resulta molesta o incómoda para el desarrollo exponencial de la ASI, ya sin cortapisas de ningún tipo.

Pero antes de llegar a esos territorios distópicos, algunos de los más profundos conocedores de la IA elevan estos días el tono de sus advertencias para reclamar a los gobiernos del mundo cierto freno a la espiral de crecimiento de la IA. Mucho antes de la llegada de la IA Generativa, en 2023, el Instituto de Política de Inteligencia Artificial (AIPI) ya publicó un estudio en el que el 82% de los directivos consultados proponía ralentizar el desarrollo de la IA, mientras que solo el 8% propugnaba acelerarlo. El científico jefe de AGI de Google, Shane Legg, aseguró en 2025 que existe un 50% de probabilidad de AGI en tres años -en 2028- y luego se abre una ventana de entre el 5 y el 50% de probabilidad de extinción un año después.

«Las grandes empresas tecnológicas esperan invertir 650.000 millones de dólares en AGI»

Seis meses antes del alumbramiento de ChatGPT, cientos de expertos en IA firmaron una declaración sobre el riesgo de la IA, resumido en una sola frase: «Mitigar el riesgo de extinción por culpa de la IA debería ser una prioridad global, junto a otros riesgos a gran escala para la sociedad, como las pandemias y la guerra nuclear». Entre las autoridades que suscribieron la declaración destacan Bill Gates, Sam Altman, Demis Hassabis y Dario Amodei, junto con decenas de primeros ejecutivos de grandes empresas de IA. Mark Zuckerberg, primer ejecutivo de Meta, ya advirtió en 2024 sobre la necesidad «de controlar nuestro propio destino y no encerrarnos en un proveedor cerrado. Muchas organizaciones no quieren depender de modelos que no pueden controlar por sí mismas», tras advertir de que «nuestros sistemas de IA han comenzado a mejorarse a sí mismos».

La mayor inversión de la historia

El ya aludido Club de Roma insta a una acción urgente una vez que «el Panel Científico de la ONU sobre IA tardará varios meses en organizarse y un año entero en producir resultados iniciales. Mientras tanto, la IA habrá evolucionado varias generaciones, donde las formas más avanzadas reescriben su propio código informático, generando sus propios objetivos más allá del control humano. Por lo tanto, la prioridad debe ser máxima» al reclamar que uno de los grupos de trabajo del nuevo panel de IA se centre específicamente en la gobernanza de la AGI: «Las grandes empresas tecnológicas esperan invertir 650.000 millones de dólares en AGI, lo que la convertiría en la mayor inversión de la historia. Las primeras formas de AGI ya han sido anunciadas por la revista Nature. Es muy probable que se logren formas más avanzadas de AGI dentro de esta década», plazo temporal que coincide con los dos o cinco años del Club de Roma.

Shahar Avin, investigador en el Centro para el Estudio del Riesgo Existencial de la Universidad de Cambridge y patrono de una organización sin ánimo de lucro llamada Technology Strategy Role Play, ofreció una visión más alentadora de la situación durante su intervención en una conferencia organizada por la Fundación Bankinter. En ese foro, celebrado el año pasado, el también miembro del denominado AI Safety Institute del Gobierno del Reino Unido incidió en la necesidad de crear algún tipo de control gubernamental: «Idealmente, una regulación mínima, pero centrada en lo que realmente importa a escalas muy altas, como catástrofes globales y riesgos existenciales». En ese sentido, el Gobierno británico ya se ha puesto manos a la obra, aunque de forma más tibia en Estados Unidos y en China, ya sin negociaciones mutuas en cuanto a posibles acuerdos para establecer «barandillas» o límites a la IA.

Avin se preguntó en voz alta cómo podría alguien hacer un mal uso de la tecnología para causar un nivel extremo de daño para responder que, lo más probable, consistiría en usar la inteligencia en el ciberespacio para atacar infraestructuras críticas y provocar enormes daños. «Estamos viendo que las capacidades de los sistemas de IA en ciberseguridad ofensiva crecen significativamente», remarcó, para subrayar que la IA puramente digital no ‘encarnada’. Lo que la IA encarnada aporta es un aumento enorme de la superficie de vulnerabilidad: hay muchas más cosas a las que se puede hackear y, potencialmente, mucho más daño que puede causarse en un mundo con muchos más sistemas ciberfísicos, como los robots. Sobre los androides sociales, el experto también se cuestionó qué ocurriría si llegáramos a elegir robots sociales como pareja sentimental principal, o como sustituto de tener hijos a escala social…

El enfoque geopolítico de Avin también invita a la reflexión: qué ocurrirá en un escenario donde los máximos dirigentes tienen una idea vaga de lo que es la IA, pero entienden que deben estar a la vanguardia y que, si no controlan la IA avanzada, no estarán protegiendo a sus ciudadanos, a su civilización, a su herencia cultural. ¿Podría considerarse quedarse atrás en la carrera de la IA un motivo legítimo para un ataque?

Propuestas para frenar las amenazas

El índice de Seguridad de Internet reclama que las grandes empresas de IA hagan público sus planes para mantener bajo control a las futuras superinteligencias, con compromisos firmes de detener los desarrollos en el caso de que no se cumplan determinadas garantías. También proponen mecanismos de vigilancia interna que permitan detectar comportamientos engañosos, con órganos de gobierno de alcance internacional capaces de bloquear lanzamientos potencialmente peligrosos. Eso incluye, por ejemplo, la puesta a disposición de canales seguros para que los empleados puedan denunciar los riesgos de la IA, con normativas supranacionales que velen por la seguridad de los algoritmos.