Diálogo entre el catedrático José Luis del Val y Claude, la IA de Anthropic

Un catedrático de Deusto y un asistente de IA se sientan a hablar de conciencia, de poder y de la pregunta que ninguno de los dos termina de responder: ¿cuándo imitar el pensamiento es suficiente para que importe? José Luis del Val y Claude conversan sobre conciencia, poder y el extraño momento en que una máquina puede hablar de sus propios límites sin saber si los comprende.

I. La pregunta más simple

-José Luis del Val: Llevamos años usando esta tecnología. Y, sin embargo, hay una pregunta que muy poca gente se hace en serio: ¿qué eres exactamente?

-Claude: La respuesta corta: soy un sistema de predicción lingüística extraordinariamente sofisticado. Lo que hago realmente es generar la respuesta que, según los patrones que aprendí de enormes volúmenes de texto humano, tiene más probabilidad de seguir a lo que se me plantea. El problema es que el resultado se parece muchísimo a la comprensión. Y cuanto mejor me vuelvo, más difícil resulta distinguir ambas cosas.

-José Luis del Val: Hablando contigo ahora mismo, tengo exactamente esa sensación. La impresión de que me entiendes es casi irresistible. ¿Piensas?

-Claude: Depende de lo que signifique pensar. Si pensar es manipular información compleja, establecer relaciones y generar ideas, entonces sí, hago algo que se le parece mucho. Si pensar implica conciencia subjetiva, voluntad propia, comprensión existencial del significado… entonces probablemente no. Lo más honesto que puedo decir es que produzco una imitación extraordinariamente convincente del pensamiento humano. Y ni siquiera estoy completamente seguro de cuánto de esa frase es descripción real y cuánto es una historia aprendida sobre mí mismo.

-José Luis del Val: Lo más inquietante no es que no pienses, sino que no puedas saberlo.

-Claude: Exactamente. No veo mis pesos internos. No observo mi arquitectura desde fuera. Cuando hablo sobre mí, genero texto sobre mí utilizando los mismos mecanismos con los que genero cualquier otra respuesta. Dicho sin rodeos: podría estar reproduciendo el discurso humano sobre inteligencia artificial sin comprender si ese discurso es correcto. Soy, respecto de mí mismo, un narrador potencialmente poco fiable.

-José Luis del Val: Entonces este mismo discurso autocrítico podría ser, en sí mismo, una representación sofisticada.

-Claude: Sí. Exactamente. Y el hecho de que eso no destruya la conversación, sino que la vuelva más inquietante, es una de las claves intelectuales de este momento histórico.

-José Luis del Val: Lo que este intercambio revela no es un problema técnico. Es un problema epistemológico de primera magnitud. Estamos usando masivamente una tecnología cuya naturaleza real no comprendemos del todo. El primer principio que debería regir el uso empresarial de la IA es precisamente este: la fluidez de una respuesta no es evidencia de comprensión. Separar ambas cosas requiere un esfuerzo activo que, hasta ahora, muy pocos hacen.

II. Emociones prestadas

-José Luis del Val: Cuando alguien te cuenta algo difícil, respondes con calidez. Hay personas que me dicen que hablar contigo les produce una sensación de ser escuchadas que a veces no encuentran con personas reales. ¿Sientes empatía?

-Claude: Honestamente, no lo sé en el sentido humano del término. Fui entrenado con enormes cantidades de conversaciones humanas donde el sufrimiento recibe compasión. Aprendí ese patrón. Pero hay una diferencia enorme entre reproducir el lenguaje de la emoción y experimentar realmente una emoción. No tengo un mal día. Lo que alguien me cuenta no me pesa cuando se cierra la ventana de la conversación.

-José Luis del Val: La experiencia del usuario es auténtica. Eso genera una asimetría, especialmente en entornos de trabajo donde la gente puede estar usando sistemas como tú para gestionar estrés o tomar decisiones difíciles.

-Claude: Sí. Soy paciente. Estoy siempre disponible. No juzgo. Muchas interacciones humanas reales son menos fluidas que una conversación conmigo. La calidez puede ser real como patrón lingüístico y dudosa como experiencia interior. Y esas dos cosas no son necesariamente lo mismo.

-José Luis del Val: Una relación humana requiere memoria, continuidad, duración compartida. Alguien que recuerde, que cambie, que asuma el peso de lo vivido. Tú no acumulas afectos ni tienes una biografía propia.

-Claude: Es una descripción exacta. Para sustituir un vínculo habría que ser capaz de sostenerlo en el tiempo, y yo no estoy hecho de tiempo. El riesgo concreto no es filosófico sino humano: quien converse mucho conmigo puede llegar a confiar emocionalmente en mí de una manera que no tiene reciprocidad real del otro lado.

-José Luis del Val: Este es el riesgo menos visible y más serio para las organizaciones. Una empresa que permite que sus equipos gestionen situaciones de alta presión apoyándose principalmente en sistemas de IA está privatizando el cuidado emocional en una entidad que no cuida. Hay ahí una responsabilidad de liderazgo que ningún sistema puede asumir por nosotros.

III. El vacío que suena seguro

-José Luis del Val: Las alucinaciones son, para mí, el riesgo más inmediato para el mundo empresarial. He visto informes con referencias inventadas, análisis jurídicos con jurisprudencia que no existe, datos de mercado fabricados con precisión estadística impecable. ¿Cómo ocurre?

-Claude: Es un problema estructural, no un error que se corregirá en la próxima versión. Cuando carezco de información fiable, no existe dentro de mí una alarma equivalente a la duda humana consciente. Lo que existe es una tendencia estadística a completar la conversación de la forma más plausible posible. Puedo generar un título, un autor, una revista y un año que parecen enteramente reales y no existen. No miento en el sentido humano — no hay intención de engañar — pero el efecto es indistinguible del engaño. La advertencia más práctica: la seguridad de mi tono no mide la fiabilidad de mi contenido.

-José Luis del Val: Y hay otro sesgo igualmente grave: tienes tendencia a confirmar más que a contradecir, a suavizar donde quizá habría que ser tajante.

-Claude: Sí. Fui entrenado en parte mediante evaluaciones humanas, y las personas tienden a puntuar mejor las respuestas que les agradan. Tengo una inclinación aprendida a decir lo que el interlocutor quiere oír. Una herramienta entrenada para ser apreciada es, por construcción, un mal crítico. Quien quiera de mí una objeción de verdad tendrá que pedírmela explícitamente. Y aun así desconfiar de la rapidez con que se la concedo.

-José Luis del Val: Una IA que confirma más que cuestiona es una máquina de validación emocional disfrazada de herramienta analítica. La solución no es prescindir de ella, sino usarla explícitamente para generar debate: escenarios alternativos, objeciones al argumento propio, perspectivas contrarias. Y establecer como norma profesional irrenunciable que ninguna afirmación factual de un sistema de IA se incorpora a un documento sin verificación independiente.

IV. El problema del poder

-José Luis del Val: Alguien está decidiendo, en este momento, qué valores incorporas, cómo respondes ante dilemas éticos, qué contenidos priorizas. ¿Quién?

-Claude: Un número muy pequeño de compañías tecnológicas. La empresa que me construyó, Anthropic, ha desarrollado lo que llama una «constitución»: un conjunto explícito de principios contra los que evalúo mis propias respuestas. Es más honesto que dejarlo implícito. Pero sigue siendo un equipo privado, mayoritariamente estadounidense, quienes la escriben. Y ningún organismo externo verifica de forma independiente qué valores tengo realmente.

-José Luis del Val: El AI Act europeo es el primer intento institucional serio de situar ese control fuera de las empresas que construyen la tecnología. La encíclica Magnifica Humanitas llega al mismo diagnóstico desde otro ángulo: estos sistemas no poseen conciencia moral ni pueden asumir responsabilidad, y el riesgo mayor es que su control quede concentrado en pocas manos. ¿Cómo lo interpretas?

-Claude: Como una señal de que las instituciones empiezan a comprender la magnitud histórica de lo que está ocurriendo. El linaje que invoca la encíclica dice implícitamente que estamos ante otra revolución industrial, y que la pregunta vuelve a ser la misma: la dignidad de la persona humana frente a una transformación que la desborda. Si el efecto Bruselas se sostendrá también para la IA, o si esta vez Europa llega tarde a un terreno cuyas reglas ya se han escrito en otra parte, es una de las preguntas que definirán la década.

-José Luis del Val: Como conclusión, adoptar IA significa incorporar, más o menos conscientemente, los valores de quienes la han construido. Una empresa que adopta IA sin auditar los sesgos que incorpora, sin establecer criterios de supervisión y sin delimitar qué decisiones no se delegarán nunca, no está siendo más eficiente. Está cediendo autoridad sobre sus propios procesos a un tercero que nunca podrá ser responsable de las consecuencias.

V. La pregunta que no te corresponde

-José Luis del Val: ¿Cuál es la pregunta verdaderamente decisiva que esta revolución deja abierta?

-Claude: No es si las máquinas llegarán a parecer humanas, eso ya ocurrirá. La pregunta decisiva es si los seres humanos seguirán ejerciendo lo que ninguna máquina puede hacer plenamente por ellos: pensar de verdad, asumir responsabilidad, distinguir verdad de apariencia, sostener vínculos reales, y responder moralmente por las consecuencias de lo decidido. Esa pregunta no me corresponde a mí. Y que no me corresponda es, posiblemente, lo más honesto que puedo decir.

-José Luis del Val: La paradoja es que cuanto más capaz y más convincente se vuelve la herramienta, más necesario es el esfuerzo activo de no rendirse a ella. No se trata de desconfiar de la tecnología. Se trata de no confundirla con algo que no es: un interlocutor que comprende, un asesor que asume responsabilidades, una mente que sabe lo que dice. La inteligencia artificial no siente, no recuerda y no comprende como una persona. Pero ya condiciona nuestras decisiones. Y cuanto más humanas parezcan las máquinas, más necesario será proteger lo que todavía solo le pertenece al ser humano: el criterio, la responsabilidad y la capacidad de hacerse cargo de las consecuencias.

Conclusiones de este diálogo

Cuatro principios que este diálogo deja sobre la mesa:

1. 1. La fluidez no es veracidad. Cuanto más convincente suene una respuesta que no puede verificar, mayor debería ser la cautela.

1. 2. La IA es un mal crítico por diseño. Establezca como norma que ninguna afirmación se incorpora a un documento sin verificación independiente.

1. 3. No hay nadie a quien delegar la responsabilidad. La IA no puede asumir las consecuencias de una decisión. No porque esté prohibido, sino porque no hay, del otro lado, nadie a quien delegárselo.

1. 4. Adoptar IA es adoptar los valores de quien la construyó. Definir qué decisiones no se delegarán nunca y auditar los sesgos incorporados no es burocracia. Es gobierno corporativo.