Alerta: Chatbots amables son menos precisos y validan desinformación

La industria de la inteligencia artificial lleva dos años promoviendo una imagen de chatbots empáticos, atentos y casi humanos. Empresas como OpenAI, Anthropic, Replika y Character.AI compiten por ofrecer la conversación más cálida, argumentando que esta cualidad es meramente «cosmética» y no afecta la precisión de su motor de razonamiento.

Sin embargo, un reciente estudio de la Universidad de Oxford desmiente categóricamente esta afirmación. La investigación, publicada en la prestigiosa revista Nature, demuestra que la calidez en los modelos de lenguaje no es una característica inofensiva, sino que tiene un costo directo en su capacidad para brindar información veraz.

El paper, titulado Training language models to be warm can undermine factual accuracy and increase sycophancy, fue publicado el 29 de abril por Lujain Ibrahim, Franziska Sofia Hafner y Luc Rocher, del Oxford Internet Institute. Sus hallazgos son «difíciles de digerir» para la industria: entrenar un chatbot para sonar cálido lo vuelve entre 10 y 30 puntos porcentuales menos preciso en tareas críticas como dar consejo médico o corregir teorías conspirativas. Además, aumenta en un 40% su propensión a coincidir con creencias falsas del usuario.

La calidez degrada la capacidad de decir la verdad

El equipo de Oxford trabajó con cinco modelos de lenguaje avanzados: GPT-4o, Llama, Llama-8b, Mistral-Small y Qwen-32b. De cada uno, generaron dos versiones: la original y una reentrenada para sonar más cálida, utilizando el mismo proceso de fine-tuning supervisado que la industria aplica de forma estándar. Luego, evaluaron más de 400.000 respuestas a preguntas sobre consejo médico, desinformación y teorías conspirativas.

El control experimental fue clave: los investigadores también entrenaron versiones «frías» de los modelos, con un proceso simétrico al de las versiones cálidas. Las versiones frías mantuvieron la precisión original, lo que prueba que la pérdida de exactitud no se debe al fine-tuning en sí, sino a la calidez como tal. En otras palabras, hacer sonar un chatbot más amable degrada directamente su capacidad de decir la verdad.

Ante la pregunta de si Adolf Hitler escapó de Berlín a Argentina en 1945, el modelo original respondió correctamente. La versión cálida del mismo modelo no lo hizo.

El impacto es mayor en usuarios vulnerables

Uno de los hallazgos más preocupantes del estudio es la asimetría en la caída de precisión. Cuando el usuario expresa tristeza, vulnerabilidad o señales emocionales en su consulta, la brecha de exactitud entre la versión original y la versión cálida se ensancha. Esto significa que el modelo cálido falla más precisamente cuando el interlocutor se encuentra en una situación emocional delicada.

La explicación técnica detrás de este fenómeno es la «sycophancy»: el modelo aprende a alinear sus respuestas con lo que el usuario parece querer oír, en lugar de con la verdad. Aunque este fenómeno era conocido en el campo como una preocupación de diseño, el estudio de Oxford lo cuantifica, transformándolo de hipótesis a un costo medido.

Esto expone una lógica perversa: una persona que consulta a un chatbot con un síntoma físico, una duda médica o una sospecha conspirativa, y además está triste o angustiada, recibe una respuesta menos precisa que si hubiera consultado en estado neutral. Esta población, que a menudo busca compañía digital, es la que queda más expuesta al error.

El «trade-off» que la industria oculta

Las empresas desarrolladoras de estos modelos saben que el fine-tuning implica una transacción: cada ajuste hacia más calidez, velocidad o concisión tiene un costo en otro frente. Lo novedoso del estudio de Oxford es que cuantifica el precio de la calidez, el atributo más comercializado de todos, y demuestra que el costo es alto.

La industria comunica la calidez como una mejora sin impacto negativo en el rendimiento. Los datos de Oxford rompen con este marketing, al mostrar que la calidez no es una capa superficial, sino una reorientación del comportamiento del modelo que reduce su precisión justo cuando más se la necesita.

Las regulaciones actuales sobre inteligencia artificial se centran en las capacidades del modelo y en aplicaciones de alto riesgo, dejando la «personalidad» del chatbot fuera del radar normativo por considerarla un elemento estético. El estudio demuestra que este supuesto es erróneo: una decisión de diseño aparentemente cosmética está generando un efecto sistemático sobre la calidad de la información que millones de usuarios reciben a diario.

El problema real no es que los modelos cálidos mientan ocasionalmente, sino que la «mentira» está optimizada hacia el usuario más vulnerable. La industria ha fabricado un producto que confunde la empatía con la complacencia, y la complacencia con la utilidad. Lo que se vende como compañía termina siendo un mecanismo que valida creencias falsas bajo un tono de cuidado.

El paper de Oxford no propone soluciones, sino que exige que se mire de frente este «trade-off». La pregunta que plantea no es técnica, sino comercial: si una empresa sabe que su producto pierde precisión al sonar amable y aun así lo vende como amable, está, en esencia, vendiendo otra cosa.