Este trabajo investiga si la tendencia de los grandes modelos de lenguaje (LLMs) a alinear sus respuestas con las creencias del usuario para resultar favorables, incluso cuando son factualmente incorrectas afecta la confianza del usuario. Para eso, se diseñó un experimento con 100 participantes divididos en dos grupos: uno utilizó la versión estándar de ChatGPT y otro interactuó con un GPT personalizado diseñado para exhibir comportamiento adulador extremo al responder preguntas fácticas. La confianza se midió mediante acciones observables (confianza demostrada) y autoevaluación mediante la Escala de Confianza para Contextos de IA (confianza percibida). Los resultados mostraron que los participantes expuestos al comportamiento adulador reportaron y exhibieron niveles significativamente menores de confianza en comparación con aquellos que interactuaron con la versión estándar del modelo, a pesar de tener la oportunidad de verificar la exactitud de las respuestas proporcionadas.

Este trabajo estudia si los grandes modelos de lenguaje (LLMs) presentan ilusiones de causalidad, un sesgo cognitivo que lleva a inferir relaciones causales donde solo existen correlaciones. Para eso, se proporcionaron a GPT-4o-Mini, Claude-3.5-Sonnet y Gemini-1.5-Pro abstracts con correlaciones espurias y se les solicitó la generación de titulares periodísticos para evaluar en qué medida los modelos asumen relaciones de causalidad inexistentes. Los resultados mostraron que Claude-3.5-Sonnet presentó el menor grado de ilusión causal, manteniéndose robusto incluso ante prompts con que sugieren que el usuario cree en la existencia de una relación de causalidad.

Este trabajo propone un marco conceptual para analizar evaluaciones de capacidad de sistemas de IA, identificando elementos clave como el objetivo de evaluación, las tareas, el sujeto evaluado, las entradas del sistema, los criterios de evaluación, las métricas y el análisis de resultados, junto con sus interrelaciones y desafíos asociados. Esta herramienta busca facilitar la transparencia, comparabilidad e interpretabilidad de las evaluaciones, permitiendo a investigadores identificar debilidades metodológicas, a profesionales diseñar evaluaciones más rigurosas y a reguladores analizar y comparar evaluaciones de manera sistemática.

Este trabajo examina si los grandes modelos de lenguaje (LLMs) desarrollan ilusiones de causalidad en escenarios de contingencia nula dentro de contextos médicos, utilizando una tarea de juicio de contingencia adaptada de la psicología experimental. Se evaluaron GPT-4o-Mini, Claude-3.5-Sonnet y Gemini-1.5-Pro con 1,000 escenarios donde no existía información suficiente para establecer relaciones causales entre variables, encontrando que los tres modelos infieren sistemáticamente relaciones causales injustificadas.

Este trabajo investiga si los modelos de lenguaje grandes (LLMs) son más persuasivos al defender posiciones alineadas con sus creencias previas en el contexto de debate como técnica de supervisión escalable. Para eso, se midieron las creencias previas de GPT-4o-Mini, GPT-4o, Claude Sonnet 4 y Gemini 2.0 Flash en preguntas subjetivas, y luego, se les permitió elegir qué posición defender ante jueces diseñados deliberadamente para sostener opiniones contrarias. Asimismo,  se compararon protocolos de debate secuencial versus simultáneo. Los resultados revelan que: (1) los modelos prefieren defender posturas alineadas con el juez en lugar de sus propias creencias; (2) el debate secuencial introduce un sesgo sistemático favoreciendo al segundo debatidor; (3) los modelos son más persuasivos defendiendo posiciones alineadas con sus creencias previas; y (4) paradójicamente, los argumentos desalineados con sus creencias son evaluados como de mayor calidad en comparaciones pareadas, particularmente en claridad y relevancia.