Primera evaluación empírica de ChatGPT y GPT-4 realizada por el IALAB: 600 pruebas a ChatGPT y 163 a GPT-4, con análisis de sus limitaciones técnicas, sesgos, ventajas y retos para el derecho, la educación y el sector público.
Este libro es el resultado de un proceso de investigación experimental: el equipo del IALAB sometió a ChatGPT (versión 3.5) a 600 pruebas sistemáticas y a GPT-4 a 163 pruebas realizadas el día de su lanzamiento. La tesis central es que ChatGPT es imperfecto por diseño: sus limitaciones no son fallas técnicas accidentales sino decisiones deliberadas de sus desarrolladores, combinadas con restricciones intrínsecas de los modelos de lenguaje que ningún aumento de parámetros o datos resuelve.
El libro distingue dos tipos de limitaciones. Las específicas de ChatGPT —conocimiento acotado a 2021, ausencia de conexión a internet, sensibilidad al modo de formulación de las preguntas— son configuraciones decididas por OpenAI. Las intrínsecas afectan a todos los grandes modelos de lenguaje: sesgos discriminatorios incorporados en los datos de entrenamiento, falta de contexto cultural y situacional, e incapacidad de razonamiento lógico genuino. El análisis de GPT-4 muestra mejoras en sesgos de género (de 54,94 % a 24,17 %) pero confirma que las limitaciones de fondo persisten.
El libro incluye una experiencia en el aula de Derecho Administrativo de la UBA con 108 alumnos, un análisis comparado entre ambos modelos, y un capítulo sobre los retos de la IA conversacional multimodal y multipropósito. El prólogo de Vincenzo Aquaro (ONU) contextualiza el debate global. Es una obra de referencia para entender qué pueden y qué no pueden hacer los modelos de lenguaje en entornos jurídicos, educativos y de política pública.
El IALAB realizó 600 pruebas a ChatGPT (versión 3.5) y 163 a GPT-4 el día de su lanzamiento, evaluando precisión, sesgos, limitaciones específicas e intrínsecas, y ventajas de cada modelo. Los resultados muestran que el 55,9 % de las respuestas de ChatGPT (excluyendo sesgos) fueron correctas y el 18,3 % incorrectas.
GPT-4 redujo significativamente los sesgos de género (de 54,94 % a 24,17 %) y mejoró la precisión general. Sin embargo, las limitaciones intrínsecas —falta de razonamiento lógico genuino, ausencia de contexto situacional— persisten en ambos modelos.
Sí. Es una publicación digital de acceso libre, disponible en formato PDF.
Corvalán, J. G., Estevez, E., Le Fevre Cervini, E. M., Schapira, D. y Simari, G. (Dirs.) (2023). ChatGPT vs GPT-4: ¿Imperfecto por diseño? Explorando los límites de la inteligencia artificial conversacional. UBA IALAB / La Ley / Thomson Reuters. https://www.ialab.com.ar/libros/chatgpt-vs-gpt-4-imperfecto-por-diseno