Un reciente estudio liderado por la psicóloga Ashwini Ashokkumar de Harvard, publicado en la revista Nature, ha generado un debate en la comunidad científica al demostrar que los modelos de lenguaje grandes (LLMs) como GPT-4 pueden predecir con sorprendente precisión los resultados de experimentos sociales basados en texto. El análisis incluyó 70 estudios previos con casi 120,000 participantes en Estados Unidos, donde los investigadores introdujeron descripciones hipotéticas de encuestados y preguntas experimentales en GPT-4, logrando una fuerte correlación entre las predicciones del modelo y los resultados reales.

Esta capacidad para anticipar respuestas humanas en contextos controlados abre posibilidades revolucionarias para la investigación social, que tradicionalmente ha requerido recursos significativos en tiempo y dinero. Sin embargo, los autores del estudio advierten que la efectividad predictiva no equivale a un verdadero entendimiento del comportamiento humano. Los LLMs, aunque capturan patrones estadísticos en datos textuales, carecen de la conciencia, emociones y contexto cultural que definen la toma de decisiones real.

Lisa Messeri y Molly J. Crockett, académicas de la Universidad de Yale, han señalado que los sistemas de IA pueden generar "ilusiones de comprensión". Estos sistemas producen resultados que parecen profundos, pero no garantizan que el modelo haya internalizado mecanismos psicológicos o sociales complejos. Por ejemplo, una IA podría predecir cómo reaccionaría una persona ante un mensaje político, pero no entender por qué esa reacción existe o cómo cambiaría en diferentes culturas o situaciones.

¿Por qué importa esto? Para los profesionales tecnológicos, esta distinción es crucial. Si bien los LLMs pueden optimizar encuestas, diseñar políticas públicas o incluso simular mercados, su uso como reemplazo total de la investigación con humanos podría llevar a errores sistémicos. Imagina un algoritmo que diseña una campaña electoral basado en predicciones de encuestas sintéticas: si el modelo no considera matices culturales o emocionales, la campaña podría fracasar al no resonar con la población real.

Además, el estudio se centró en experimentos de texto en Estados Unidos, lo que limita su generalización. El comportamiento humano varía ampliamente según contextos geográficos, históricos y sociales. Un modelo entrenado en datos angloparlantes podría no servir para comprender dinámicas en América Latina o Asia, donde las normas culturales influyen de manera distinta en las respuestas.

La conclusión es clara: los LLMs son herramientas poderosas, pero no oráculos. Su capacidad para anticipar ciertos comportamientos textuales es útil, pero no debe confundirse con una comprensión profunda de la esencia humana. Para los equipos de IA, este hallazgo es un recordatorio de que la innovación debe ir acompañada de escrúpulos éticos y una visión crítica sobre los límites de la tecnología. La clave está en usar estas herramientas como complemento, no como sustituto, de la investigación con seres humanos reales.