Los benchmarks son la piedra angular con la que la comunidad científica mide y comunica el progreso de los modelos de lenguaje de gran tamaño (LLM). Sin embargo, las simples clasificaciones no revelan cómo cambian las propias exigencias de la evaluación. Un nuevo estudio publicado en arXiv ofrece otra perspectiva: lo que los investigadores esperan que hagan los LLM y lo que consideran un desempeño exitoso.

El trabajo, titulado "What Do We Expect from LLMs? Mapping the Design of LLM Benchmarks", revisa sistemáticamente 14.767 artículos que introdujeron o actualizaron recursos de evaluación entre enero de 2022 y agosto de 2026. Los investigadores emplearon un proceso de selección por etapas y un sistema automatizado de codificación de textos completos para examinar cambios en los sistemas objetivo, los dominios, los materiales de evaluación, las condiciones de prueba y los mecanismos de puntuación.

El conjunto de datos revela una clara evolución en las prioridades de la comunidad. En los últimos años, se observa un aumento significativo en la importancia asignada a las tareas de acción, interacción y aplicaciones profesionales. Mientras que los primeros benchmarks se centraban en la capacidad de comprensión y generación de texto, los nuevos enfatizan la capacidad de los modelos para colaborar en contextos dinámicos, como la asistencia virtual, el soporte técnico y la generación de código.

Otro hallazgo notable es la coexistencia frecuente de elementos de diseño establecidos y novedosos. Por ejemplo, muchos estudios recientes combinan tareas clásicas de comprensión de lectura con nuevos formatos interactivos, como diálogos multiagente o entornos de programación en tiempo real. Esta mezcla sugiere que los investigadores no abandonan por completo las métricas probadas, sino que las complementan con enfoques más ambiciosos.

En cuanto a la participación de los modelos, el panorama es desigual. La puntuación generada por LLM —es decir, el uso del propio modelo para evaluar su salida o la de otros— está creciendo tanto en grupos que emplean agentes como en aquellos que no los usan. Este fenómeno indica una tendencia hacia la autoevaluación y la optimización interna de los criterios de desempeño.

Sin embargo, el uso de materiales generados por modelos no muestra un aumento comparable en las cohortes más recientes. Esto podría reflejar una cautela creciente hacia la retroalimentación circular, donde un modelo evalúa contenido que él mismo ha producido, lo que potencialmente amplifica sus propios sesgos.

Las implicaciones de estos hallazgos son profundas. Los benchmarks no son neutros; son un reflejo de las expectativas de los investigadores y de las aplicaciones consideradas valiosas. Cuando la IA participa en la creación y evaluación de las pruebas, existe el riesgo de que los criterios de éxito reproduzcan los puntos ciegos de los propios modelos, en lugar de ofrecer una validación independiente y objetiva.

Para los profesionales hispanohablantes de la tecnología, este estudio es una señal de advertencia y una oportunidad. Por un lado, entender las tendencias emergentes ayuda a priorizar el desarrollo de habilidades y productos que serán relevantes en un mercado que demanda soluciones interactivas y profesionales. Por otro lado, es crucial establecer procesos de validación externos y diversos para evitar que los sistemas se optimicen únicamente para cumplir con benchmarks autocreados.

En resumen, el análisis de casi 15.000 artículos revela que la evaluación de los LLM está evolucionando hacia tareas más prácticas e interactivas, pero también advierte sobre los peligros de una retroalimentación cerrada. El desafío para la comunidad es garantizar que los benchmarks sigan siendo un espejo fiel del desempeño real y no un reflejo distorsionado de las preferencias de los propios modelos.