La generalización sistemática es considerada uno de los pilares fundamentales de la inteligencia humana: la capacidad de resolver problemas completamente nuevos combinando elementos previamente conocidos. Sin embargo, un estudio reciente publicado en arXiv pone en tela de juicio la forma en que la comunidad de investigación en inteligencia artificial ha evaluado esta capacidad hasta ahora. Según sus autores, los benchmarks actuales podrían estar midiendo una versión diluida de lo que realmente significa generalizar de manera sistemática.
El problema radica en las simplificaciones que han dominado el diseño de tareas de evaluación durante los últimos años. Para estudiar la generalización sistemática de forma controlada, los investigadores han recurrido a supuestos que facilitan la medición pero que, en la práctica, eliminan aspectos esenciales del razonamiento humano. Entre ellos destacan tres: la composición aproximadamente lineal de acciones, las pruebas basadas en la productividad y los objetivos explícitos en las acciones. Estas simplificaciones hacen que las tareas sean más manejables metodológicamente, pero también que los modelos obtengan puntuaciones que no reflejan su verdadera capacidad de razonamiento.
Para demostrarlo, los autores del estudio han desarrollado TranSGrid, un banco de pruebas que integra tres formas fundamentales de razonamiento en una única tarea: el deductivo, el inductivo y el abductivo. A diferencia de los benchmarks convencionales, TranSGrid exige que los modelos no simplemente reutilicen patrones aprendidos, sino que deduzcan conclusiones lógicas, generalicen a partir de ejemplos limitados e infieran objetivos implícitos a partir de observaciones.
Los resultados son contundentes. El equipo evaluó siete modelos Transformer sobre 4.800 instancias de TranSGrid. El modelo más grande alcanzó una tasa de resolución del 79,6% en un conjunto de pruebas convencional, pero su rendimiento cayó al 55,3% en TranSGrid y se desplomó hasta el 15,8% en el subconjunto más complejo. Lo más revelador es que esta brecha se mantiene incluso dentro del rango de longitud de entrenamiento, lo que demuestra que la mera productividad —la capacidad de manejar secuencias más largas que las vistas durante el entrenamiento— no es suficiente para evaluar la generalización sistemática.
En una serie de experimentos adicionales, los investigadores reintrodujeron individualmente las simplificaciones originales dentro de TranSGrid. Cuando las acciones se componen de forma casi lineal, reduciendo la demanda inductiva, o cuando los objetivos se hacen explícitos, disminuyendo la demanda abductiva, las tasas de resolución regresan a niveles comparables a los del conjunto de pruebas estándar. Este hallazgo sugiere que cualquiera de estas dos simplificaciones por separado es suficiente para convertir TranSGrid en un benchmark ordinario, lo que confirma que las evaluaciones actuales reducen sistemáticamente la exigencia de razonamiento.
Las implicaciones de este trabajo son significativas para todo el ecosistema de investigación en inteligencia artificial. En un momento en que los modelos de lenguaje y multimodales muestran capacidades cada vez más impresionantes en tareas de texto, imagen y código, TranSGrid recuerda que el progreso medido en benchmarks familiares no necesariamente se traduce en robustez cognitiva real. Si los profesionales del sector tecnológico quieren construir sistemas que verdaderamente generalicen, necesitan evaluaciones que pongan a prueba las tres dimensiones del razonamiento simultáneamente.
Este estudio abre una línea de investigación crucial: diseñar benchmarks que se acerquen más a la complejidad del pensamiento humano sin sacrificar la rigurosidad experimental. TranSGrid no es la solución definitiva, pero sí representa un paso necesario hacia una comprensión más honesta de lo que los modelos de IA pueden —y no pueden— hacer. La pregunta que queda en el aire es si la industria estará dispuesta a abandonar la comodidad de métricas fáciles de interpretar en favor de evaluaciones más exigentes y, sobre todo, más realistas.
