El campo de la inteligencia artificial vive una nueva batalla campal por la supremacía en benchmarks. OpenAI ha presentado datos que, según la compañía, sitúan a su modelo GPT-5.6 Sol por encima de Claude Opus 5 de Anthropic en la prueba ARC-AGI-3, la tercera versión de uno de los evaluadores más respetados para medir la inteligencia fluida de los sistemas de IA. Sin embargo, los números cuentan una historia mucho más compleja de lo que parece a primera vista.
El núcleo de la controversia reside en una brecha abismal: mientras que GPT-5.6 Sol alcanzó un 38,3 % de precisión en las tareas de ARC-AGI-3, lo hizo únicamente cuando se ejecutó a través de las funciones propietarias de la API de OpenAI, incluyendo dos configuraciones adicionales no disponibles de forma estándar. Cuando el mismo modelo se evaluó bajo las condiciones oficiales del benchmark, su rendimiento cayó estrepitosamente hasta un 7,8 %. Es decir, el modelo que presumiblemente superó a Opus 5 en condiciones reales de uso obtuvo apenas una fracción de esa puntuación en el entorno controlado del test.
Esta discrepancia no es un detalle menor. Significa que la comparativa directa entre ambos modelos depende en gran medida de las herramientas y configuraciones internas que OpenAI pone a disposición de sus desarrolladores, herramientas que podrían estar otorgando una ventaja artificial al modelo en determinadas tareas de razonamiento. Anthropic, por su parte, mantiene que el récord de Opus 5 en ARC-AGI-3 fue logrado en condiciones que reflejan un uso estándar y verificable del modelo.
La organización ARC Prize, encargada de administrar el benchmark, ha salido al paso para defender la neutralidad de su metodología. Según su comunicado, el entorno de evaluación está diseñado para ser agnóstico respecto al proveedor del modelo, con el objetivo de garantizar comparaciones justas. No obstante, ARC Prize ha reconocido que podría haber utilizado una versión obsoleta de la API de OpenAI en algunas de sus pruebas, lo que habría distorsionado la comparación con Opus 5. Este matiz es crucial: si el benchmark no refleja las capacidades reales de acceso que los desarrolladores tienen, los resultados pierden valor predictivo sobre el rendimiento en el mundo real.
Para los profesionales del sector tecnológico hispanohablante, este episodio pone sobre la mesa una pregunta incómoda pero necesaria: ¿qué significa realmente «vencer» un benchmark cuando las condiciones de la prueba pueden ser tan fácilmente influenciadas por el ecosistema de herramientas del propio creador del modelo? En los últimos años, los benchmarks se han convertido en un campo de juego donde las empresas no solo compiten por construir mejores modelos, sino también por definir las reglas del terreno.
La inteligencia fluida, que es precisamente lo que mide ARC-AGI-3, se refiere a la capacidad de un sistema para resolver problemas nuevos y desconocidos sin entrenamiento previo específico. Es considerada una de las métricas más difíciles de manipular, precisamente porque requiere razonamiento generalizado. Sin embargo, cuando un proveedor puede inyectar capacidades adicionales a través de su API —como herramientas de razonamiento interno, funciones de planificación o configuraciones de inferencia optimizadas—, la línea entre la inteligencia intrínseca del modelo y las capacidades del sistema que lo rodea se vuelve borrosa.
Esta situación recuerda a las polémicas anteriores en torno a otros benchmarks como MMLU o HumanEval, donde las empresas han sido acusadas de ajustar sus modelos a las preguntas del test o de usar trucos metodológicos para inflar sus puntuaciones. La diferencia es que, en esta ocasión, el problema no parece ser sobreentrenamiento directo, sino una asimetría en las capacidades de despliegue: OpenAI tiene herramientas que Anthropic no posee, y usar esas herramientas para obtener una ventaja en un test público cuestiona la validez del ejercicio.
Desde la perspectiva del ecosistema hispanohablante de tecnología, este tipo de disputas tienen implicaciones directas. Los desarrolladores, startups y equipos de investigación que dependen de estos benchmarks para tomar decisiones de arquitectura o selección de modelos necesitan datos confiables y comparables. Si los resultados de ARC-AGI-3 pueden variar drásticamente según la API utilizada, la confianza en el benchmark se erosiona y las decisiones técnicas se vuelven más arriesgadas.
OpenAI no ha sido la única en señalar las inconsistencias del entorno de prueba. Varios expertos en evaluación de IA han señalado que ARC-AGI-3, al ser una prueba relativamente nueva, aún carece de la madurez metodológica de benchmarks más consolidados como GLUE o SuperGLUE. La falta de transparencia en los detalles de implementación —qué versión exacta de API se usó, qué parámetros de inferencia estaban activos y cómo se controlaron las variables— es una deuda que el proyecto ARC Prize deberá saldar si quiere mantener su credibilidad.
De cara al futuro, es probable que veamos una convergencia hacia benchmarks más rigurosos y transparentes, que incluyan auditorías independientes y condiciones de evaluación estandarizadas con mayor granularidad. Mientras tanto, la rivalidad entre OpenAI y Anthropic promete seguir generando titulares, y cada nuevo récord deberá ser leído con una dosis saludable de escepticismo. La carrera por la inteligencia artificial general no se gana solo con modelos más grandes, sino con evaluaciones más honestas.
