En la carrera por desplegar modelos de lenguaje más potentes, la industria de la inteligencia artificial ha concentrado casi todo su esfuerzo en mejorar la arquitectura, el tamaño y el entrenamiento de los modelos. Sin embargo, un desarrollo reciente está obligando a repensar esa narrativa. Un método conocido como JIT-Agent logró mejorar significativamente los resultados de DeepSeek simplemente modificando el entorno de prueba, sin alterar el modelo en sí. El hallazgo no es menor: sugiere que gran parte del rendimiento que percibimos de una IA depende menos del cerebro detrás del sistema que del marco en el que se pone a prueba.
Para entender la magnitud del asunto, conviene precisar qué significa "harness" en el lenguaje técnico de la IA. En este contexto, el harness es el conjunto de herramientas, protocolos y condiciones bajo los cuales un modelo es evaluado. Incluye desde las instrucciones que recibe el agente hasta las reglas de interacción, los criterios de éxito y el entorno simulado donde ejecuta sus tareas. Piénsese como el diferencial de un automóvil: dos coches con el mismo motor pueden rendir de manera radicalmente distinta según la pista en la que compitan.
JIT-Agent, cuyo nombre hace referencia a la idea de un agente que se adapta en tiempo real (Just-In-Time), funciona precisamente rediseñando ese entorno de evaluación. En lugar de conformarse con benchmarks estáticos que miden capacidades aisladas, este enfoque construye escenarios dinámicos donde el agente debe demostrar competencia en condiciones más cercanas al uso real. Cuando se aplicó a DeepSeek, los resultados mejoraron de forma notable, no porque el modelo hubiera aprendido algo nuevo, sino porque la forma de examinarlo reveló mejoras en la manera en que sus capacidades se activaban y coordinaban.
El análisis que emerge de este experimento es doble y relevante para cualquier profesional del sector. En primer lugar, pone en cuestión la validez de los benchmarks tradicionales que la industria utiliza para comparar modelos. Pruebas como MMLU, HumanEval o ARC han sido durante años el estándar de oro, pero cada vez hay más evidencia de que los modelos pueden optimizar sus puntuaciones en estos tests sin que ello se traduzca en un rendimiento superior en tareas reales. Es lo que en el ámbito se conoce como sobreajuste a benchmarks, un fenómeno análogo al sobreajuste en machine learning clásico.
En segundo lugar, JIT-Agent ofrece una metodología práctica para que empresas y equipos de desarrollo saquen más provecho de los modelos que ya tienen. No toda organización puede permitirse entrenar un modelo propietario desde cero o pagar por acceder a las versiones más avanzadas de los grandes laboratorios. Si una mejora en el harness puede generar ganancias significativas en el rendimiento, la inversión necesaria para implementar estas técnicas es considerablemente menor que la de un rediseño arquitectónico.
Esto tiene implicaciones directas para la toma de decisiones en empresas que están adoptando IA a escala. Antes de comprometer presupuestos con licencias de modelos más caros o con infraestructura adicional, los equipos técnicos deberían evaluar si el cuello de botella no está en el modelo sino en la orquestación, la configuración de prompts, las cadenas de herramientas o los protocolos de evaluación. En muchos casos, el retorno de inversión se encontrará en la capa de agentes y no en la capa de modelos base.
La lección más útil, y quizás la más incómoda, es que el estudio de cómo fallan los agentes es más valioso que la celebración de sus aciertos. Cuando un sistema de IA no produce el resultado esperado, la reacción instintiva suele ser culpar al modelo. Pero JIT-Agent demuestra que, con frecuencia, el fallo reside en la cadena de razonamiento, en la formulación de las tareas o en la falta de retroalimentación adecuada durante la ejecución. Cambiar esa perspectiva no es solo un ejercicio técnico: es un cambio cultural que la industria necesita adoptar.
El auge de los agentes autónomos —sistemas que planifican, ejecutan y corrigen sus propias acciones— hace que esta reflexión sea urgente. A medida que estos sistemas se integran en flujos de trabajo empresariales críticos, la calidad de su evaluación determinará la confianza que les otorguemos. No se trata solo de que la IA sea inteligente, sino de que seamos inteligentes al medir su inteligencia.
