La evaluación de la inteligencia artificial ha evolucionado rápidamente en los últimos meses, pero existe una brecha fundamental en cómo medimos el rendimiento de los sistemas científicos. Los benchmarks actuales se centran exclusivamente en producir resultados finales —código funcional, hipótesis validadas o artículos revisados— mientras descartan el proceso de razonamiento mediante el cual los modelos alcanzan esos objetivos. Esta omisión hace imposible auditar metodologías científicas, diagnosticar patrones de fallos o distinguir entre razonamiento sistemático y suerte estadística.

OpenDiscoveryTrace surge como una respuesta directa a esta limitación. Publicado bajo licencia CC BY 4.0, el proyecto presenta un conjunto de datos público que registra 558 trayzas completas de agentes científicos de IA, capturando precisamente lo que ocurre durante el razonamiento, no solo lo que producen al final. Cada traza sigue un esquema estructurado con nueve campos por paso: pensamientos internos, llamadas a herramientas, observaciones intermedias, errores cometidos, señales de revisión, confianza autoinformada y acciones correctivas. Este enfoque permite ver el flujo cognitivo del modelo mientras manipula recursos externos y evalúa información.

El proyecto incluye siete modelos representativos: tres modelos de vanguardia —GPT-5.4, Claude Opus 4.6 y Gemini 3.1 Pro‬— con 124 trayzas cada uno, distribuidas equitativamente entre dominios como descubrimiento de fármacos, ciencia de materiales y genómica; cuatro modelos de pesos abiertos —Qwen2.5-7B, Mistral-7B-v0.3, Phi-3.5-mini y Qwen2.5-1.5B— con treinta trazas cada uno; y sesenta trayzas adicionales que funcionan únicamente con recuperación de información en tiempo real. La combinación de modelos de gran escala y arquitecturas de código abierto ofrece una visión más completa de cómo diferentes filosofías de diseño afectan el razonamiento científico.

Los primeros análisis pilotos han revelado hallazgos preocupantes pero reveladores. Aunque los tres modelos de frontera logran tasas de éxito comparables del 84% al 89%, la diferencia no aparece en los resultados finales sino en la calidad del proceso. Claude Opus 4.6 comete 30 veces más errores que GPT-5.4 (2,5 errores por traza frente a 0,08 respectivamente, con significancia estadística p0,0001 y un delta de Cliff de 0,613). Más alarmante aún, el perfil de errores es radicalmente distinto: el 66,7% de los errores provienen de mal uso de herramientas en Claude, mientras que el 83,6% corresponden a errores de razonamiento en GPT-5.4. Este contraste sugiere que los modelos frontiers pueden confiar excesivamente en interfaces externas sin comprender adecuadamente sus propias limitaciones.

Estos resultados tienen implicaciones profundas para la gobernanza de la IA y la investigación académica. Al poner a disposición el dataset, OpenDiscoveryTrace proporciona las herramientas necesarias para desarrollar métricas de auditoría processuales que complementen las evaluaciones tradicionales. Investigadores pueden analizar cómo diferentes arquitecturas razonan, identificar patrones sistémicos de fracaso y establecer estándares para la certificación de agentes científicos autónomos. La comunidad científica tiene ahora un marco concreto para evaluar si un sistema de IA cumple con principios de rigurosidad metodológica, independientemente de cuán impecable parezca su salida final.

Para los profesionales del sector tecnológico hispanohablante, el lanzamiento representa tanto una oportunidad como un desafío. La disponibilidad pública subraya la tendencia de proyectos abiertos a democratizar el acceso a recursos de investigación en IA, mientras que también exige mayor disciplina ética en la interpretación de estos datos. Las organizaciones que busquen implementar agentes de IA para laboratorios virtuales o investigación colaborativa deberán considerar qué valorarle realmente: el producto final o el rigor del proceso que lo generó. En última instancia, el verdadero test de una inteligencia artificial científica residirá en su capacidad para documentar, debatir y corregir su propia cadena de razonamiento, y OpenDiscoveryTrace es el primer paso hacia esa madurez.