El avance de los sistemas de IA capaces de generar investigaciones de forma autónoma prometió un futuro en el que el descubrimiento científico podría acelerarse drásticamente. Sin embargo, evaluar la calidad de los artículos producidos por estas máquinas ha permanecido como un reto persistente. Un reciente artículo publicado en arXiv, titulado \"Can AI Evaluate AI Scientists? A Benchmarking Study of Autonomous Research Generation Systems Using Automated Multi-Model Review\", presenta un protocolo riguroso que emplea un sistema de revisión por pares automatizado, aprovechando los modelos de lenguaje más avanzados para calificar papers en cuatro dimensiones clave: originalidad, rigor científico, claridad y significancia.

El trabajo compara cuatro frameworks líderes en el campo: Sakana AI (versiones v1 y v2), CycleResearcher y Data-to-Paper, frente a los artículos de referencia generados por una compañía comercial denominada FARS. Los investigadores tomaron un conjunto común de 15 propuestas de investigación y ejecutaron cada framework, obteniendo así 60 artículos generados por IA. Estos se evaluaron junto con los 15 papers de referencia de FARS utilizando tres revisores independientes basados en LLM: GPT‑55.4, Gemini y Claude. Cada revisor calificó cada documento en una escala del 1 al 5 según los cuatro criterios mencionados.

Los resultados son contundentes. Los artículos de FARS obtuvieron puntuaciones medias de 2,14 a 2,47, mientras que el resto de sistemas se situaron entre 1,00 y 1,87. En las evaluaciones de Gemini y Claude, los scores de FARS fueron más de dos veces superiores a los del siguiente mejor framework. La consistencia entre Gemini y Claude fue excepcional, con un coeficiente de correlación de rho = 0,907 (p  0,001), y ambos mostraron una correlación extremadamente alta con la puntuación sintética (rho = 0,961). Esta convergencia valida el enfoque multillamada como una metodología confiable para medir la calidad de la investigación generada por IA.

En contraste, GPT‑55.4 presentó una discrepancia notable, con un acuerdo de solo rho ≈ 0,32. Este comportamiento sugiere que GPT‑55.4 aplica criterios diferentes al evaluar artículos científicos, lo que subraya la importancia de utilizar múltiples modelos de lenguaje para obtener una visión más equilibrada y robusta. El estudio no solo establece el primer benchmark cuantitativo para sistemas de IA científica, sino que también demuestra que la evaluación multillamada puede escalar sin perder consistencia, un aspecto crítico para la adopción generalizada de estas herramientas en entornos de investigación reales.

Las implicaciones van más allá de los laboratorios académicos. Para las empresas que comercializan soluciones de IA científica, estos hallazgos ofrecen un punto de referencia claro para medir el rendimiento y fomentar la competencia saludable. Para los reguladores y las instituciones de financiación, proporcionan una metodología estandarizada que podría integrarse en marcos de gobernanza, garantizando que las publicaciones generadas por IA cumplan con los criterios de calidad esperados. Además, la medición automatizada reduce la carga que suponen las revisiones humanas tradicionales, permitiendo a los investigadores centrarse en tareas de mayor nivel, como el diseño de experimentos y la interpretación de resultados.

En términos prácticos, el estudio sugiere tres direcciones. Primero, la comunidad debe adoptar evaluaciones multillamada para evitar la dependencia de un énico modelo, mitigando así posibles sesgos. Segundo, los desarrolladores de frameworks deberían utilizar este benchmark como punto de partida para iterar sus modelos, buscando reducir la brecha que actualmente separa a FARS de los demás sistemas. Tercero, los responsables políticos podrían considerar la estandarización de protocolos de evaluación similares para supervisar la IA de alto impacto en la ciencia, asegurando transparencia y confiabilidad.

En resumen, la investigación no solo revela el estado actual de la generación autónoma de artículos científicos, sino que también traza un camino hacia una evaluación sistemática y escalable. A medida que la IA continúa transformando la producción de conocimiento, disponer de una medición confiable se vuelve esencial para fomentar la confianza, impulsar la innovación responsable y garantizar que los beneficios de la IA científica se materialicen de manera segura y beneficiosa para la sociedad.