Tag

#Evaluacion llm

3 artículos encontrados.

FARS vence a Sakana y CycleResearcher en evaluación de IA científica

Un nuevo estudio establece el primer benchmark cuantitativo para sistemas de IA científica, revelando que los artículos generados por la empresa comercial FARS superan ampliamente a frameworks como Sakana AI y CycleResearcher. La evaluación multillamada con LLMs demuestra ser una metodología confiable, aunque GPT‑55 muestra criterios distintos.

5 min lectura1hIAOnda Redaccion

Tutoriales

El formato del prompt cambia los rankings: nuevo estudio revela fragilidad en benchmarks de LLM

Un estudio masivo en OpenRouter demuestra que simples cambios de formato en los prompts alteran la precisión hasta 30x entre modelos. La parseabilidad predice el rendimiento mejor que el tamaño.

6 min lectura2semIAOnda Redaccion

Modelos IA

La crisis de los benchmarks: ¿Cómo medimos ya a los LLMs?

Los modelos de lenguaje avanzan a velocidad vertiginosa, pero sus pruebas de evaluación se quedan obsoletas. El pequeño conjunto de benchmarks que quedan ya muestra serios problemas de confiabilidad, abriendo una crisis metodológica en la IA.

5 min lectura19semIAOnda Redaccion