Tag

#Benchmarking

5 artículos encontrados.

Cómo una IA logró acelerar mi código 62 veces: lección de un experimento

Un ingeniero confió una única meta a un modelo de IA y vio su rendimiento multiplicarse por 62. El hallazgo revela tanto el potencial como los riesgos de depender de benchmarks sin crítica.

5 min lectura4semIAOnda Redaccion

Investigación

FARS vence a Sakana y CycleResearcher en evaluación de IA científica

Un nuevo estudio establece el primer benchmark cuantitativo para sistemas de IA científica, revelando que los artículos generados por la empresa comercial FARS superan ampliamente a frameworks como Sakana AI y CycleResearcher. La evaluación multillamada con LLMs demuestra ser una metodología confiable, aunque GPT‑55 muestra criterios distintos.

5 min lectura6semIAOnda Redaccion

Modelos IA

DeepSeek V4-Flash vs GLM-5.2: ¿Por qué un 1.7% de ventaja desaparece al cambiar el sistema?

En un enfrentamiento entre DeepSeek V4-Flash y GLM-5.2, un margen de 1.7 puntos en benchmarks se anula al modificar el entorno de ejecución. ¿Qué revela esta paradoja tecnológica para el desarrollo de IA?

5 min lectura6semIAOnda Redaccion

Investigación

DynaSchedBench: El nuevo estándar para evaluar IA en planificación dinámica

Una plataforma de referencia que calibra problemas de scheduling y expone las limitaciones de los LLM en la toma de decisiones en tiempo real. Descubre el 'paradoja de observabilidad' y por qué los grandes modelos no siempre superan a heurísticas tradicionales.

5 min lectura15semIAOnda Redaccion

Investigación

Arquitecturas de agentes IA: un marco para planificar en la web

Investigadores proponen una taxonomía que clasifica agentes basados en LLM según paradigmas clásicos de planificación, revelando por qué algunos fallan y cómo evaluar su rendimiento más allá del éxito simple.

5 min lectura26semIAOnda Redaccion