La inteligencia artificial que promete cambiar el mundo de la ciencia todavía no es capaz de distinguir entre una buena y una mala propuesta de investigación. Esa es la conclusion más demoledora del benchmark TASTE, presentado recientemente por Anthropic, que ha puesto a prueba a los modelos de lenguaje más avanzados del planeta en una tarea que los humanos consideramos relativamente básica: saber qué investigación en IA vale la pena.
Los resultados son reveladores. Mientras que paneles de expertos humanos alcanzan una tasa de acierto del 77% al evaluar propuestas de investigación, los mejores modelos frontier actuales apenas superan el 60%. La brecha de casi 17 puntos porcentuales no es un margen menor: es la distancia que separa a un evaluador competente de uno que toma decisiones esencialmente al azar con cierto barniz de sofisticación.
El benchmark TASTE (siglas que responden a un enfoque en la evaluación de la "capacidad de juicio experto") llega en un momento crítico para la industria. Cada vez más organismos financiadores, conferencias y laboratorios exploran el uso de LLMs como evaluadores de primer nivel, atraídos por la promesa de escalar revisiones por una fracción del coste. Si esta herramienta demuestra que esa promesa es prematura, las implicaciones se extienden mucho más allá del ámbito académico.
Por qué falla el juicio automático
El problema de fondo no es solo técnico, sino conceptual. Juzgar una propuesta de investigación exige comprender no solo si la idea es técnicamente sólida, sino si es relevante, original, viable y, sobre todo, si merece los recursos limitados que compiten por ella. Los modelos de lenguaje actuales destacan en tareas donde existen patrones claros en sus datos de entrenamiento, pero la frontera de la investigación se define precisamente por lo que todavía no existe en esos datos.
Anthropic diseñó TASTE para reflejar cómo se toman realmente estas decisiones en la práctica: con propuestas reales, evaluadores reales y criterios que van más allá de la corrección técnica. Los resultados sugieren que los LLMs tienden a premiar propuestas que suenan convincentes según patrones aprendido, pero que pierden de vista la cualidad más esquiva de la buena ciencia: la intuición sobre qué merece ser explorado.
El espejo incómodo de la industria
Hay una ironía significativa en este estudio. Las mismas empresas que desarrollan estos modelos financian buena parte de la investigación que ahora se evalúa con sus herramientas. Si los LLMs no pueden identificar la buena investigación, ¿cuántas propuestas valiosas están quedando fuera del radar por sistemas automatizados que premian la conformidad sobre la originalidad?
La pregunta se vuelve especialmente urgente en un ecosistema donde la revisión por pares ya muestra síntomas de fatiga. Conferencias como NeurIPS e ICML reciben miles de papers por edición, y muchos investigadores han denunciado la superficialidad creciente de las revisiones humanas. La tentación de delegar esa carga en máquinas es comprensible, pero TASTE sugiere que el reemplazo total es, por ahora, una mala idea.
Lo que viene
Anthropic no presenta TASTE como una sentencia definitiva, sino como un punto de partida. El benchmark está diseñado para ser un campo de pruebas donde nuevos modelos puedan demostrar mejoras medibles en esta capacidad de juicio. Es un recordatorio de que la inteligencia artificial general no se medirá solo por su capacidad de generar texto coherente o resolver problemas técnicos, sino por algo mucho más humano: saber qué vale la pena.
Para los profesionales tech que siguen de cerca la evolución de estos modelos, el mensaje es claro. Estamos en una fase donde los LLMs son asistentes extraordinarios pero jueces deficientes. Mientras las métricas de TASTE no se acerquen al rendimiento humano, cualquier sistema que delegue en ellos decisiones de alto impacto está asumiendo un riesgo que la industria aún no ha cuantificado del todo.
La ciencia, al menos por ahora, sigue necesitando a humanos que sepan reconocer cuándo una idea aparentemente loca merece la pena.
