La inteligencia artificial ha demostrado su poder en tareas repetitivas y de alto volumen, pero cuando se trata de la investigación científica, la exactitud y la interpretación son esenciales. Recientemente, un trabajo publicado en arXiv –"A case study of evaluating AI agents on a neuroscience data-to-discovery pipeline"– aborda precisamente esa cuestión, poniendo a prueba a agentes de IA de uso general en un flujo de trabajo de optogenética en moscas.
El experimento se centra en un pipeline que, de forma tradicional, lleva a los expertos entre días y meses para configurarlo. Los agentes de IA, diseñados para escribir y depurar código, se les asignó la tarea de completar cada etapa del proceso: desde la limpieza de datos crudos hasta la interpretación de los resultados experimentales. El estudio no se quedó en el nivel de tareas pequeñas; se enfrentó a conjuntos de datos decenas de veces más grandes que los benchmarks habituales, y evaluó el desempeño bajo criterios que los neurocientíficos considerarían rigurosos.
Los resultados fueron mixtos. En etapas donde la lógica era clara y las métricas estaban definidas (por ejemplo, filtrado de ruido o alineación de imágenes), los agentes alcanzaron una alta precisión, demostrando que la automatización de esas partes del flujo es factible. Sin embargo, cuando la tarea requería juicios científicos—como decidir si un patrón de activación neuronal era significativo—los agentes mostraron dificultades. El problema radica en la falta de un criterio predefinido: el agente debe evaluar su propia salida, algo que en la práctica científica se hace mediante inspección visual y heurísticas desarrolladas a lo largo de años de experiencia.
Un hallazgo interesante es que los agentes intentaron, de manera automática, inspeccionar visualmente los resultados intermedios. Imaginemos que un agente genera un mapa de activación: el modelo interpreta el mapa como una imagen y trata de extraer métricas de calidad. En la mayoría de los casos, el resultado era una serie de valores sin relación con la pregunta original, evidenciando una brecha entre la percepción visual de los modelos y la interpretación científica.
Otro reto que emergió es la gestión de recursos computacionales. Los pipelines de neurociencia a menudo requieren paralelización y manejo de grandes volúmenes de datos en GPU. Los agentes, diseñados para ejecutarse en entornos de desarrollo estándar, mostraron dificultades para optimizar el uso de memoria y tiempo de cómputo, limitando su aplicabilidad en entornos de producción.
El estudio concluye que, aunque la automatización de etapas individuales es prometedora, todavía no es viable reconstruir un pipeline completo de descubrimiento sin intervención humana. La combinación de resultados sugiere que el próximo paso es desarrollar agentes que, además de escribir código, puedan formular hipótesis, diseñar experimentos y evaluar resultados con criterios científicos, algo que hoy sigue siendo dominio de los humanos.
Para la comunidad tecnológica, este trabajo es un llamado a la acción. No basta con entrenar modelos en grandes corpora de código; se necesita incorporar conocimiento científico, métricas de dominio y mecanismos de autoevaluación más sofisticados. En el futuro, la colaboración entre expertos en IA y neurocientíficos será esencial para crear herramientas que realmente aceleren la investigación.
En definitiva, la IA ya está demostrando su capacidad para acelerar partes de la investigación, pero la verdadera revolución llegará cuando los agentes puedan pensar de forma crítica, al igual que los científicos, y no solo ejecutar scripts.
