El avance de la inteligencia artificial en el ámbito empresarial no está exento de limitaciones. Según un benchmark realizado en marzo de 2026, el agente de datos impulsado por IA que mejores resultados obtuvo solo resolvió correctamente el 38% de un conjunto de consultas de estilo empresarial. El estudio, publicado por AI Accelerator, pone de manifiesto que los cuellos de botella no radican tanto en la tecnología en sí, sino en las habilidades que poseen los profesionales de la ciencia de datos.
El benchmark evaluó a una veintena de agentes de datos en escenarios realistas, utilizando consultas extraídas de conversaciones reales de soporte técnico, análisis de datos y toma de decisión estratégica. Los participantes fueron sometidos a pruebas de recuperación de información, generación de códigos y validación de hipótesis sobre conjuntos de datos corporativos. El mejor agente, basado en un modelo transformer ajustado con grandes volúmenes de texto y datos estructurados, logroú un 38% de aciertos, mientras que el promedio de los demás osciló alrededor del 30%.
Los resultados generan interrogantes sobre la brecha existente entre el potencial de los modelos actuales y las necesidades prácticas de las empresas. Un 62% de los errores se atribuyeron a tres causas principales: falta de conocimiento del dominio, problemas de calidad en los datos de entrada y limitaciones en la capacidad del modelo para integrar contextos múltiples. Estos factores, según los investigadores, reflejan directamente las competencias que aún dominan los científicos de datos.
"Los fallos no son un defecto del algoritmo, sino un indicador de que los expertos en datos deben profundizar en la comprensión de los procesos de negocio y en la curación de los datos", afirma Laura Méndez, directora de investigación en AI Accelerator y coautora del estudio. La brecha entre la teoría y la práctica se manifiesta cuando los modelos enfrentan situaciones no cubiertas en los conjuntos de entrenamiento, requiriendo un discernimiento contextual que aún depende en gran medida de la experiencia humana.
Para las empresas, estos hallazgos sugieren que la adopción de agentes de datos debe ir acompañada de una estrategia de colaboración interdisciplinaria. En lugar de confiar exclusivamente en la automatización, las organizaciones están comenzando a implementar bucles de retroalimentación guiados por científicos de datos que supervisan, corrigen y enriquecen las salidas de los agentes. Esta aproximación híbrida no solo mejora la precisión, sino que también acelera el aprendizaje organizacional.
Las recomendaciones del benchmark incluyen la inversión en mejores prácticas de gobierno de datos, la creación de conjuntos de datos de prueba que reflejen los matices del negocio y el fomento de una cultura de mejora continua. Herramientas como la anotación colaborativa, los paneles de monitoreo de rendimiento y los marcos de evaluación iterativa están ganando adopción entre los equipos de ciencia de datos que buscan reducir la brecha entre los modelos y la realidad operativa.
Mirando hacia el futuro, el estudio sugiere que el próximo salto en el desempeño de los agentes de datos dependerá de la integración de habilidades blandas – como la comunicación y la resolución de problemas – con competencias técnicas. A medida que los modelos evolucionen hacia sistemas más adaptativos y contextuales, los científicos de datos que dominen tanto el arte como la ciencia de los datos estarán mejor posicionados para liderar la transformación digital de sus organizaciones. El 38% actual puede parecer modesto, pero representa un punto de partida para una colaboración más estrecha entre la IA y la experiencia humana.
