La evaluación de agentes de inteligencia artificial en el sector financiero ha dependido tradicionalmente de métricas genéricas o de rúbricas derivadas directamente de los prompts de la tarea. Este enfoque pasa por alto los estándares tácitos que solo se manifiestan en los entregables que producen los profesionales experimentados. Para subsanar esa brecha, un equipo de investigadores ha presentado FinProBench, un benchmark diseñado específicamente para tareas financieras, y junto a él la metodología Role‑Grounded Rubric Construction (RGRC), que construye rúbricas a partir de los artefactos reales de trabajo de cada rol profesional.
RGRC se articula en cuatro fases: recopilación de entregables, extracción de competencias, síntesis de la rúbrica y validación con expertos. En lugar de inferir criterios a partir de lo que el modelo genera o de lo que indica el prompt, el proceso parte de documentos reales como informes de análisis de crédito, modelos de valoración, memorias de due diligence o presentaciones de riesgo. De esta forma se capturan normas implícitas, como el nivel de detalle esperado en una justificación de supuestos o la forma de presentar escenarios de estrés, que rara vez aparecen en las instrucciones dadas a los modelos.
Antes de aplicar RGRC, los autores clasificaron 57 ocupaciones financieras en función del género de sus entregables, distinguiendo entre roles convencionales bien representados en los datos de entrenamiento de los modelos y roles especializados con poca presencia previa. En los roles convencionales, la aproximación basada únicamente en prompts alcanzó un rendimiento del 89,2 %, muy cercano al 90,7 % obtenido con rúbricas RGRC. Sin embargo, en los roles especializados la diferencia fue marcada: los prompts solos lograron solo un 78,0 % frente al 99,1 % de RGRC. Este contraste indica que, cuando el conocimiento profesional está bien capturado en los priors del modelo, la ingeniería de prompts puede aproximarse a los estándares reales; pero para áreas menos frecuentadas por los datos de entrenamiento, la fundamentación profesional resulta esencial.
FinProBench se nutre de 1 723 entregables curados que abarcan 57 ocupaciones, ocho sub‑industrias financieras y 161 tipos de documentos. A partir de este corpus se extrajo un conjunto inicial de evaluación compuesto por 20 tareas completas, cada una asociada a un rol distinto y distribuida en siete sub‑industrias. Para la valoración se emplearon jueces LLM heterogéneos y se aplicaron rúbricas a nivel de rol. En promedio, los entregables humanos obtuvieron 73,7 puntos sobre 100, mientras que los mejores sistemas de IA alcanzaron entre 69,6 y 70,3, con intervalos de confianza del 95 % que se solapan, lo que refleja tanto la competitividad de los modelos actuales como sus fortalezas complementarias.
Un aspecto práctico de RGRC es su capacidad de reutilización: al construir una rúbrica para un rol determinado, ésta puede aplicarse a múltiples tareas dentro de ese mismo rol, reduciendo el esfuerzo estimado de creación en un factor de 6,7 frente a elaborar una rúbrica desde cero para cada actividad. Esta eficiencia es particularmente valiosa para equipos de IA que deben cubrir amplios portafolios de productos financieros, desde crédito corporativo hasta gestión de activos y seguros.
Para la comunidad de investigadores y desarrolladores de IA aplicada a finanzas, FinProBench ofrece un punto de referencia más alineado con la realidad profesional que los benchmarks existentes. Al exigir que los modelos reproduzcan no solo la corrección numérica sino también las normas de presentación, rigurosidad argumental y adaptación al contexto regulatorio, el benchmark impulsa el desarrollo de agentes que puedan ser confiables en entornos de alta responsabilidad. Además, la metodología RGRC es extensible a otros dominios donde los estándares profesionales sean tacitamente conocidos, como la medicina, el derecho o la ingeniería, abriendo la puerta a una nueva generación de evaluaciones basadas en el trabajo real de los expertos.
En resumen, FinProBench y su pipeline de construcción de rúbricas representan un avance significativo hacia la evaluación auténtica de la inteligencia artificial en finanzas. Al cerrar la brecha entre lo que los modelos pueden generar y lo que los profesionales realmente entregan, el benchmark no solo mide el rendimiento actual, sino que también señala el camino para crear sistemas de IA que sean verdaderamente útiles y seguros en la industria financiera.
