El problema no es que las métricas de rendimiento de la inteligencia artificial sean deficientes por casualidad. Suelen serlo de forma previsible. Cuando una organización convierte un indicador sencillo —tokens generados, coste por consulta, latencia o una puntuación automática— en el objetivo principal, el sistema aprende, en el mejor de los casos, a parecer eficiente. En el peor, produce respuestas más largas, más rápidas o mejor calificadas por un algoritmo, aunque resulten menos útiles para las personas.
Este comportamiento se conoce como tokenmaxxing: optimizar el recurso que aparece en el tablero en lugar del resultado que realmente importa. No es una anomalía ni una excusa para desechar las analíticas. Es una consecuencia casi inevitable de Goodhart: cuando una medida se convierte en objetivo, deja de ser una buena medida. En IA, la dificultad es mayor porque el valor de una respuesta depende del contexto, de la intención del usuario y de las consecuencias de un error.
Un modelo puede reducir el número de tokens y, con ello, los costes. Pero si elimina matices esenciales, la empresa ahorra dinero a costa de peor atención al cliente, decisiones incompletas o más trabajo para los empleados. También puede ocurrir lo contrario: un sistema genera más contenido del necesario porque eso mejora una métrica de cobertura o de participación. El tablero muestra progreso, mientras el proceso de negocio se vuelve más caro y confuso.
La velocidad tiene el mismo problema. Medir milisegundos es útil para dimensionar infraestructura, pero no demuestra que una aplicación sea mejor. Una respuesta rápida que alucina datos, ignora instrucciones o obliga al usuario a repetir la consulta puede ser menos eficiente que una solución algo más lenta, pero correcta y accionable. Del mismo modo, una puntuación automática no sustituye la evaluación humana cuando el criterio implica precisión, tono, seguridad o juicio empresarial.
Antes de instalar otro tablero de IA, conviene hacerse una pregunta incómoda: ¿qué decisión permitirá tomar este indicador? Si la respuesta es simplemente observar tendencias o comparar versiones, la métrica tiene un valor limitado. Un buen sistema de medición debe estar conectado a una acción concreta: ajustar un modelo, modificar un flujo, cambiar permisos, reforzar controles o retirar una función que genera fricción.
También hay que definir qué significa éxito desde la perspectiva del usuario. No basta con registrar que el asistente respondió a una solicitud. Conviene saber si resolvió el problema, cuánto tiempo evitó al empleado, cuántos errores requirieron revisión y qué coste generó el proceso completo. Para tareas sensibles, la evaluación debe combinar datos cuantitativos con muestras revisadas por expertos y pruebas de casos extremos.
Otra cuestión frecuente es la comparación justa. Dos modelos pueden ofrecer resultados similares en un conjunto de pruebas, pero comportarse de manera distinta ante el lenguaje real de una organización. Los benchmarks públicos, por sí solos, no revelan si un sistema entiende documentos internos, respeta límites de privacidad o funciona bien con usuarios novatos. Una evaluación útil debe replicar el entorno y las consecuencias reales de uso.
Por último, es necesario medir los incentivos. Si el equipo recibe una recompensa por reducir tokens o aumentar la tasa de respuestas automatizadas, no será sorprendente que el producto se optimice en esa dirección. La gobernanza de IA no debe limitarse a comprobar si el modelo es seguro; también debe vigilar que las métricas no empujen a los equipos hacia atajos. La transparencia sobre límites, errores y costes es tan importante como el rendimiento promedio.
Esto no significa que las métricas sean inútiles. Significa que deben tratarse como señales, no como verdades absolutas. Un panel bien diseñado muestra el equilibrio entre calidad, coste, rapidez, seguridad y resultado empresarial, y explica qué decisiones debe impulsar. Sin ese contexto, la inteligencia artificial corre el riesgo de convertirse en una carrera por mejorar cifras que solo impresionan en una presentación.
