La comunidad de IA lleva meses debatiendo si los leaderboards de modelos reflejan capacidad real o artefactos de evaluación. Un nuevo preprint en arXiv (2607.09665) aporta evidencia contundente: el envoltorio del prompt —esa capa de formato que estructura la instrucción— puede voltear conclusiones enteras de rendimiento.

Los investigadores introducen dos métricas complementarias. El Format Sensitivity Index (FSI) mide el rango de precisión inducido únicamente por la elección del wrapper. El Parseability Sensitivity Index (PSI) captura la variabilidad en la capacidad de extraer respuestas válidas. Analizaron 140.000 generaciones en OpenRouter, cubriendo 7 tareas de QA, 5 familias de wrappers y 4 modelos instruct de 7B a 72B parámetros.

El hallazgo central es inquietante: el FSI medio varía más de 30 veces entre modelos. No es ruido marginal; es una brecha que reordena rankings. El análisis de regresión con efectos fijos revela que la parseabilidad sigue siendo predictora fuerte de precisión incluso controlando tarea, modelo y wrapper. En otras palabras: si el modelo no respeta el esquema de salida, su inteligencia bruta importa poco.

¿Por qué ocurre? Los autores señalan a los fallos de cumplimiento (compliance failures). Los wrappers exigen formatos específicos —JSON, XML, Markdown con delimitadores— y los modelos pequeños o mal alineados fallan en seguirlos. Esa falla no es estética: corrompe la extracción de la respuesta y, por tanto, la métrica de acierto.

Las implicaciones son inmediatas para quien publica o consume benchmarks. Reportar accuracy sin varianza de wrapper ni tasa de parseo es, dicen los autores, "estadísticamente frágil". Un modelo que brilla con un formato puede colapsar con otro mínimamente distinto. Los leaderboards que no controlan esta variable comparan manzanas con naranjas.

Para despliegues con salida estructurada —function calling, agentes, pipelines RAG— la lección es paralela: la robustez al formato es requisito de producción, no opcional. El paper recomienda: (1) reportar FSI y PSI junto a accuracy, (2) usar protocolos token-controlados para aislar el efecto formato, (3) priorizar modelos con alta parseabilidad nativa, y (4) diseñar wrappers tolerantes a desviaciones menores.

Este trabajo cambia la conversación de "qué modelo es mejor" a "bajo qué condiciones de formato un modelo es confiable". En una industria que compite por decimales en MMLU o HumanEval, ignorar la sensibilidad al formato ya no es descuido: es mala ciencia.