El contexto largo parece una barrera casi vencida. Los grandes modelos de lenguaje ya pueden procesar documentos de cientos de páginas, bases de conocimiento extensas y conversaciones prolongadas sin perder de inmediato su capacidad de respuesta. Sin embargo, un nuevo resultado difundido por Towards AI muestra una diferencia crítica entre una prueba de referencia controlada y el funcionamiento de un sistema de IA en producción: aumentar el contexto no solo añade información útil, también puede degradar seriamente la calidad de las decisiones.

El experimento es especialmente revelador por su simplicidad. A un modelo de monitorización se le planteó una tarea esencialmente inalterable, pero alrededor de ella se introdujeron 800.000 tokens de texto irrelevante. El resultado fue una caída de 10,6 puntos en el recall, una métrica que mide la capacidad del sistema para encontrar y recuperar los elementos correctos. En otras palabras, la tarea no cambió, pero el modelo se volvió notablemente peor detectando lo que debía detectar.

Este dato cuestiona una interpretación demasiado optimista del avance de los LLM. Que un modelo soporte más tokens no significa que conserve la misma precisión cuando el contexto se diluye entre enormes cantidades de ruido. La longitud efectiva del contexto y la calidad útil de ese contexto no son lo mismo. Un sistema puede “leer” millones de tokens y, aun así, perder capacidad de discriminación cuando la información relevante queda enterrada entre fragmentos repetidos, metadatos, documentos obsoletos o contenido que no guarda relación con la consulta.

En producción, ese problema es constante. Los flujos de IA suelen alimentarse con correos, informes, tickets, registros de clientes, código, documentos legales, chats internos y datos externos. Parte de esa información es valiosa; otra parte es redundante, contradictoria o directamente irrelevante. Cuando el modelo recibe todo ese material sin una selección rigurosa, el coste no aparece únicamente en forma de latencia o gasto de inferencia. También aparece como errores silenciosos: una alerta que no se activa, una prioridad mal clasificada o una recomendación basada en el dato equivocado.

La caída de recall es particularmente preocupante en escenarios de vigilancia, cumplimiento, seguridad y atención al cliente. En estos casos, el coste de un falso negativo puede ser mayor que el de un falso positivo. Si el sistema debe identificar riesgos, incidencias, patrones de fraude o información sensible, perder la capacidad de recuperar casos relevantes puede convertir una herramienta de apoyo en un elemento de riesgo operativo. La pregunta ya no es solo si el modelo entiende el texto, sino si conserva su utilidad cuando el entorno se vuelve sucio, amplio y cambiante.

El fallo también expone las limitaciones de confiar únicamente en benchmarks tradicionales. Muchas evaluaciones de contexto largo se centran en la recuperación de respuestas o en la capacidad de responder preguntas sobre documentos extensos, pero no siempre replican la distribución real de datos que encuentra un modelo en operación. En un laboratorio, el texto irrelevante puede estar perfectamente organizado. En una empresa, el ruido llega mezclado, con formatos inconsistentes, duplicados, información incompleta y cambios continuos.

Para reducir este riesgo, los equipos de IA necesitan tratar el contexto como un recurso que debe gestionarse, no como una cantidad que pueda ampliarse indefinidamente. El filtrado previo, la segmentación inteligente, la recuperación semántica, la reranking y la eliminación de duplicados son capas esenciales antes de enviar información al modelo. También resulta importante conservar trazabilidad sobre el origen de cada fragmento y medir el rendimiento con conjuntos de pruebas que incluyan deliberadamente ruido, distracciones y cambios de distribución.

La lección para la industria es clara: el contexto largo no está completamente resuelto. Los avances en arquitectura, memoria y compresión de contexto son importantes, pero la calidad del pipeline de datos sigue siendo determinante. Los sistemas que funcionen mejor no serán necesariamente los que reciban más texto, sino los que sepan seleccionar, validar y priorizar la información correcta en el momento adecuado. En producción, menos contexto bien preparado puede ser más fiable que un océano de datos mal gestionado.