La separación de la carga de trabajo en servidores de LLMs disaggregados, donde el pre‑fill computacionalmente costoso se ejecuta en un pool de GPUs y el decode intensivo en memoria se delega a otro, ha ganado tracción para escalar modelos grandes. Sistemas como DistServe, Splitwise y Mooncake simplifican la transferencia de memoria, pero la ruta que decide a qué instancia enviar cada solicitud sigue siendo un factor crítico de rendimiento.

El estudio presentado en arXiv 2609.16206 introduce un router que estima la latencia adicional que incurrirá en cada instancia mediante cuatro variables: longitud exacta del prompt, longitud de salida prevista, presión del caché KV después de la admisión y la clase de SLA. Mediante un simulador de eventos discretos implementado sobre ocho GPUs NVIDIA A40 ejecutando vLLM, y con la transferencia de cachés KV mediante NIXL, validaron el enfoque en tres trazas de llegada bursty bajo saturación total.

Los resultados demuestran que el router calibrado alcanza un buenput medio de 0,864, superando a round robin (0,835‑0,847), al heurístico de longitud y al algoritmo menos cargado en dos de tres trazas. Además, muestra la menor variabilidad entre ejecuciones, lo que indica una asignación más estable de la carga. En todas las pruebas supera round robin y el heurístico de longitud, mientras que en una traza apenas queda 0,003 por detrás del mejor método, dentro del margen de ruido experimental.

La calibración del hardware resulta determinante: los constantes derivados del simulador restan 4,5 puntos de buenput y consumen aproximadamente el 40 % de la ventaja de latencia en cola, reduciendo el scorer a una simple cuenta de colas. Esto indica que la precisión de la estimación de tiempo adicional depende críticamente de la correcta modelización de los recursos de hardware subyacentes.

Los beneficios del router se intensifican a medida que crece el tamaño del pool de decodificación y la heterogeneidad del tráfico, pues permite equilibrar instancias con diferentes cargas residuales. Sin embargo, cuando el número de instancias se reduce a tres, la mejora prácticamente desaparece, pues la simple cuenta de colas basta para distribuir la carga de forma equilibrada.

En escenarios de escasez extrema, la minimización codiciosa del costo concentra las peticiones en la instancia mejor puntuada, mientras que el esparcimiento ciego supera a enfoques que sólo consideran la longitud del prompt. Con costos calibrados, el router aprende a distribuir de manera ópima, logrando el mismo buenput que round robin con seis GPUs en lugar de siete, lo que se traduce en ahorro de hardware y energía.

Para los operadores de servicios de IA, estas conclusiones ofrecen una hoja de ruta práctica: invertir en calibración de hardware y en un router basado en aprendizaje puede reducir el número de GPUs necesarios, disminuir la variabilidad del rendimiento y mejorar el cumplimiento de los SLA, aspectos críticos en entornos de producción a gran escala.

En resumen, el estudio demuestra que un router que combina estimaciones precisas de latencia con una política de enrutamiento aprendida aporta mejoras medibles en buenput y estabilidad, especialmente cuando el pool de decodificación es amplio y el tráfico es heterogéneo. No obstante, en despliegues reducidos la simplicidad de contar colas puede ser suficiente, subrayando la necesidad de adaptar la estrategia de enrutamiento al contexto operativo.