Calibrar y Enrutar: Estudio de Routing Aprendido para Servir LLMs Disaggregados
Un nuevo estudio muestra que un router calibrado que estima la latencia adicional mejora el rendimiento de los servidores de LLMs disaggregados, logrando mayor buenput y menor variabilidad frente a heurísticas simples.
5 min lectura3hIAOnda Redaccion
