Los sistemas de IA que integran texto, imagen y sonido están transformando la manera en que interactúan con el mundo. Sin embargo, poco se sabe cómo los modelos de lenguaje multimodal (LLM) combinan señales auditivas y visuales para llegar a una respuesta. Un estudio reciente analiza el flujo de información interno de estos modelos, trazando rutas distintas según la configuración de entrada.
Los autores evaluaron dos escenarios: primero, videos que combinan audio y video en una secuencia continua; segundo, conjuntos de elementos interleados donde varios fragmentos de audio y visual se alternan. Mediante técnicas de seguimiento de tokens, observaron que en el caso continuo los modelos siguen la ruta tradicional de procesamiento visual‑audio establecida por modelos de visión‑lenguaje, asignando peso proporcional a la importancia de cada modalidad según la tarea. En el escenario interleado, la ruta se fragmenta en varios flujos paralelos, lo que sugiere una mayor flexibilidad estructural.
Un hallazgo clave es que muchos tokens, tanto de audio como de visual, pueden ser descartados una vez que su contenido ha sido transferido al LLM central. Esta eliminación no afecta negativamente la predicción final; de hecho, en varios benchmarks se observó una ligera mejora en precisión. Además, la posibilidad de eliminar tokens redundantes abre la puerta a optimizaciones de inferencia, reduciendo el coste computacional sin sacrificar calidad. Los experimentos se realizaron con Qwen2.5‑Omni y Video‑SALMONN2‑Plus, en escalas de 3 B y 7 B parámetros, lo que refuerza la generalidad de los resultados. Este enfoque también permitió identificar que ciertos tipos de tokens, como los marcadores de posición de posición, pueden ser reutilizados para acelerar el proceso de atención.
Estos patrones de flujo revelan por qué ciertos diseños de arquitectura funcionan mejor en tareas específicas. Cuando la información se procesa de forma secuencial, la dependencia de la modalidad visual tiende a ser mayor en tareas de descripción de video, mientras que la señal auditiva domina en reconocimiento de comandos de voz. La capacidad de reconfigurar dinámicamente los flujos paralelos sugiere que los ingenieros pueden diseñar modelos más adaptables, capaces de priorizar la modalidad que el usuario necesita en cada momento.
En conjunto, el trabajo aporta la primera visión coherente del interior de los AVLLM y sentará bases para futuras investigaciones en interpretabilidad y eficiencia. Los desarrolladores podrán aprovechar estas pautas para crear sistemas que no solo entiendan mejor el mundo multimodal, sino que lo hagan de forma más ligera y rápida, un paso esencial para desplegar IA avanzada en dispositivos con recursos limitados.
