El avance en la eficiencia de los grandes modelos de lenguaje (LLM) ha pasado por dos estrategias complementarias: el uso de arquitecturas Mixture-of-Experts (MoE) y la aplicación de técnicas de compresión. Los modelos MoE, como el reciente Qwen3.6-35B-A3B, distribuyen el cálculo entre cientos de expertos especializados y solo activan un subconjunto en cada token, lo que permite mantener el rendimiento con un costo computacional menor. Sin embargo, hasta ahora se sabía poco sobre cuáles de estos expertos son realmente necesarios para preservar la calidad del modelo. Un nuevo artículo publicado en arXiv titulado “Depth-Aware Sensitivity Analysis of Mixture-of-Experts Models via Magnitude-Based Expert Masking” presenta un análisis sistemático y detallado que revela un patrón claro de fragilidad según la profundidad de las capas.

El trabajo se centra en el modelo Qwen3.6-35B-A3B, que cuenta con 40 capas de expertos, 256 expertos por capa y una estrategia de ruteo que selecciona los 8 mejores expertos por token. Los investigadores evaluaron el modelo en el benchmark XLCoST, dedicado a la traducción de código multilingüe, utilizando una técnica llamada enmascarado magistral de expertos. Este método oculta temporalmente los expertos con menor contribución al gradiente y mide cómo cambia el rendimiento del modelo cuando esos expertos no están disponibles. El estudio se realizó en tres servidores H100, probando con 100, 300 y 500 consultas en cada fase, lo que proporcionó una visión robusta de la importancia de cada experto en diferentes contextos.

Los resultados muestran un patrón marcado de profundidad. Las primeras nueve capas (0-9) y las capas medias (10-29) resultan extremadamente frágiles: la eliminación de incluso unos pocos expertos reduce drásticamente la exactitud del modelo. En cambio, las capas tardías (30-39) muestran una resistencia notable, especialmente las más profundas (35-39). Estas capas pueden tolerar el enmascarado agresivo de expertos de baja magnitud sin que se detecten pérdidas significativas en la calidad de la salida.

Para ilustrar el impacto, los investigadores compararon dos estrategias de enmascarado. Un enfoque de enmascarado plano en todas las capas, eliminando el 30° de los expertos, solo mantuvo 150 de 300 resultados calificados como “Good+Similar” en la prueba de 300 consultas. En cambio, una política centrada en las capas tardías, que enfocó el enmascarado en las capas 30-39, logró entre 249 y 255 resultados Good+Similar con el mismo nivel de eliminación, pero permitiendo eliminar entre 640 y 1.145 expertos.

El estudio no se detuvo allí. En una prueba de validación posterior con 500 consultas, la estrategia más efectiva fue una política estrecha aplicada exclusivamente a las capas 35-39 con un 50° de enmascarado. Esta política alcanzó un equilibrio úptimo entre calidad y compresión: mantuvo 419 de 500 resultados Good+Similar mientras eliminaba solo 640 expertos de un total de 10.240. Es decir, se pudo eliminar aproximadamente el 6° del conjunto de expertos sin un impacto apreciable en el rendimiento.

Además, los autores exploraron una reducción del ancho del ruteo, pasando de 8 a 6 expertos activos por token. Esta simplificación produjo una reducción considerable en el tiempo de ejecución durante una prueba de 100 consultas, sin ninguna pérdida medible en la calidad de los resultados. Sin embargo, esta optimización aún no se integra limpiamente con las estrategias de enmascarado agresivo, lo que sugiere que se necesitan más investigaciones para combinar ambas técnicas de manera efectiva.

Las implicaciones de estos hallazgos son significativas para la comunidad de investigación en IA. En primer lugar, proporcionan una base empírica para el desarrollo de técnicas de compresión que tienen en cuenta la profundidad de las capas, un aspecto que antes se pasaba por alto. En segundo lugar, allanan el camino para el “surgery de pesos físicos”, es decir, la modificación directa de los pesos del modelo basándose en la importancia de los expertos. En tercer lugar, abren posibilidades para la evaluación de expertos basada en activaciones y la recuperación mediante entrenamiento, lo que podría permitir la eliminación permanente de expertos menos importantes y la reentrenación del modelo para mantener su rendimiento.

En términos prácticos, estos resultados son valiosos para las empresas que buscan optimizar la inferencia de modelos de lenguaje a gran escala. Al identificar con precisión qué expertos pueden eliminarse o reducirse sin afectar la calidad, los proveedores pueden reducir la huella de memoria, disminuir los costos de computación y acelerar los tiempos de respuesta en aplicaciones reales. Además, el enfoque de profundidad consciente podría integrarse en los pipelines de optimización de modelos, ofreciendo un marco sistemático para futuras mejoras en la eficiencia de los LLM.

En resumen, este estudio no solo revela que las capas tardías de MoE son sorprendentemente robustas, sino que también ofrece un método práctico para aprovechar esta robustez en la compresión de modelos. A medida que los modelos de lenguaje sigan creciendo, técnicas como el enmascarado magistral de expertos serán fundamentales para hacer que la inteligencia artificial sea más sostenible, tanto desde el punto de vista computacional como económico.