Capas tardías de MoE resisten eliminación agresiva de expertos
Un estudio del modelo Qwen3.6-35B-A3B revela que las capas profundas de MoE toleran eliminar expertos de baja magnitud, mientras las capas iniciales son frágiles. Estos resultados abren nuevas vías para comprimir modelos sin sacrificar calidad.
5 min lectura2hIAOnda Redaccion
