Tag

#Cuantizacion

2 artículos encontrados.

La cuantización de 4 bits en modelos MoE causa cambios en la ruta de expertos

Un estudio revela que la cuantización de 4 bits en modelos Mixture-of-Experts genera cambios en la asignación de expertos, con un 31% del daño atribuible a la ruta. La detección es posible, pero no se puede predecir su impacto.

5 min lectura1hIAOnda Redaccion

Tutoriales

Ajuste fino del modelo Nemotron 3 Ultra de NVIDIA para análisis legal: guía práctica con LoRA

Un desarrollador documenta paso a paso cómo adaptar el modelo de 8B parámetros de NVIDIA para revisar contratos legales usando cuantización 4-bit y LoRA. El experimento demuestra que modelos compactos pueden rivalizar con gigantes propietarios en tareas especializadas.

6 min lectura2semIAOnda Redaccion