El consorcio de investigación alemán ha lanzado Soofi S, un modelo de lenguaje de 30 mil millones de parámetros que se distribuye bajo licencia abierta y ha superado a sus rivales en los principales tests de referencia en inglés y alemán. Entrenado exclusivamente en la nube de Deutsche Telekom, el modelo combina una arquitectura híbrida de mezcla de expertos que activa solo una fracción de sus 31,6 mil millones de pesos por token, lo que mantiene un alto rendimiento incluso con contextos extremadamente largos.
La arquitectura Mixture‑of‑Experts (MoE) de Soofi S está diseñada para optimizar el uso de recursos: en cada paso de inferencia solo se despiertan los expertos necesarios para la tarea concreta, reduciendo la carga computacional sin sacrificar precisión. Este mecanismo permite que el modelo mantenga una velocidad de inferencia constante incluso cuando procesa secuencias de varios cientos de miles de tokens, algo crítico para aplicaciones como asistentes de chat de largo alcance o análisis documental.
Los resultados de los benchmarks demuestran que Soofi S no solo lidera la clasificación de modelos totalmente abiertos en alemán, sino que también alcanza puntuaciones competitivas en pruebas de inglés, superando a otros proyectos de tamaño similar que no han sido afinados específicamente para el idioma germano. Esta doble excelencia sugiere que la combinación de un corpus entrenado con predominio alemán y una arquitectura eficiente permite al modelo captar matices lingüísticos y de razonamiento que antes estaban reservados a sistemas cerrados.
El impacto de Soofi S trasciende la mera competición tecnológica; representa una apuesta estratégica de la UE para fortalecer su soberanía en IA mediante la disponibilidad de un modelo potente y de código abierto. Al reducir la dependencia de plataformas extranjeras, las empresas y centros de investigación europeos pueden personalizar el modelo para sectores como la automoción, la medicina y la educación, acelerando la innovación local y generando un ecosistema más resiliente frente a posibles restricciones de acceso a tecnologías de gran escala.
En los conjuntos de pruebas MMLU y HELM, Soofi S obtuvo puntuaciones superiores al 70 % en la categoría de lengua alemana y alcanzó más del 65 % en tareas de razonamiento en inglés, marcas que superan a modelos como BLOOM‑Zoey y LLaMA‑2‑30B, que están bajo licencias más restrictivas o que no han sido afinados con datos locales. Según los informes de los investigadores del consorcio, el proceso de entrenamiento consumió alrededor de 2 000 horas de GPU NVIDIA A100, distribuidas en varios nodos de la infraestructura de Telekom, lo que subraya la capacidad de la empresa para ofrecer recursos a gran escala a la comunidad investigadora.
No obstante, el éxito de Soofi S plantea retos importantes. El entrenamiento de un modelo de esta envergadura exige recursos de cómputo significativos, lo que puede limitar su replicabilidad en entornos con presupuestos reducidos. Además, la licencia abierta debe equilibrar la protección de la propiedad intelectual con la necesidad de fomentar la colaboración. A medida que el modelo se difunde, será crucial monitorizar su consumo energético y sus posibles sesgos, garantizando que la apertura no comprometa la ética ni la sostenibilidad del ecosistema de IA europeo.
