El entrenamiento de los modelos de lenguaje de gran escala (LLM, por sus siglas en inglés) es una de las actividades computacionales más intensivas del sector tecnológico. Se estima que GPT‑4, el cuarto modelo de OpenAI, consumió unas 50 GWh durante su fase de entrenamiento, equivalente al consumo anual de 5,000 hogares estadounidenses. Con cada iteración, el tamaño y la complejidad de los modelos crecen, y a la par lo hace la demanda de recursos de cómputo, lo que plantea un reto medioambiental y económico.

En este contexto, un grupo de investigación de la Universidad de Twente, en los Países Bajos, ha descubierto una técnica sencilla pero efectiva que permite disminuir el consumo energético de hasta un 14 % sin afectar la velocidad de entrenamiento. El método, presentado por el candidato a Ph.D. Jeffrey Spaan en la conferencia Computing Frontiers en Catania, se basa en la escala dinámica de voltaje y frecuencia (DVFS, por sus siglas en inglés) aplicada a los relojes de las GPU.

¿Qué es DVFS y cómo lo usan las GPU? Cada chip, incluyendo las GPU de alto rendimiento que se emplean para entrenar LLMs, opera bajo la supervisión de un reloj que encadena cada operación. La frecuencia de ese reloj determina la velocidad de procesamiento y el consumo de energía. Mientras que el núcleo de cómputo de una GPU suele mantenerse a alta frecuencia durante la fase de cálculo, el reloj de la memoria puede ser reducida cuando el núcleo está activo, ya que la memoria no necesita operar a máxima velocidad en ese momento. Asimismo, cuando el núcleo está esperando datos de la memoria, se puede bajar la frecuencia del núcleo, pues la latencia de la memoria se vuelve el cuello de botella.

Spaan explica que la idea es “optimizar el hardware para el software”. En lugar de reescribir algoritmos para que se ajusten a las limitaciones de la GPU, se adapta la propia GPU a las necesidades del entrenamiento. Al ajustar dinámicamente la frecuencia de los relojes, se evita el consumo innecesario de energía cuando el hardware no está totalmente aprovechado.

¿Cómo se traduce esto en la práctica? Durante las pruebas realizadas por el equipo, se observó que la reducción de la frecuencia de la memoria cuando el núcleo estaba ocupado no afectó el rendimiento del modelo, ya que la GPU sigue recibiendo las señales de reloj necesarias para seguir procesando. A la inversa, cuando el núcleo estaba en espera de datos, se redujo su frecuencia sin incurrir en pérdidas de velocidad, pues la transferencia de datos se convierte en el factor limitante. Este ajuste fino permite que los recursos energéticos se distribuyan de forma más eficiente.

El impacto de este hallazgo es significativo. En la industria, donde el entrenamiento de LLMs puede costar cientos de miles de dólares en electricidad, una reducción del 14 % se traduce en un ahorro sustancial de costes y, lo que es aún más relevante, en una menor huella de carbono. Además, la técnica es relativamente sencilla de integrar en los flujos de trabajo existentes, ya que la mayoría de las GPU modernas ya soportan DVFS.

Entretanto, los investigadores señalan que la aplicación práctica dependerá de la compatibilidad con las plataformas de entrenamiento y de la capacidad de los proveedores de hardware para ofrecer control granular sobre los relojes. Empresas como NVIDIA y AMD están trabajando en mejoras de la gestión energética, pero la adopción de estrategias basadas en DVFS a nivel de software todavía está en fase experimental.

En el panorama de la IA, donde la sostenibilidad se está convirtiendo en un criterio de competitividad, este descubrimiento abre la puerta a optimizaciones de bajo coste que pueden ser adoptadas rápidamente. Los desarrolladores de LLMs podrán reducir su impacto ambiental sin comprometer la velocidad de entrenamiento, un equilibrio que ha sido difícil de alcanzar hasta ahora.

En definitiva, la técnica de Spaan demuestra que la innovación no siempre requiere hardware nuevo; a veces basta con hacer que el existente trabaje de manera más inteligente. Si las empresas de IA adoptan este enfoque, el camino hacia modelos más potentes y menos energéticos se hará más accesible para todos.