La generación automática de código RTL (Register Transfer Level) mediante modelos de lenguaje grandes (LLM) ha avanzado rápidamente gracias al aprendizaje por refuerzo con recompensas verificables (RLVR). Sin embargo, la mayoría de enfoques actuales colapsan las métricas de potencia, rendimiento y área (PPA) en una única recompensa escalar, obligando al modelo a elegir un compromiso fijo que rara vez refleja la complejidad real del diseño de chips.

Un nuevo trabajo publicado en arXiv rompe este paradigma. Investigadores proponen el primer método que optimiza no la calidad de un circuito individual, sino la calidad y diversidad del conjunto completo de soluciones generadas en el espacio de objetivos PPA. La innovación central reside en dos componentes: un pipeline de entrenamiento basado en generaciones secuenciales que reformula la mejora de cobertura del frente de Pareto como un problema de generación de circuitos en serie, y una función de recompensa basada en la Contribución de Hipervolumen (HVC) que cuantifica cuánto aporta cada circuito generado al frente de Pareto global.

Evaluado sobre el benchmark RTLLM v2, el método alcanza una mejora de 13,3 puntos porcentuales en hipervolumen relativo frente a una base sin optimización PPA, y 14,4 puntos sobre un enfoque de refuerzo de objetivo único. Crucialmente, también demuestra superioridad en diversidad de circuitos, generando conjuntos de soluciones que cubren distintos compromisos entre bajo consumo, baja latencia y área reducida.

¿Por qué importa esto para la industria? En el diseño práctico de ASICs y FPGAs, la importancia relativa de cada objetivo PPA varía drásticamente según el producto: un chip para IoT prioriza potencia, un acelerador de IA busca rendimiento, y un dispositivo móvil equilibra ambos con área. Tener un conjunto diverso de soluciones óptimas en Pareto permite a los ingenieros seleccionar a posteriori el compromiso que mejor encaje con sus restricciones de producto, reduciendo iteraciones de diseño y tiempo de comercialización.

El enfoque de HVC como señal de recompensa es especialmente elegante: al medir la contribución marginal de cada muestra al hipervolumen dominado, guía naturalmente al LLM hacia regiones inexploradas del espacio de objetivos, fomentando exploración sin sacrificar calidad. Esto contrasta con métodos de optimización multi-objetivo clásicos que requieren funciones de utilidad predefinidas o pesos fijos.

Quedan retos abiertos: la escalabilidad a diseños industriales complejos, la integración con flujos EDA comerciales y la verificación formal de corrección funcional más allá de métricas PPA. No obstante, este trabajo marca una dirección clara: el futuro de la síntesis RTL asistida por IA no está en generar "el mejor circuito", sino en generar "el mejor portafolio de circuitos" para que el experto humano tome la decisión final informada.