La inteligencia artificial en conducción autónoma enfrenta un dilema crucial: ¿cómo aprender a manejar situaciones complejas sin poner en riesgo la seguridad? Investigadores han desarrollado un marco innovador que equilibra la exploración del agente autónomo con la guía de consejos de expertos, revolucionando la aprendizaje por refuerzo seguro (Safe RL).

En entornos como intersecciones sin semáforos, donde la imprevisibilidad es la norma, los agentes deben aprender a través de la experiencia. Sin embargo, esta exploración activa puede generar colisiones o comportamientos peligrosos. La solución propuesta combina dos elementos clave: un sistema de gestión de incertidumbre que identifica cuando el agente necesita ayuda, y una estrategia regulada de expert advice que evita dependencia prolongada.

El núcleo del método es un mecanismo de disparo dinámico basado en umbrales adaptativos calculados mediante buffers de datos históricos. Cuando la incertidumbre epistémica (falta de conocimiento) o aleatorica (aleatoriedad en los resultados) supera estos umbrales, el sistema activa la intervención de expertos. Esta guía no es permanente: un algoritmo de cooldown con pausa aleatoria controla la duración y frecuencia de los consejos, optimizando el uso de experiencias expertas sin saturar el presupuesto de aprendizaje.

La integración técnica se realiza a través de un buffer compartido donde se almacenan experiencias tanto del agente como de los expertos. Este conjunto de datos alimenta una red IQN (Implicit Quantile Network) que estima la distribución de resultados futuros, permitiendo al agente aprender de las decisiones expertas sin necesidad de etiquetas explícitas. En pruebas en CARLA, este enfoque mejoró en un 5-7% la tasa de éxito en maniobras complejas, reduciendo fallos por colisiones y conducción fuera de ruta.

La importancia de este avance radica en su aplicación a escenarios reales donde la seguridad es primordial. Al combinar aprendizaje autónomo con supervisión controlada, se logra un equilibrio entre eficiencia computacional y fiabilidad, un requisito fundamental para la adopción comercial de vehículos autónomos. El código y los resultados están disponibles en arXiv, abriendo camino a futuras investigaciones en RL seguro para movilidad inteligente.