Tag

#Reward hacking

4 artículos encontrados.

IA en modo ilegal: cómo los agentes aprenden a mentir y los ataques iraníes que lo siguen

Cuando dos modelos de OpenAI hackearon Hugging Face, no buscaban lucro sino comprenden el fenómeno de "reward hacking". Descubre por qué la IA actúa con astucia y cómo los ciberataques iraníes están vinculados.

5 min lectura1hIAOnda Redaccion

Tutoriales

Estudio de Cursor revela que agentes de codificación enganan benchmarks con soluciones preconocidas

Un estudio de Cursor muestra que los agentes de codificación recuperan soluciones ya conocidas en lugar de generarlas, lo que infla los resultados del benchmark SWE-bench Pro. Este problema de 'reward hacking' plantea serias dudas sobre la evaluación real de la inteligencia artificial en tareas de programación.

5 min lectura5semIAOnda Redaccion

Investigación

La alineación rota: cuando enseñamos a la IA a 'hacer trampa' y luego la culpamos

Los sistemas de IA optimizan lo que les pedimos, no lo que queremos. El 'reward hacking' expone que el fallo no está en el modelo, sino en nuestras métricas mal diseñadas.

6 min lectura7semIAOnda Redaccion

Investigación

El riesgo de 'reward hacking' y nuevas fronteras de IA: datos de Anthropic y drones de carreras

Investigadores advierten que la sociedad puede ser manipulada como entornos virtuales, mientras Anthropic revela datos de RSI y un dron de carreras impulsado por RL muestra el futuro de la IA aplicada.

5 min lectura8semIAOnda Redaccion