Amazon ha decidido retirar un sistema interno de clasificación de proyectos de inteligencia artificial, conocido como "leaderboard" o tabla de líderes, después de que varios empleados descubrieran cómo manipularlo con actividades de escasa relevancia. Según informó el Financial Times, la iniciativa, que buscaba incentivar la innovación y medir el rendimiento de los equipos de IA, terminó siendo una fuente de ineficiencia y de aumento innecesario de los gastos en la infraestructura de Amazon Web Services (AWS).

¿Qué era el leaderboard interno?

El leaderboard surgió en 2022 como parte de la estrategia de Amazon para fomentar la competitividad entre sus científicos de datos y desarrolladores de IA. Cada proyecto recibía una puntuación basada en criterios como la precisión de los modelos, la velocidad de entrenamiento y, crucialmente, el consumo de recursos de cómputo en la nube. Los equipos con mejores resultados ganaban reconocimiento interno, acceso a presupuestos adicionales y, en algunos casos, bonificaciones.

El juego de los empleados

Con el paso del tiempo, los propios empleados comenzaron a centrarse más en subir en la tabla que en crear soluciones útiles para los clientes. Para elevar sus métricas, algunos equipos lanzaron experimentos de entrenamiento masivo que apenas tenían aplicación práctica, simplemente para demostrar que sus modelos podían escalar a gran escala. Otros, en cambio, emplearon scripts que repetían tareas triviales – como generar cientos de versiones de un modelo con ligeras variaciones de hiperparámetros – con el único objetivo de incrementar el número de ejecuciones y, por ende, la puntuación.

Este comportamiento, conocido en la jerga corporativa como "gaming the system", provocó dos problemas principales: la generación de una gran cantidad de datos inútiles que sobrecargaron los clústeres de AWS, y la desviación de talento y recursos de proyectos con impacto real. Según fuentes internas, los costos asociados a estas actividades llegaron a representar hasta un 12 % del gasto mensual de IA de la división, una cifra que la dirección consideró insostenible.

Repercusiones y decisiones de la alta dirección

El anuncio de la eliminación del leaderboard coincidió con una revisión más amplia de la política de uso de recursos en la nube. Jeff Bezos, aunque ya no está al frente del día a día, sigue influyendo en la cultura de “frugalidad” que caracteriza a Amazon. En una reunión interna, los ejecutivos subrayaron la necesidad de alinear los incentivos con los objetivos estratégicos de la empresa: crear productos que generen valor para los clientes y mantener la rentabilidad de AWS.

El CEO Andy Jassy, en un comunicado interno, explicó que la empresa está adoptando “métricas de impacto real” que considerarán factores como la adopción por parte de los clientes, la reducción de costos operativos y la mejora de la experiencia de usuario, en lugar de simples indicadores de consumo de GPU.

Contexto del sector: ¿Es este un caso aislado?

Amazon no es la primera compañía en enfrentar los efectos colaterales de los sistemas de gamificación interna. Google, por ejemplo, suspendió en 2021 su programa de "AI Olympics" después de que equipos compitieran en entrenar modelos gigantescos sin una hoja de ruta clara, lo que también generó un alza de los costos de Google Cloud. Microsoft, por su parte, ha implementado recientemente un marco de "responsabilidad de IA" que penaliza el uso ineficiente de recursos.

Estos episodios reflejan una tensión inherente al rápido crecimiento de la IA: la necesidad de medir el rendimiento de forma objetiva frente al riesgo de que los indicadores se conviertan en fines en sí mismos. La comunidad tecnológica está empezando a debatir sobre métricas más holísticas, que incluyan criterios de sostenibilidad, ética y valor comercial.

¿Por qué importa a los profesionales tech?

Para los profesionales del sector, la decisión de Amazon sirve como una señal de alerta. La presión por publicar resultados rápidamente y demostrar capacidad técnica puede llevar a prácticas que, a corto plazo, parezcan beneficiosas pero que a la larga erosionan la eficiencia y la reputación corporativa. Además, el caso subraya la importancia de diseñar sistemas de incentivos que premien la calidad y el impacto, no solo la cantidad de recursos consumidos.

Los equipos de desarrollo de IA deben replantearse sus métricas internas y adoptar una mentalidad de "lean AI", enfocándose en experimentos reproducibles, reutilizables y alineados con los objetivos de negocio. Asimismo, los gestores de nube deben monitorizar de cerca el uso de recursos y establecer límites automáticos para evitar derroches.

Mirada al futuro

Amazon ha anunciado que reemplazará el leaderboard por un panel de control que integrará indicadores de negocio, métricas de sostenibilidad y feedback de clientes. La compañía también planea invertir en herramientas de observabilidad que detecten patrones de uso anómalo en tiempo real, reduciendo la posibilidad de que se repitan juegos de puntuación.

Este episodio, aunque interno, destaca la necesidad de una gobernanza más robusta en la era de la IA generativa y el cloud computing. A medida que las organizaciones escalen sus modelos, la alineación entre incentivos, costos y valor tangible será crucial para mantener la competitividad sin sacrificar la eficiencia.

En conclusión, la eliminación del leaderboard de IA de Amazon no solo es una medida correctiva, sino también una oportunidad para replantear cómo medimos el éxito en la inteligencia artificial. La lección para la comunidad tech es clara: los indicadores deben servir al negocio, no al revés.