Un nuevo caso de sesgo algorítmico ha puesto en evidencia a Google. Su función de búsqueda potenciada con inteligencia artificial está recomendando a los usuarios que llamen a servicios de emergencia o busquen un lugar seguro cuando mencionan que están solos junto a personas de nacionalidades africanas, indias o pakistaníes. La respuesta automatizada, que aparece como consejo contextual en los resultados de búsqueda, ha generado una fuerte controversia en redes sociales y entre expertos en ética tecnológica.

El comportamiento fue documentado por usuarios que probaron sistemáticamente la función AI Overviews de Google. Al introducir consultas donde se mencionaba estar a solas con alguien de determinadas nacionalidades, el sistema respondía con frases como "Por favor, busque un lugar seguro o llame a servicios de emergencia". Sin embargo, cuando la misma consulta se realizaba mencionando a personas de otras nacionalidades, la IA no emitía ningún tipo de advertencia.

Lo más preocupante del caso es que Google ya había implementado ajustes parciales para eliminar este tipo de respuestas asociadas a nacionalidades específicas. Sin embargo, según las pruebas realizadas por usuarios y recogidas por The Decoder, el sistema sigue generando alertas similares cuando el contexto incluye información obtenida de Facebook u otras redes sociales, lo que sugiere que el problema de fondo no está resuelto.

Este episodio reabre el debate sobre los sesgos implícitos en los modelos de lenguaje que alimentan herramientas de consumo masivo. Los grandes modelos de IA aprenden de corpus textuales masivos donde, lamentablemente, los prejuicios raciales y étnicos están sobrerrepresentados. Cuando estos sesgos no se corrigen adecuadamente en las fases de alineamiento y fine-tuning, terminan manifestándose en productos que usan millones de personas cada día.

Para los profesionales del sector tech, este caso plantea varias reflexiones importantes. Primero, la velocidad de despliegue de funciones de IA en productos de uso masivo sigue superando los controles de calidad necesarios. Google lanzó AI Overviews como respuesta a la presión competitiva de herramientas como Perplexity y los resultados de ChatGPT, pero lo hizo antes de poder resolver problemas básicos de seguridad y fairness.

Segundo, el hecho de que el sesgo persista a pesar de los ajustes conocidos demuestra que estamos ante un problema sistémico, no de simples "bugs" corregibles con parches. Los modelos tienden a reproducir patrones aprendidos, y eliminar completamente ciertos sesgos requiere reentrenamiento, no solo ajustes en las instrucciones del sistema.

Tercero, este tipo de incidentes erosiona la confianza del usuario en herramientas que, paradójicamente, están diseñadas para hacerle la vida más fácil. Cada vez que una IA de gran consumo genera una respuesta discriminatoria, el retroceso en adopción y credibilidad es significativo.

Google no ha emitido, hasta el momento, una comunicación oficial detallada sobre este caso específico. La empresa ha reiterado en otras ocasiones su compromiso con el desarrollo responsable de la IA, pero los hechos muestran que la implementación práctica todavía tiene brechas considerables.

Para empresas y desarrolladores que trabajan con integraciones de modelos de IA, la lección es clara: nunca se debe desplegar un sistema generativo en producción sin pruebas exhaustivas de comportamiento ante diferentes grupos demográficos, contextos culturales y escenarios adversariales. Las pruebas de fairness deben ser tan rigurosas como las pruebas de rendimiento técnico.

El caso también debería acelerar la discusión regulatoria sobre auditoría obligatoria de sistemas de IA antes de su lanzamiento al público general. La Unión Europea, a través del AI Act, ya establece algunos requisitos en este sentido, pero episodios como este demuestran que la autorregulación de las grandes tecnológicas sigue siendo insuficiente.