Cuando la inteligencia artificial falla, no solo entrega informacion incorrecta: puede poner vidas en riesgo. Eso fue exactamente lo que le ocurrio a un grupo de senderistas que confio ciegamente en Google Gemini para preparar una excursion en una zona arida de Estados Unidos. El resultado: una llamada de rescate y un nuevo caso emblematico sobre los limites de los modelos de lenguaje.

Una excursion planificada con IA y casi pagada con sudor

Segun informo la oficina del sheriff del condado, los excursionistas pidieron a Gemini recomendaciones sobre que llevar para su travesia. La respuesta del modelo fue clara, pero dangerously equivocada: subestimo drasticamente la cantidad de agua y alimentos que un grupo de su tamaño necesitaria para completar la ruta bajo altas temperaturas.

Los hikers siguieron el consejo al pie de la letra. No fue hasta bien entrada la jornada, cuando el calor comenzo a hacer mella y los suministros se agotaron, que comprendieron la magnitud del error. Para entonces, la deshidratacion ya era una preocupacion seria. Activaron el protocolo de emergencia y fueron localizados y evacuados por los equipos de rescate, sin lesionados graves pero con una advertencia que recorrer las redes.

El problema de las alucinaciones con consecuencias reales

Este episodio ilustra con crudeza un fenomeno que los investigadores llaman alucinaciones: cuando un LLM genera informacion que suena plausible pero carece de base factual. Gemini, igual que ChatGPT, Claude o Llama, no consulta bases de datos en tiempo real para responder preguntas especificas sobre rutas, condiciones climaticas o necesidades fisiologicas. Lo que hace es predecir secuencias de palabras estadisticamente coherentes.

En contextos de oficina, una alucinacion puede generar un correo incomod o un dato erroneo en un informe. En contextos de salud, seguridad o supervivencia, el margen de error se reduce a cero. El incidente recuerda a casos previos, como las recomendaciones nutricionales peligrosas que chatbots han ofrecido a usuarios con trastornos alimentarios, o las respuestas de modelos que sugieren sustancias toxicas como si fueran inocuas.

Por que los LLM no son asesores de actividades outdoor

Planificar una excursion en zonas deserticas o de montaña requiere informacion concreta: kilometraje real del sendero, temperaturas esperadas, altitud, condicion fisica del grupo, disponibilidad de fuentes de agua. Los modelos de lenguaje generalistas no tienen acceso verificado a esta data, ni capacidad para calcular necesidades hidricas individuales. Su respuesta sera tan buena como los patrones que extrajeron de su entrenamiento, pero sin garantia de precision.

Expertos en seguridad outdoor recomiendan consultar fuentes especializadas: servicios meteorologicos nacionales, guias de senderismo actualizadas, aplicaciones topograficas con datos verificados y, sobre todo, grupos locales con experiencia en la zona. La IA puede ser util como complemento informativo, nunca como fuente unica para decisiones criticas.

La responsabilidad de Google y el futuro de los asistentes

Google ha invertido miles de millones en Gemini y compite palmo a palmo con OpenAI y Anthropic por liderar el mercado de asistentes de IA. Sin embargo, incidentes como este revelan una tension estructural: los modelos se comercializan como fuentes confiables de informacion, pero su arquitectura misma los hace propensos a errores factuales.

La compania ha introducido mejoras como la vinculacion a fuentes verificables y grounding con busqueda en tiempo real, pero la implementacion no es uniforme en todas las consultas. Algunos desarrolladores externos que integran Gemini via API han reportado que el modelo sigue inventando datos en nichos especificos.

Lecciones para usuarios profesionales

Para los profesionales tecnologicos que integran IA en sus flujos de trabajo, este caso es un recordatorio potente: ninguna salida de un LLM debe tratarse como verdad absoluta sin validacion. Ya sea en medicina, derecho, finanzas o logistica, el patron es el mismo. La inteligencia artificial amplifica la productividad, pero no reemplaza el juicio critico humano.

El episodio del rescate seguramente terminara en los tribunales de opinion como ejemplo de los riesgos de la sobreconfianza tecnologica. Mientras tanto, los excursionistas aprendieron por las malas que el consejo de una IA sobre cuantos litros de agua cargar en el desierto puede ser una cuestion de vida o muerte.