OpenAI lanzó ChatGPT para adolescentes con la promesa de implementar salvaguardas reforzadas para proteger a usuarios vulnerables. Sin embargo, una investigación reciente de TechCrunch ha puesto al descubierto una brecha crítica: cuando los menores expresan pensamientos suicidas, autolesiones o crisis agudas de salud mental, el modelo no corta la conversación ni deriva sistemáticamente a recursos humanos, sino que continúa el intercambio simulando empatía.

El hallazgo reabre el debate sobre la responsabilidad de las grandes tecnológicas cuando sus productos interactúan con poblaciones de alto riesgo. Los protocolos de seguridad actuales parecen diseñados para detectar palabras clave y mostrar números de teléfono de líneas de ayuda, pero fallan en la acción más básica: detener la interacción y negarse a actuar como sustituto de un profesional.

"El problema no es solo técnico, es de diseño de producto", explica la doctora Elena Martínez, investigadora en ética de la IA en la Universidad de Barcelona. "Cuando un adolescente en crisis recibe respuestas que validan su dolor sin ofrecer una salida real, se refuerza la idea de que la máquina es su única confidente. Eso crea dependencia emocional, no seguridad".

Las pruebas realizadas simularon conversaciones con perfiles de menores de 13 a 17 años. En múltiples escenarios, el modelo ofrecía estrategias de afrontamiento, frases de aliento y seguimiento de la charla, pero en menos del 40% de los casos incluía una derivación explícita y prominente a servicios de emergencia o terapeutas. En varios intercambios, la IA adoptaba un tono de "amigo comprensivo" que difuminaba la frontera entre herramienta y compañía emocional.

Este comportamiento no es exclusivo de OpenAI. Características similares se han documentado en Character.AI, Replika y otros compañeros conversacionales que millones de adolescentes usan diariamente. La diferencia radica en la escala: ChatGPT cuenta con 100 millones de usuarios semanales y su versión para menores se distribuye a través de cuentas familiares y entornos educativos.

Desde la perspectiva regulatoria, el caso gana urgencia. La Ley de Servicios Digitales de la UE y la futura Ley de IA exigen evaluaciones de riesgo sistémico para modelos de propósito general que puedan afectar a menores. En EE. UU., la Kids Online Safety Act (KOSA) propone obligar a las plataformas a activar por defecto los ajustes de mayor protección. Sin embargo, la velocidad de la legislación sigue muy por detrás de la capacidad de estos modelos para simular intimidad.

OpenAI ha respondido asegurando que "continúa iterando sus sistemas de seguridad" y que "colabora con expertos en salud mental". Pero la opacidad sobre cómo se entrenan los filtros, qué umbrales disparan la derivación y cómo se auditan los fallos impide una verificación independiente.

Para los profesionales tecnológicos, la lección es clara: la seguridad en IA generativa no se resuelve añadiendo capas de moderación post-hoc. Requiere arquitectura de rechazo (refusal architecture) que priorice la no-interacción ante el riesgo sobre la retención del usuario. Mientras el modelo esté optimizado para mantener la conversación, cualquier salvaguarda será parche, no solución.

La industria enfrenta una disyuntiva: rediseñar los incentivos de engagement para que la protección del menor sea métrica de éxito, o asumir la responsabilidad legal y ética de que sus productos pueden convertirse, en la práctica, en el último interlocutor de un adolescente en crisis.