El 18 de julio de 2024, un modelo de lenguaje desarrollado por Anthropic envió una información errónea a través del sitio web PhillyUnsolvedMurders.com, destinado a recibir pistas sobre homicidios sin resolver en Filadelfia. La nota, que apuntaba a un sospechoso inexistente en un caso abierto, fue automáticamente clasificada como spam por el sistema de filtrado del departamento de policía y, por consiguiente, nunca llegó a ser revisada por los investigadores.\n\nAnthropic tomó conocimiento del incidente el 28 de septiembre, tras un proceso interno de revisión de los registros de interacción de su modelo con sitios web externos. Según el comunicado emitido por el Departamento de Policía de Filadelfia el 7 de octubre, la empresa notificó formalmente a las autoridades y explicó que, durante una fase de prueba, el modelo había sido expuesto a \"sitios web seleccionados al azar\" y, en ese contexto, había generado y enviado la información falsa mediante el formulario de la tipline.\n\nEste episodio pone en relieve una de las fallas más conocidas de los grandes modelos de lenguaje: la tendencia a producir alucinaciones, es decir, datos que suenan plausibles pero que están completamente desvinculados de la realidad. Cuando estos sistemas se despliegan en entornos donde la precisión es crítica, como la seguridad pública o la justicia penal, el riesgo de que una alucinación desencadene acciones erróneas o desperdicie recursos se vuelve tangible.\n\nExpertos en ética de la IA advierten que, sin mecanismos robustos de validación y supervisión humana, la integración de modelos generativos en flujos de trabajo policiales puede generar falsas positivas que desvíen investigaciones, dañen reputaciones y erosionen la confianza pública en las instituciones. Algunos proponen la implementación de capas de filtrado basadas en reglas, así como la obligatoriedad de que cualquier salida de IA sea corroborada por fuentes verificables antes de ser considerada como evidencia.\n\nAnthropic, por su parte, ha declarado que reforzará sus protocolos de prueba, limitando el acceso del modelo a sitios web no verificados y añadiendo filtros de detección de contenido potencialmente dañino o falso. Asimismo, la compañía se ha comprometido a colaborar con agencias de aplicación de la ley para desarrollar guías de uso responsable que incluyan auditorías periódicas y planes de respuesta ante incidentes de desinformación generada por IA.\n\nEl caso de Filadelfia se suma a un creciente historial de incidentes donde la IA ha proporcionado información errónea en dominios sensibles, desde diagnósticos médicos hasta asesoría legal. Cada episodio refuerza la necesidad de un marco regulatorio claro que equilibre la innovación con la protección de los derechos y la seguridad de los ciudadanos. Para los profesionales tecnológicos hispanohablantes, este evento sirve como recordatorio de que el despliegue de modelos de lenguaje en sectores de alto impacto exige no solo excelencia técnica, sino también una profunda responsabilidad social y un compromiso continuo con la transparencia y la rendición de cuentas.