KPMG, una de las firmas de auditoría y consultoría más grandes del mundo, tomó la sorprendente decisión de retirar un informe preliminar sobre el uso de inteligencia artificial en sus operaciones internas. La razón, según comunicaron sus responsables de tecnología, fue la presencia de “alucinaciones” en los resultados generados por la IA, lo que llevó a conclusiones incorrectas y potencialmente perjudiciales.
El término “alucinación” en el contexto de la IA no se refiere a fenómenos psíquicos, sino a la generación de información falsa, incoherente o no corroborada por datos reales. En los últimos años, los modelos de lenguaje como GPT-4, LLaMA y otros han sido celebrados por su capacidad para producir textos convincentes, pero también han demostrado ser propensos a crear datos que parecen auténticos pero son en realidad fabricados.
El informe de KPMG, que se había presentado a sus directivos internos como una evaluación de cómo la IA puede optimizar procesos de auditoría, análisis financiero y gestión de riesgos, incluyó varios ejemplos de “hallazgos” que resultaron ser fabricaciones. Un caso citado fue la supuesta identificación de una anomalía en la contabilidad de un cliente que, tras una revisión manual, resultó ser un error de interpretación del modelo.
¿Por qué la IA alucina?
Los modelos de lenguaje aprenden a partir de enormes volúmenes de texto, ajustando probabilidades de secuencias de palabras. Cuando se les pide que generen respuestas a preguntas complejas, el modelo tiende a combinar patrones aprendidos sin verificar la veracidad de la información. Además, la falta de mecanismos de fact-checking interno dentro de los modelos hace que sean vulnerables a la creación de “falsos positivos”.
El riesgo aumenta cuando la IA se utiliza para decisiones críticas, como auditorías financieras, diagnósticos médicos o asesoría legal. Un error en la información puede traducirse en sanciones regulatorias, pérdidas económicas o daños reputacionales.
El impacto en la industria de la IA
El retiro del informe de KPMG no es un incidente aislado. Empresas como Microsoft, Google y IBM han reportado “hallazgos” erróneos en sus propios modelos internos, lo que ha llevado a una mayor discusión sobre la necesidad de estándares de verificación y auditoría de IA.
En el ámbito regulatorio, la Comisión Europea está avanzando en la propuesta de Reglamento de Inteligencia Artificial, que incluye requisitos de trazabilidad y prueba de sesgos para los sistemas de alto riesgo. Se espera que los estándares internacionales, como los de ISO/IEC 42001, impulsen la creación de protocolos de validación más rigurosos.
Por qué importa a los profesionales tech
Para los ingenieros y científicos de datos, el caso de KPMG sirve como recordatorio de que la fiabilidad de los modelos no depende solo de su arquitectura, sino también de la calidad de los datos de entrenamiento y de los procesos de validación.
- Necesidad de pipelines de validación robustos: Incorporar pruebas de fact-checking automatizadas y auditorías externas puede detectar errores antes de que lleguen a producción.
- Transparencia en la toma de decisiones: Documentar los pasos de generación de resultados y los criterios de selección ayuda a identificar fuentes de error.
- Capacitación continua: Los equipos deben mantenerse actualizados sobre las mejores prácticas de mitigación de alucinaciones, como el uso de modelos de “verificación” o “reconocimiento” complementarios.
El camino a seguir
KPMG ya ha anunciado la creación de un nuevo comité de ética en IA, que supervisará la integración de tecnologías emergentes y establecerá protocolos de revisión. Además, la firma planea colaborar con universidades y centros de investigación para desarrollar métricas de calidad que vayan más allá de la precisión estadística.
Este episodio subraya que la IA, aunque potente, no es infalible. Los profesionales de la tecnología deben adoptar una postura crítica, combinando el poder de los modelos generativos con procesos de validación rigurosos. La confianza en la IA no debe construirse sobre resultados sin verificación; debe construirse sobre evidencia probada y controles de calidad.
En última instancia, la historia de KPMG nos recuerda que la innovación responsable no es un lujo, sino una obligación ética y comercial. Cada salto tecnológico debe ir acompañado de estructuras de fiabilidad que aseguren que lo que “piensa” la máquina sea tan sólido como la información que la alimenta.
