La industria de la IA generativa tiene un problema de honestidad: los modelos y agentes suelen expresar seguridad absoluta incluso cuando alucinan o carecen de información suficiente. Un artículo técnico publicado en Towards AI aborda este fallo estructural bajo el título "Confidence Is a Feature", argumentando que la incertidumbre debe tratarse como una propiedad de primera clase en la arquitectura de software, no como un apéndice cosmético.

El núcleo del problema radica en la cascada de transformaciones que sufre una señal de confianza al atravesar un stack de agentes típico. Una herramienta (tool) devuelve un resultado con su margen de error; el modelo de lenguaje lo reescribe suavizando matices; la capa de orquestación agrega su propia heurística; y finalmente la interfaz de usuario muestra un número redondo —a menudo el infame "95% confident"— que no tiene base estadística real. Esta "lavandería de certeza" induce a los usuarios y a sistemas downstream a confiar en salidas poco fiables.

La propuesta técnica pasa por propagar distribuciones de probabilidad o intervalos de credibilidad en lugar de escalares. Cada componente del stack —retrievers, ejecutores de código, APIs externas, el propio LLM— debe exponer su incertidumbre calibrada. El orquestador combina esas señales mediante reglas de inferencia bayesiana o métodos de ensemble, y la UI recibe una distribución que puede visualizar como barras de error, umbrales de riesgo o recomendaciones de verificación humana.

¿Por qué importa ahora? Porque los agentes autónomos (AutoGPT, Devin, frameworks como LangGraph o CrewAI) están pasando de demos a producción en sectores regulados: finanzas, salud, legal. Un agente que aprueba un préstamo, sugiere un diagnóstico o redacta un contrato con "alta confianza" falsa genera responsabilidad legal y riesgo reputacional. La regulación europea (AI Act) y las guías de NIST exigen trazabilidad y métricas de fiabilidad; la confianza fabricada no cumple.

Implementar esto exige cambios en la cadena de herramientas: los proveedores de modelos deben exponer log-probs calibrados (OpenAI ya lo hace parcialmente vía logprobs; Anthropic y modelos abiertos como Llama-3 requieren fine-tuning específico), los frameworks de orquestación necesitan tipos de datos para incertidumbre (pydantic models con campos Distribution), y los diseñadores de UX deben crear patrones de visualización que no abrumen al usuario experto ni engañen al novato.

El artículo cita experimentos donde agentes con propagación de incertidumbre reducen en un 37 % las acciones irreversibles erróneas (borrado de datos, envío de pagos) frente a baselines que umbralizan en 0.9. El coste: latencia adicional del 12-18 % y mayor complejidad de depuración. Un trade-off que muchas organizaciones estarán dispuestas a pagar cuando el coste del error supere el de la computación.

En resumen: tratar la confianza como feature significa diseñar para la duda. La próxima generación de stacks de agentes no se medirá solo por benchmarks de precisión, sino por la honestidad de sus señales de incertidumbre. Los equipos que inviertan hoy en calibración y propagación tendrán ventaja regulatoria y de confianza del usuario cuando los agentes dejen de ser asistentes y se conviertan en actores autónomos en flujos críticos.