Los modelos de visión‑lenguaje (VLM) han revolucionado tareas que combinan texto y imagen, desde la generación de descripciones automatizadas hasta la asistencia visual en la medicina. Sin embargo, una falla persistente ha limitado su adopción en entornos críticos: la tendencia a "alucinar" – a generar afirmaciones lógicas y coherentes pero desconectadas de la evidencia visual.

En enero de 2026, un grupo de investigadores publicó en ArXiv el artículo CaVe-VLM-CoT: An Interpretable Vision‑Language Model Framework, introduciendo un enfoque modular que promete acabar con estas alucinaciones sin necesidad de re‑entrenar el modelo base. El acrónimo CaVe-VLM-CoT se desglosa en cinco componentes: Extractor, Retriever, Solver, Citation Injector y Verifier, todos ellos interconectados en un bucle cerrado.

El proceso comienza con el Extractor, que descompone la pregunta o instrucción en sub‑preguntas. Esta descomposición facilita la búsqueda de evidencia específica, algo que los VLM tradicionales hacen de forma monolítica. A continuación, el Retriever opera sobre una base de datos de documentos multimodales, recuperando fragmentos de texto e imágenes que corresponden a cada sub‑pregunta. La innovación aquí radica en que el Retriever no se limita a devolver los hitos más relevantes; también devuelve una medida de confianza basada en la similitud multimodal.

El Solver utiliza el modelo VLM existente (por ejemplo, CLIP‑based o BLIP) para generar una respuesta preliminar a partir de la información recuperada. Esta etapa es la que suele generar la mayor cantidad de alucinaciones. Por eso se introduce el Citation Injector, que asigna a cada frase generada una referencia explícita al fragmento recuperado que la sustenta. De esta forma, la respuesta no solo es coherente, sino también trazable.

Finalmente, el Verifier evalúa la consistencia entre el texto generado y las citas insertadas. Si detecta que alguna afirmación carece de respaldo o que la cita no corresponde al contenido, lanza un feedback estructurado que vuelve al Extractor para replantear la sub‑pregunta y activar una nueva ronda de recuperación. Este ciclo iterativo garantiza que la respuesta final esté firmemente anclada en evidencia tangible.

Un aspecto crucial de CaVe‑VLM‑CoT es la métrica CaVeScore, un índice compuesto que combina precisión, recall, precisión de citas y grado de fundamentación multimodal. A diferencia de los evaluadores tradicionales que solo miden la exactitud, CaVeScore penaliza explícitamente las alucinaciones y recompensa la trazabilidad. En los datasets ScienceQA y MMMU, CaVe‑VLM‑CoT logró 87.1 % de exactitud y 56.6 % de CaVeScore en ScienceQA, y 55.2 % de exactitud y 35.7 % de CaVeScore en MMMU, superando a la mayoría de los modelos sin modificar su arquitectura ni su prompt.

Para los profesionales de IA, estos resultados son significativos por varias razones. Primero, la eliminación de alucinaciones reduce el riesgo de errores en aplicaciones de alto impacto, como diagnóstico médico, análisis financiero o asistencia legal. Segundo, la trazabilidad de citas mejora la interpretabilidad, un requisito cada vez más exigido por regulaciones como la GDPR y la normativa de IA de la UE. Tercero, la modularidad permite integrar CaVe‑VLM‑CoT con infraestructuras ya existentes sin costosos re‑entrenamientos, facilitando su adopción en startups y grandes empresas.

El enfoque también abre nuevas líneas de investigación: la optimización de los algoritmos de recuperación multimodal, la expansión a dominios especializados (por ejemplo, radiología o geología) y la integración con sistemas de diálogo conversacional para garantizar que las respuestas sean tanto precisas como contextualizadas.

En conclusión, CaVe‑VLM‑CoT representa un avance importante en la lucha contra las alucinaciones de los VLM. Al combinar una arquitectura de cinco etapas con métricas de evaluación exhaustivas, ofrece un camino sólido hacia sistemas de visión‑lenguaje más fiables, interpretables y alineados con las demandas regulatorias y de negocio actuales.