Un nuevo banco de pruebas para modelos fundacionales no pregunta qué tan bien escriben una explicación, sino si son capaces de construir una teoría mínimamente válida cuando una regla general falla. DeFAb —Defeasible Abduction Benchmark— convierte décadas de bases de conocimiento públicas, como OpenCyc, YAGO, Wikidata, ConceptNet y UMLS, en cientos de miles de instancias de abducción derrotable: el tipo de razonamiento que permite formular hipótesis para explicar anomalías sin romper todo lo que antes se consideraba cierto.

La tesis del estudio es simple y demoledora: la fluidez lingüística no equivale a rigor teórico. En DeFAb, cada respuesta debe superar verificaciones formales de derivación válida, conservatividad y minimalidad. En otras palabras, el modelo no gana puntos por sonar convincente, sino por proponer una revisión disciplinada de reglas por defecto que conserve las expectativas no afectadas. El resultado es una prueba de creatividad lógica: inventar una hipótesis útil, pero dentro de límites matemáticamente comprobables.

Los números dejan claro por qué el benchmark ha llamado la atención. Un solucionador lógico basado en reglas resuelve el 100% de las instancias en menos de 50 microsegundos. En contraste, el mejor modelo frontera evaluado alcanza como máximo un 65% en condiciones favorables y cae hasta 23,5% bajo una evaluación robusta a cambios de renderizado, es decir, cuando la misma tarea se presenta con variaciones superficiales. En el nivel 2, esa precisión robusta se sitúa entre 7,8% y 23,5%. Para un ecosistema que suele medir a los LLM con benchmarks de lenguaje natural, la diferencia es un recordatorio incómodo: muchas capacidades que parecen razonamiento profundo siguen siendo frágiles ante cambios de formulación.

La arquitectura de DeFAb también es relevante. El pipeline combina jerarquías taxonómicas —estructuras que organizan conceptos y clases— con grafos de propiedades conductuales, capaces de representar relaciones como un animal puede volar o un medicamento se usa para tratar una condición. A partir de 18 fuentes públicas, el sistema genera más de 372.648 instancias sobre 33,75 millones de reglas materializadas, distribuidas en tres niveles con estándares de oro verificables en tiempo polinomial. Esto no es solo un dataset: es una fábrica de problemas con solución formal.

Ese diseño importa porque la abducción derrotable está en el corazón de muchos escenarios reales de IA. Un asistente médico debe revisar una hipótesis cuando un paciente no encaja en el patrón habitual. Un sistema jurídico debe manejar excepciones. Un agente autónomo debe adaptar reglas sin invalidar conocimiento previo. Los modelos actuales pueden narrar esas situaciones, pero DeFAb sugiere que todavía fallan al operar sobre ellas de forma consistente.

El paper añade dos variantes que amplían el debate. DeFAb-Hard, con 235 casos de nivel 3, deja al mejor modelo en 53,3% frente al 100% del sistema simbólico. CONJURE, por su parte, traslada la lógica de verificación a Lean 4 y Mathlib con 560 instancias de creatividad transformativa, donde la respuesta correcta es una definición que el kernel no conocía antes. En una prueba piloto, ningún modelo propuso conceptos nuevos verificables, lo que apunta a un límite severo de innovación formal.

Para IAOnda, el mensaje no es que los LLM sean inútiles, sino que la industria necesita separar tres planos: generación de texto, razonamiento verificable e invención formal. DeFAb ofrece una pieza clave para ese mapa, y su verificador puede usarse incluso como recompensa exacta en optimización por preferencias, DPO, RLVR o GRPO. El dataset se publica bajo licencia MIT en Hugging Face, lo que abre la puerta a evaluaciones reproducibles y a modelos híbridos que combinen lenguaje natural con motores lógicos.

La pregunta que queda sobre la mesa es si los modelos fundacionales internalizarán algún día este tipo de razonamiento o si la ruta más fiable será arquitectónica: conectar LLM con verificadores, solvers y bases de conocimiento simbólicas. DeFAb no cierra la discusión, pero la ordena. En una era de IA que promete razonar, medir con precisión qué significa razonar es tan importante como escalar parámetros.