En el panorama de la Inteligencia Artificial, se suele asumir que los modelos capaces de 'pensar' -como los que emplean razonamiento por cadena de pensamientos (CoT)- eliminan ciertos sesgos heurísticos. Pero un reciente estudio, publicado en arXiv, desmonta esta premisa, revelando un patrón inesperado: dentro de estos modelos, el sesgo de posición en preguntas de opción múltiple (MCQ) aumenta con la longitud de la 'pista de pensamiento' empleada. Este hallazgo, publicado en arXiv:2605.06672v1, ofrece un avance significativo en cómo evaluamos y debemos tratar, por defecto, a los modelos capaces de razonar.

Los investigadores probaron esta hipótesis en 13 configuraciones de modelos de razonamiento, incluyendo dos modelos distilados a partir de DeepSeek-R1 (de 7-8B parámetros), dos modelos base con CoT y el DeepSeek-R1 en su versión de 671B. En pruebas realizadas en conjuntos de datos como MMLU, ARC-Challenge y GPQA, se encontró una correlación positiva entre la longitud de la pista de pensamiento y el 'Score de Sesgo de Posición' (PBS) en 12 de los casos, con una correlación que variaba entre 0.11 y 0.41 y todos los p-valores inferiores a 0.05. Además, todos los modelos abiertos de razonamiento mostraron que el PBS aumentaba de manera monotónica a medida que crecía la longitud de la pista, lo que indica que el sesgo se intensifica con el tamaño de la respuesta generada por el modelo.

Para demostrar causalidad, el estudio implementó una intervención de 'truncamiento': cuando se reiniciaban las respuestas a partir de puntos más avanzados en la pista de pensamiento, la probabilidad de que el modelo se inclinara hacia las opciones preferidas por posición aumentaba del 16% al 32% en un caso de estudio (R1-Qwen-7B). Esto sugiere que el sesgo de posición se 'desescala' cuando se corta la pista de pensamiento, pero no se elimina completamente.

Aunque en el caso del DeepSeek-R1 (671B parámetros) el PBS colapsó a 0.019, el estudio encontró que el efecto de longitud persistía en la cuarta cuantile más larga (PBS = 0.071), lo que indica que la precisión 'bloquea' la expresión del sesgo de longitud, pero no implica que el mecanismo subyacente ya no exista. Además, el estudio identificó que el sesgo de posición en respuestas directas (sin razonamiento) es un fenómeno independiente del CoT, con su propia 'huella'. Por ejemplo, en modelos como Llama-Instruct-direct, este sesgo es fuerte, mientras que en otros como Qwen-Instruct-direct es débil e inestimable mediante métodos de CoT.

Estos resultados implican que, por defecto, debemos tratar a los modelos capaces de razonamiento como no 'robustos al orden' en evaluaciones de MCQ. Esto es crucial porque, en contextos donde la secuencia de las respuestas es relevante (como investigaciones de ciencia de datos o pruebas de seguridad), no podemos asumir que una respuesta correcta generada 'más tarde' en la pista de pensamiento es la misma que si se hubiera generado 'más temprano'.

El estudio también ofrece una 'herramienta diagnóstica' para evaluar este sesgo: el Score de Sesgo de Posición (PBS), el 'punto de cambio de compromiso', el 'efecto de efectivo de switching' y 'probes de truncación'. Estas herramientas permiten a los investigadores y profesionales analizar y corregir el sesgo de posición en modelos de razonamiento, lo que es esencial para su uso ético y eficaz en aplicaciones de MCQ.

En resumen, este estudio no solo revela un fenómeno hasta ahora desconocido en la IA, sino que también proporciona un marco para entender y mitigar este sesgo. Para los profesionales de la IA, este hallazgo es crucial porque implica que, en ciertos contextos, los modelos de razonamiento pueden perpetuar sesgos de posición de manera no lineal, y que estos deben ser evaluados y corregidos para su uso responsable. En IAOnda, continuaremos siguiendo el desarrollo de la IA para compartir estos avances y consejos prácticos para tratar la IA de forma crítica y ética. Lo más importante es que, como comunidad, sigamos aprendiendo y adaptándonos a los hallazgos científicos que emergen de la IAOnda.