Los modelos de lenguaje basados en redes neuronales han demostrado capacidades sorprendentes en tareas de traducción, generación de texto y razonamiento básico. Sin embargo, su capacidad para ir más allá de los datos con los que fueron entrenados sigue siendo un tema de debate abierto. Un reciente estudio publicado en arXiv (2606.17289v1) plantea una pregunta fundamental: ¿puede un modelo de lenguaje descubrir por sí mismo el concepto matemático de cero, una noción que no está explícitamente presente en su corpus de entrenamiento? Los autores utilizan la aritmética elemental como banco de pruebas para evaluar hasta qué punto los modelos pueden realizar una generalización fuera de distribución, es decir, generar conocimientos matemáticos que no estaban presentes en los ejemplos vistos durante el pre‑entrenamiento.
El experimento se centra en modelos del tamaño de GPT‑2, cuya arquitectura es relativamente modestina pero suficiente para observar fenómenos de aprendizaje. En la primera fase, los investigadores evalúan el desempeño de estos modelos sin ningún ejemplo adicional de cero. Los resultados muestran que, independientemente de la cantidad de pre‑entrenamiento lingüístico que haya recibido el modelo, no es capaz de generalizar el concepto de cero en tareas de suma y resta que requieren reconocer la ausencia de cantidad. Esto sugiere que, al menos en su configuración base, los modelos de lenguaje carecen de la capacidad innata para abstraer una entidad tan fundamental como el cero a partir de patrones estadísticos únicamente.
En la segunda fase, se introduce un conjunto de entrenamiento complementario formado por decenas o incluso cientos de ejemplos que ilustran el uso del cero en operaciones aritméticas. Tras este ajuste fino, los modelos mejoran de manera significativa, logrando resolver correctamente problemas que antes fallaban sistemáticamente. Lo más interesante es que el efecto del pre‑entrenamiento lingüístico no es neutro: los modelos que habían sido expuestos a grandes cantidades de texto natural requieren aproximadamente la mitad de ejemplos de cero para alcanzar el mismo nivel de desempeño que aquellos sin dicho pre‑entrenamiento. Esta reducción del 50 % en la cantidad de datos necesarios indica que el conocimiento lingüístico actúa como un andamiaje (scaffolding) que facilita la abstracción de conceptos matemáticos nuevos.
Los autores interpretan estos hallazgos como evidencia de que las habilidades lingüísticas pueden servir como puente para la generalización fuera de distribución en dominios formales como las matemáticas. En la cognición humana, el lenguaje suele proporcionar etiquetas y estructuras que permiten manipular ideas abstractas; el estudio sugiere que algo parecido ocurre en las redes neuronales cuando reciben suficiente exposición lingüística antes de enfrentarse a tareas matemáticas novedosas. No obstante, el límite persiste: sin ningún ejemplo de cero, incluso los modelos más grandes de la familia GPT‑2 no logran el salto cognitivo necesario, lo que pone de manifiesto que la mera escala no garantiza la capacidad de descubrimiento autónomo.
Desde una perspectiva práctica, estos resultados tienen implicaciones importantes para el diseño de sistemas de IA destinados a asistir en la investigación científica. Si queremos que los modelos no solo repitan lo aprendido, sino que propongan nuevas conjecturas o extensiones de teorías existentes, podría ser beneficioso combinar un sólido pre‑entrenamiento lingüístico con una fase de ajuste fino dirigida a ejemplos cuidadosamente seleccionados del dominio objetivo. En áreas como la demostración automática de teoremas, la síntesis de fórmulas o la exploración de estructuras algebraicas, este enfoque híbrido podría reducir drásticamente la cantidad de datos necesarios para que el modelo empiece a generar conocimiento genuino.
Además, el estudio abre la puerta a investigar qué otros conceptos matemáticos —como los números negativos, el infinito o las estructuras algebraicas más complejas— podrían ser descubiertos mediante estrategias similares. También plantea preguntas sobre la naturaleza de la representación interna del cero en las redes neuronales: ¿se trata de una simple asociación estadística o emerge una forma primitiva de comprensión simbólica? Responder a estas interrogantes requerirá experimentos que combinen análisis de activaciones, intervenciones en capas específicas y pruebas de transferencia a problemas más desafiantes.
En resumen, el trabajo demuestra que, aunque los modelos de lenguaje actuales no pueden inventar el cero de la nada, su capacidad para aprenderlo se ve potenciada considerablemente cuando cuentan con un fondo lingüístico rico. Este hallazgo refuerza la idea de que el lenguaje no es solo un medio de comunicación, sino también una herramienta cognitiva que puede estructurar y potenciar el razonamiento formal en sistemas artificiales. Para la comunidad de IA hispanohablante, el estudio ofrece una hoja de ruta clara: invertir en pre‑entrenamiento lingüístico de calidad y diseñar fases de ajuste fino orientadas a dominios formales puede ser la clave para llevar a los modelos más allá de la mera reproducción y acercarlos al verdadero descubrimiento científico.
