La reciente publicación de Towards AI señala que, a pesar de los avances de GPT-6, el modelo sigue atrapado en el techo de 244.800 tokens impuesto por OpenAI Codex. Este límite, aunque suficiente para muchas aplicaciones, resulta insuficiente para los entrenamientos de modelos de próxima generación que demandan contextos mucho más extensos.

OpenAI Codex, la arquitectura subyacente que gestiona la memoria y la generación de texto en los modelos de la compañía, está diseñada con un límite de contexto de 244.800 tokens. Este número proviene de consideraciones de eficiencia en el hardware y de la arquitectura de atención plena, que requiere que cada token sea procesado en la misma GPU. Por ello, aunque GPT-6 pueda generar respuestas coherentes de varios miles de palabras, su entrenamiento completo todavía está restringido por esa frontera.

El déficit de capacidad de contexto tiene consecuencias directas para los desarrolladores y para la investigación académica. Cuando se entrena un modelo con cientos de miles de palabras, la imposibilidad de alimentar al modelo con datos históricos, documentos largos o conversaciones extensas obliga a fragmentar la información, lo que puede degradar la calidad del aprendizaje y aumentar los costos computacionales.

Ante este problema, la comunidad está explorando alternativas como la segmentación de datos, la incorporación de bases de memoria externa y la aplicación de técnicas de fine-tuning en etapas. Algunas propuestas incluyen el uso de Retrieval-Augmented Generation (RAG), donde se recuperan fragmentos relevantes de un corpus externo en tiempo real, y la implementación de chunking inteligente que agrupa tokens semánticamente para maximizar la información útil dentro del límite.

Sin embargo, estas soluciones no eliminan la necesidad de un contexto más amplio durante el pre-entrenamiento. La carrera por superar los 244.800 tokens refleja una competencia creciente entre empresas de IA que buscan ofrecer modelos capaces de comprender y generar contenido a escala de libros enteros, legislación completa o bases de código masivas. La capacidad de procesar más tokens en una sola pasada no solo mejora la eficiencia del entrenamiento, sino que también abre la puerta a aplicaciones más ambiciosas, como la generación automática de manuales técnicos o la analítica de grandes volúmenes de datos legales.

En resumen, el límite de 244.800 tokens de OpenAI Codex sigue siendo un cuello de botella para GPT-6, pese a los avances de la arquitectura. La búsqueda de métodos para ampliar ese margen, ya sea mediante hardware más potente, algoritmos más eficientes o arquitecturas híbridas, será determinante para el ritmo de innovación en la inteligencia artificial. Mientras tanto, los profesionales del sector deben estar atentos a las estrategias de mitigación y a los próximos lanzamientos que prometen romper estas barreras.

El impacto de este límite también se percibe en el mercado comercial, donde empresas como Anthropic y Google DeepMind están desarrollando sus propios modelos con contextos de hasta un millón de tokens, lo que les permite entrenar con datasets integrales sin necesidad de dividirlos. Esta carrera por la escala de contexto está redefiniendo los indicadores de desempeño y los precios de suscripción, obligando a los proveedores de servicios en la nube a ofrecer hardware especializado, como GPUs con mayor memoria de video, para satisfacer la demanda de los desarrolladores que buscan entrenar modelos de próxima generación.