La comparación entre los modelos de lenguaje más recientes de Meta y Google revela una brecha sorprendente en cómo se tokenizan idiomas con sistemas de escritura distintos. Un análisis publicado en Towards AI expone que, al procesar un mismo documento en bengalí, el tokenizador de Llama 3.2 consume hasta ocho tokens por sola palabra, mientras que el tokenizador de Gemma 3 necesita un token por cada término. Esta divergencia no solo refleja diferencias en los algoritmos de segmentación, sino que también tiene implicaciones directas en la eficiencia computacional, los costos operativos y la experiencia del usuario final.

Por qué el número de tokens es importante

En el procesamiento del lenguaje natural (NLP), un token suele ser la unidad básica que el modelo reconoce: puede ser una palabra, un subpalabra o un carácter. Los modelos grandes como Llama y Gemma dependen de un tokenizador para convertir texto en secuencias de tokens que la red neuronal puede procesar. Cada token representa una operación de computo, memoria y, en muchos casos, un costo monetario cuando se trabaja con servicios en la nube. Por ello, un tokenizador que produce tokens más cortos y densos puede reducir drásticamente la latencia y el gasto.

El estudio citado menciona un experimento en el que un ánico documento fue sometido a ocho tokenizadores distintos, abarcando 21 idiomas. Los resultados muestran que, mientras algunos tokenizadores mantienen un equilibrio entre precisión y concisión, otros generan fragmentaciones excesivas. El caso de bengalí es especialmente llamativo, ya que el tokenizador de Llama 3.2 segmenta una palabra como "েমু" (que en transliteración es "eiিm") en ocho tokens individuales, en lugar de tratarla como una unidad. Gemma 3, en cambio, lo considera un único token, optimizando así la secuencia.

Consecuencias prácticas para desarrolladores y empresas

Para los equipos de ingeniería que implementan modelos de lenguaje, esta ineficiencia puede traducirse en mayores costos operativos. Si un modelo requiere ocho veces más tokens para generar texto en bengalí, el tiempo de inferencia se multiplica, lo que afecta la experiencia del usuario en aplicaciones en tiempo real, como traductores, asistentes virtuales o chatbots. Además, la mayor cantidad de tokens implica un mayor consumo de ancho de banda, lo que puede ser un problema en regiones con conectividad limitada.

Por otro lado, los tokenizadores más eficientes pueden permitir un mejor aprovechamiento de los recursos de hardware. Dado que los modelos de lenguaje grandes ya consumen una cantidad significativa de GPUs, reducir el número de tokens por palabra puede permitir ejecutar el mismo modelo en menos nodos, reduciendo así el consumo energético y la huella de carbono.

El panorama multilingüe

El experimento de los ocho tokenizadores refleja un desafío más amplio: lograr una tokenización consistente y eficiente en múltiples idiomas sin sacrificar la precisión. Mientras algunos tokenizadores están optimizados para idiomas con alfabetos latinos, otros enfrentan dificultades con sistemas de escritura no latinos como el bengalí, el যালুল (gurmukhi), el ০ানে (támil) o el ২েলু (tailandés). La disparidad en la eficiencia de tokenización puede generar desigualdades en la calidad del servicio para hablantes de diferentes idiomas, un problema que las empresas deben abordar para cumplir con regulaciones de acceso equitativo y para expandir su base de usuarios globales.

Lecciones para el futuro

Este análisis sugiere que la próxima generación de tokenizadores debería priorizar el equilibrio entre la compacidad y la fidelidad linguística. Los desarrolladores pueden beneficiarse evaluando tokenizadores en conjunto con los modelos que utilizarán, en lugar de confiar exclusivamente en las especificaciones proporcionadas por los fabricantes. Además, las empresas que desarrollan IA deberían invertir en investigaciones que optimicen la tokenización para una amplia variedad de idiomas, especialmente aquellos con menor representación en los grandes modelos.

En resumen, la brecha entre Llama 3.2 y Gemma 3 en la tokenización del bengalí es más que una curiosidad técnica; es un recordatorio de que la eficiencia de tokenización es un factor crítico que influye en los costos, el rendimiento y la accesibilidad de los sistemas de IA multilingües. A medida que la tecnología avance, la optimización de los tokenizadores podrá ser tan importante como el aumento del parámetro del modelo para lograr una IA más justa y económica para todos los hablantes.