En los últimos meses, el costo de las suscripciones a APIs de grandes modelos de lenguaje ha generado preocupación entre desarrolladores que dependen de servicios en la nube para alimentar sus aplicaciones. La propuesta parece atractiva, pero la realidad es más matizada.

El modelo elegido, una variante de Llama 2 de 7 B parámetros, se ejecutó mediante la herramienta Ollama, que permite cargar y consultar el modelo directamente en la CPU de la Mac sin necesidad de una GPU dedicada. En tareas de resumen de textos y generación de fragmentos de código, la precisión superó mis expectativas: el modelo entregó resúmenes coherentes y fragmentos funcionales en menos de un segundo, lo que implicó una reducción notable del tiempo de respuesta comparado con llamadas a la API externa.

Sin embargo, el modelo mostró debilidades evidentes en tareas que exigen razonamiento profundo, traducción multilingüe o manejo de contextos largos. Cuando se le pidió que resolviera un problema matemático complejo o que tradujera un texto del inglés al español manteniendo matices culturales, la respuesta fue imprecisa o se truncó prematuramente. Estas limitaciones reflejan la naturaleza de los modelos de código abierto, que suelen entrenarse con datos heterogéneos y no están optimizados para dominios específicos ni para la continuidad de conversaciones.

El ahorro económico es el aspecto más llamativo. Según la tabla de precios de la API de OpenAI, cada millón de tokens procesados cuesta alrededor de 2 USD; con un uso moderado de 5 millones de tokens al mes, el gasto supera los 10 USD. Ejecutar el mismo modelo localmente implica only the cost of electricity and the amortization of the hardware, que en una Mac con chip M1 equivale a menos de 1 USD mensual. No obstante, la inversión inicial en un Mac potente y la curva de aprendizaje para configurar Ollama, ajustar prompts y gestionar dependencias pueden representar un desembolso mayor que el ahorro a corto plazo, especialmente para usuarios que no disponen de equipos con GPU.

En cuanto a los requisitos de hardware, el modelo de 7 B parámetros se ejecuta sin problemas en una Mac con chip M1 o M2, aunque la velocidad de inferencia se reduce notablemente respecto a una GPU dedicada. En pruebas, la latencia promedio fue de 1.2 s por respuesta, lo que resulta aceptable para aplicaciones interactivas pero menos óptimo para procesos batch intensivos. Además, el consumo energético, aunque bajo en comparación con una estación de trabajo con GPU, sigue siendo perceptible durante sesiones prolongadas, lo que plantea una cuestión de sostenibilidad para usuarios que operan en entornos con restricciones de energía.

En el horizonte, la convergencia entre hardware de bajo consumo y modelos cada vez más eficientes promete hacer que la ejecución local sea una opción viable para la mayoría de los desarrolladores. Iniciativas como los chips dedicados a IA en dispositivos móviles y la optimización de frameworks como llama.cpp están reduciendo la brecha de rendimiento entre el procesamiento en la nube y el edge computing. Si estas tendencias continúan, la barrera de entrada para usar IA sin depender de APIs externas disminuirá, ofreciendo a startups y freelancers una alternativa económica y descentralizada que respete la privacidad y mejore la velocidad de respuesta.

En conclusión, instalar un modelo de IA gratuito en una Mac puede ser una solución viable para reducir gastos operativos y mejorar la privacidad de los datos, siempre que el proyecto se centre en tareas donde el modelo demuestre suficiente competencia y el equipo disponible soporte la carga de inferencia. La verdadera utilidad reside en la alineación entre las capacidades del modelo y las necesidades específicas del desarrollador; fuera de ese rango, la experiencia puede resultar frustrante y el ahorro económico se vuelve secundario.