El auge de los modelos de lenguaje de última generación ha llevado a una nueva ola de experimentación entre los desarrolladores. El caso más reciente es el de un ingeniero que, durante un fin de semana, intentó recrear Claude, la IA de generador de texto de Anthropic, sin acceso al código original. El experimento, publicado en Towards AI, detalla los pasos, las herramientas utilizadas y los resultados obtenidos.

El proyecto de reimplementación no es simplemente un ejercicio de curiosidad. En la comunidad de IA, las reproducciones de modelos de referencia sirven para validar hipótesis sobre arquitectura, entrenamiento y rendimiento. Además, ofrecen una ventana a la transparencia de los algoritmos que, en muchos casos, permanecen como “cajas negras” propietarias.

¿Qué se hizo exactamente?

El autor utilizó seis herramientas principales: un entorno de desarrollo basado en Visual Studio Code, un gestor de paquetes Conda, un conjunto de scripts de entrenamiento en PyTorch, una pequeña base de datos SQLite para el seguimiento de métricas, un modo de planificación de tareas y un rastreador de presupuesto de GPU. Todo ello se configuró en menos de una hora, con el objetivo de lanzar una versión mínima viable.

La arquitectura elegida se inspiró en la descripción pública de Claude: una variante de Transformer con capas de atención multi‑cabeza, pero con un mecanismo de “planificador” que condiciona la generación de texto en función de objetivos predefinidos. El ingeniero implementó un planificador simple basado en reglas, que interrumpe la generación cuando el modelo detecta incoherencias o salta de tema.

El código resultante cuenta con aproximadamente 500 líneas de Python, lo que, en términos de desarrollo de IA, es un número sorprendentemente bajo. La mayoría de las líneas corresponden a la lógica de planificación y al manejo de entrada/salida, mientras que el núcleo del modelo (las capas de atención y feed‑forward) se reutiliza de la biblioteca Hugging Face.

Resultados y limitaciones

El autor afirma que su versión logra un rendimiento aceptable en tareas de generación de texto simples: responder preguntas, redactar párrafos coherentes y completar frases. Sin embargo, el modelo falla en los desafíos más complejos que Claude suele manejar sin problemas, como la generación de código de programación, la respuesta a preguntas de razonamiento profundo o la evitación de sesgos.

El experimento también destaca la importancia de los datos de entrenamiento. Mientras que Claude ha sido entrenado con miles de terabytes de texto de dominio público y privado, el modelo recreado se entrenó con un conjunto de datos de 10 GB extraído de Wikipedia y algunos repositorios de código. La diferencia de escala se traduce directamente en una brecha de calidad.

Por qué importa

En la práctica, la capacidad de replicar modelos de referencia de forma open‑source tiene implicaciones estratégicas. Por un lado, democratiza la tecnología, permitiendo a pequeñas empresas y universidades experimentar con arquitecturas de vanguardia sin depender de grandes proveedores. Por otro lado, plantea preguntas sobre la propiedad intelectual y la seguridad.

Anthropic y otras compañías protegen sus modelos bajo licencias restrictivas. Si un ingeniero puede reconstruir un modelo funcional con recursos limitados, la barrera de entrada para la competencia disminuye. Además, la creación de un planificador personalizado abre la puerta a mejoras específicas para nichos industriales, como la generación de código seguro o la asistencia médica.

Reflejo en la industria

El experimento también refleja una tendencia mayor: la creciente transparencia en la IA. A medida que más investigadores publican arquitecturas y pesos, la comunidad se mueve hacia un ecosistema más colaborativo. Al mismo tiempo, las empresas están respondiendo con políticas de acceso controlado y licencias de uso que intentan equilibrar la innovación con la protección de activos.

Para los profesionales tech, el caso de Claude es un recordatorio de que la ingeniería de modelos no se trata solo de tener acceso a un algoritmo, sino de comprender su arquitectura, sus dependencias de entrenamiento y sus limitaciones inherentes. La capacidad de reconstruir un modelo con un número tan reducido de líneas de código demuestra que, en muchos casos, la complejidad radica en los datos y en el proceso de entrenamiento, no simplemente en la arquitectura.

En conclusión, el experimento no pretende reemplazar a Claude, sino ofrecer una ventana al proceso de creación y a los desafíos que enfrentan quienes buscan reproducir modelos avanzados. Para los profesionales de IA, es una llamada a la acción: comprender, experimentar y, sobre todo, colaborar en la construcción de un futuro más transparente y accesible.