Durante años, los Grandes Modelos de Lenguaje (LLMs) han acaparado titulares por su capacidad para mantener conversaciones fluidas, generar texto creativo o resumir documentos. Su reino parecía ser el del lenguaje natural. Sin embargo, una frontera menos explorada pero igualmente prometedora está emergiendo: su aplicación en la ingeniería de características (feature engineering) para datos tabulares, el corazón de muchos proyectos de machine learning tradicional.
La ingeniería de características es, a menudo, el proceso más laborioso y crítico en el desarrollo de modelos de ML. Consiste en transformar datos brutos —como filas y columnas en una hoja de cálculo o una base de datos— en representaciones que los algoritmos pueden entender y de las que pueden aprender eficazmente. Requiere intuición, conocimiento del dominio y, sobre todo, tiempo. Aquí es donde los LLMs, como GPT-4, Claude o modelos de código abierto como CodeLlama, están empezando a actuar como asistentes cognitivos para los científicos de datos.
¿Cómo funciona? En lugar de escribir manualmente código para crear nuevas variables a partir de las existentes, un profesional puede describir su intención en lenguaje natural. Por ejemplo: "Extrae el dominio de los correos electrónicos y crea una variable categórica para los dominios más frecuentes, agrupando el resto como 'Otros'". El LLM interpreta esta instrucción, comprende la estructura de los datos (asumiendo que se le proporciona un esquema o muestra) y genera el código Python o SQL correspondiente, idealmente optimizado. Puede sugerir interacciones entre variables numéricas, crear características temporales a partir de fechas, o incluso procesar texto libre en columnas (como comentarios de clientes) para extraer sentimiento o temas clave, integrándolos luego en la tabla principal.
El verdadero potencial radica en su capacidad para manejar datos mixtos y encontrar relaciones no lineales o de alto orden que un humano podría pasar por alto. Un LLM puede analizar la correlación entre una columna de texto libre y una numérica, y proponer automáticamente features que capturen esa relación, como la longitud del texto o la presencia de palabras específicas vinculadas a valores altos o bajos en la variable objetivo.
Sin embargo, este enfoque no está exento de desafíos y requiere un enfoque crítico. El principal es la confiabilidad. Los LLMs pueden 'alucinar' o generar código que, aunque sintácticamente correcto, no es lógico para el problema específico. Por ello, la supervisión y validación exhaustiva por parte del experto son innegociables. La ingeniería de características resultante debe evaluarse rigurosamente mediante métricas de modelo (como la mejora en AUC o reducción de error) y su interpretabilidad debe ser considerada, especialmente en sectores regulados.
Otro aspecto crucial es el coste computacional y la privacidad. El envío de datos sensibles a una API de LLM es un riesgo que muchas organizaciones no pueden asumir. La solución pasa por usar modelos locales o de código abierto, o técnicas como la generación de código sin exponer los datos reales, proporcionando solo descripciones estadísticas y esquemas.
¿Por qué importa esta convergencia? Acelera drásticamente el ciclo de experimentación. Un proceso que tomaba días de exploración manual puede reducirse a horas, permitiendo a los equipos probar más hipótesis y encontrar mejores features con mayor rapidez. Además, democratiza el acceso a técnicas avanzadas, permitiendo que analistas con menos experiencia en programación puedan participar en la creación de features complejas mediante prompts en lenguaje natural.
El futuro apunta a un flujo de trabajo híbrido y aumentado: el humano define la estrategia y el contexto de negocio, el LLM ejecuta la generación de código y la exploración de cientos de combinaciones potenciales, y el humano-curated evalúa, filtra y refina. Herramientas como ChatGPT Advanced Data Analysis o extensiones para VS Code ya están empezando a integrarse en este paradigma.
En conclusión, los LLMs en ingeniería de características para datos tabulares no sustituyen al científico de datos, sino que lo potencian. Representan un cambio de paradigma hacia una forma de trabajar más conversacional y exploratoria, donde la barrera entre la idea y su implementación en código se vuelve casi transparente. Para los profesionales tech hispanohablantes, dominar esta intersección entre el lenguaje natural y la manipulación de datos no será un lujo, sino una competencia clave para mantenerse a la vanguardia en la construcción de sistemas de ML robustos y eficientes.
