Domina CatBoost: 20 preguntas clave para tu entrevista de ML

CatBoost, el algoritmo de boosting basado en árboles de decisión desarrollado por la compañía rusa Yandex, ha ganado terreno rápidamente entre los ingenieros de datos y científicos de machine learning que buscan modelos precisos y fáciles de entrenar. A diferencia de sus competidores, CatBoost ofrece una gestión nativa de variables categóricas, un algoritmo de orden de entrenamiento que reduce el overfitting y una velocidad de inferencia que rivaliza con las soluciones de deep learning en tareas tabulares.

El auge de CatBoost se ha visto impulsado por su rendimiento en competiciones de Kaggle y por la creciente adopción en empresas que manejan grandes volúmenes de datos estructurados, como FinTechs, compañías de seguros y plataformas de e‑commerce. En el contexto de la contratación, las entrevistas técnicas se han vuelto cada vez más rigurosas y se centran en la comprensión profunda de los algoritmos detrás de los modelos.

Para ayudarte a prepararte, hemos recopilado las 20 preguntas de entrevista más frecuentes sobre CatBoost, con respuestas concisas y ejemplos prácticos. Estas preguntas cubren desde conceptos básicos hasta detalles de implementación y optimización.

1. ¿Qué es CatBoost y cuáles son sus principales ventajas? CatBoost es un algoritmo de boosting de árboles de decisión que utiliza un enfoque de orden de entrenamiento. Sus ventajas incluyen la gestión automática de variables categóricas, la reducción del overfitting a través del orden de entrenamiento y la capacidad de trabajar con datasets muy grandes sin requerir una infraestructura compleja.

2. ¿Cómo maneja CatBoost las variables categóricas? CatBoost convierte las variables categóricas en valores numéricos mediante un algoritmo de codificación basado en estadísticas de target encoding, pero sin introducir sesgo de entrenamiento. En lugar de asignar un valor fijo, calcula la media de la variable objetivo condicionada al valor categórico y combina esto con un conteo de ocurrencias para evitar la fuga de información.

3. ¿Cuál es la diferencia entre CatBoost y XGBoost? Ambos son algoritmos de boosting de árboles, pero CatBoost implementa un orden de entrenamiento que evita el overfitting y maneja automáticamente las categorías. XGBoost, por su parte, requiere que el usuario procese las variables categóricas y es más propenso a sobreajustarse si no se aplica la regularización adecuada.

4. ¿Qué es el "ordered boosting" y por qué es importante? Ordered boosting es el proceso por el cual CatBoost construye árboles usando un subconjunto aleatorio de los datos antes de que el algoritmo observe la fila completa. Esto reduce la correlación entre el objetivo y la predicción, evitando que el modelo aprenda patrones espurios.

5. ¿Cómo funciona la regularización en CatBoost? CatBoost incluye varios parámetros de regularización: \lambda (regularización L2), \gamma (penalización de la profundidad) y \alpha (regularización L1). Ajustar estos valores ayuda a controlar la complejidad del modelo y a prevenir el overfitting.

6. ¿Qué es el "gradient boosting"? El gradient boosting es un algoritmo iterativo donde cada árbol corrige los errores de los árboles anteriores. CatBoost optimiza la función de pérdida en cada iteración, aprovechando la información de gradiente de la última predicción.

7. ¿Cuándo usar CatBoost en lugar de LightGBM o XGBoost? Si el dataset contiene muchas variables categóricas o si la precisión es crítica y se dispone de tiempo de entrenamiento razonable, CatBoost suele superar a LightGBM y XGBoost. Sin embargo, LightGBM suele ser más rápido en datasets muy grandes con pocas categorías.

8. ¿Cómo se interpretan los importances de características en CatBoost? CatBoost proporciona varios tipos de importances: \textbf{gain}, \textbf{split} y \textbf{shap}. El "gain" mide la mejora de la pérdida al usar una característica, mientras que el "shap" ofrece valores de contribución local y global, útiles para explicabilidad.

9. ¿Qué es el "loss function" y cómo se elige la adecuada? La pérdida debe alinearse con el objetivo del negocio. Para clasificación binaria se usa log loss, mientras que para regresión se prefiere MAE o MSE. CatBoost admite pérdidas personalizadas mediante funciones lambda.

10. ¿Qué parámetros son críticos para ajustar el rendimiento?

• learning_rate: controla la velocidad de aprendizaje.
• depth: determina la complejidad del árbol.
• iterations: número de árboles.
• l2_leaf_reg: regularización L2.
• bagging_temperature: controla el nivel de aleatoriedad.

11. ¿Cómo se gestionan los valores faltantes? CatBoost trata los valores faltantes como una categoría adicional, lo que simplifica el proceso de pre‑procesamiento y evita la necesidad de imputación manual.

12. ¿Qué es el "batch_size" y cómo afecta el entrenamiento? El batch_size define cuántas filas se usan para calcular el gradiente en cada iteración. Un batch grande mejora la estabilidad del gradiente, mientras que uno pequeño acelera el entrenamiento.

13. ¿Es posible usar CatBoost en streaming o en tiempo real? Para inferencia en tiempo real, CatBoost genera modelos compiles que pueden integrarse en sistemas de producción. Sin embargo, el entrenamiento en streaming no está soportado; requiere un batch de datos completo.

14. ¿Qué herramientas existen para depurar modelos CatBoost? CatBoost ofrece el método get_leaf_index, get_feature_importance y plot_tree. Además, la librería SHAP se integra perfectamente para explicar las predicciones.

15. ¿Cómo se comparan los tiempos de entrenamiento? En benchmarks, CatBoost suele tardar entre 1.5x y 3x más que LightGBM en datasets de 10 millones de filas, pero supera a XGBoost en precisión en la mayoría de los casos.

16. ¿Qué papel juegan los hiperparámetros de "random_state"? El random_state garantiza reproducibilidad. En CatBoost, afecta la selección aleatoria de subconjuntos de datos para el orden de entrenamiento.

17. ¿Cuáles son las limitaciones de CatBoost?

• El tiempo de entrenamiento puede ser elevado en datasets extremadamente grandes.
• La falta de soporte nativo para GPU en versiones anteriores (aunque las nuevas versiones lo incluyen).
• Menos comunidad y recursos que LightGBM.

18. ¿Qué es el "feature interaction" y cómo se controla? CatBoost permite especificar la profundidad máxima de interacción de características. Esto limita el número de combinaciones de variables que el modelo puede usar, reduciendo la complejidad.

19. ¿Cómo se combina CatBoost con pipelines de sklearn? La clase CatBoostRegressor y CatBoostClassifier son compatibles con sklearn.pipeline y GridSearchCV, facilitando su integración en flujos de trabajo existentes.

20. ¿Qué buenas prácticas recomiendas para la producción?

• Guardar el modelo en formato cbm y usar catboost.Predictor para inferencia.
• Monitorear métricas de drift y reentrenar cada 30 días.
• Utilizar catboost.CatBoostClassifier con predict_proba para obtener probabilidades calibradas.

En conclusión, dominar CatBoost no solo implica conocer sus algoritmos, sino también comprender el contexto en el que cada característica ofrece ventaja. En el competitivo mundo del machine learning, la capacidad de responder a estas preguntas con claridad y ejemplos reales demostrará tu dominio técnico y tu aptitud para liderar proyectos de datos.