Minimally overfitted learners: A general framework for ensemble learning

Abstract

La combinación de algoritmos de Machine Learning (ML) es una solución para construir predictores más fuertes que los obtenidos con un solo algoritmo. Sin embargo, algunas aproximaciones sugieren que la combinación de algoritmos inestables proporciona mejores resultados que la combinación de algoritmos estables. Por ejemplo, los ensamblajes generativos, basados en técnicas de remuestreo, han demostrado un alto rendimiento al fusionar la información de aprendices base inestables. Random Forest (RF) y Gradient Boosting (GB) son dos ejemplos bien conocidos, ambos combinan árboles de decisión (Decision Tree, DT) y proporcionan mejores predicciones que las obtenidas usando un solo árbol. Sin embargo, no se han logrado resultados tan exitosos ensamblando algoritmos estables. Este artículo introduce la noción de aprendiz limitado y un nuevo marco general de ensamblaje llamado Minimally Overfitted Ensemble (MOE), un enfoque de ensamblaje basado en remuestreo que construye aprendices ligeramente sobreajustados. El marco propuesto funciona bien con algoritmos base estables e inestables, gracias a un muestreo Weighted Random Bootstrap (WRAB) que proporciona la diversidad necesaria para los algoritmos base estables. Se lleva a cabo un análisis de hiperparámetros de la propuesta en datos artificiales. Además, se evalúa su rendimiento en conjuntos de datos reales frente a métodos de ML bien conocidos. Los resultados confirman que el marco MOE funciona con éxito utilizando algoritmos base estables e inestables, mejorando en la mayoría de los casos la capacidad predictiva de modelos de ML individuales y otros métodos de ensamblaje.