Fast and Informative Model Selection Using Learning Curve Cross-Validation

Abstract

Common cross-validation (CV) methods like k-fold cross-validation or Monte Carlo cross-validation estimate the predictive performance of a learner by repeatedly training it on a large portion of the given data and testing it on the remaining data. These techniques have two major drawbacks. First, they can be unnecessarily slow on large datasets. Second, beyond an estimation of the final performance, they give almost no insights into the learning process of the validated algorithm. In this article, we present a new approach for validation based on learning curves (LCCV). Instead of creating train-test splits with a large portion of training data, LCCV iteratively increases the number of instances used for training. In the context of model selection, it discards models that are unlikely to become competitive. In a series of experiments on 75 datasets, we could show that in over 90% of the cases using LCCV leads to the same performance as using 5/10-fold CV while substantially reducing the runtime (median runtime reductions of over 50%); the performance using LCCV never deviated from CV by more than 2.5%. We also compare it to a racing-based method and successive halving, a multi-armed bandit method. Additionally, it provides important insights, which for example allows assessing the benefits of acquiring more data. © 1979-2012 IEEE.

Los métodos comunes de validación cruzada (CV), como la validación cruzada k-fold o la validación cruzada de Monte Carlo, estiman el rendimiento predictivo de un alumno entrenándolo repetidamente con una gran parte de los datos proporcionados y probándolo con los datos restantes. Estas técnicas tienen dos inconvenientes importantes. En primer lugar, pueden ser innecesariamente lentos en grandes conjuntos de datos. En segundo lugar, más allá de una estimación del rendimiento final, casi no proporcionan información sobre el proceso de aprendizaje del algoritmo validado. En este artículo, presentamos un nuevo enfoque de validación basado en curvas de aprendizaje (LCCV). En lugar de crear divisiones de entrenamiento y prueba con una gran parte de datos de entrenamiento, LCCV aumenta iterativamente la cantidad de instancias utilizadas para el entrenamiento. En el contexto de la selección de modelos, descarta modelos que probablemente no lleguen a ser competitivos. En una serie de experimentos en 75 conjuntos de datos, pudimos demostrar que en más del 90 % de los casos, el uso de LCCV produce el mismo rendimiento que el uso de 5/10 veces CV, al tiempo que reduce sustancialmente el tiempo de ejecución (reducciones medias del tiempo de ejecución de más del 50 %); el rendimiento utilizando LCCV nunca se desvió del CV en más del 2,5%. También lo comparamos con un método basado en carreras y reducción a la mitad sucesiva, un método de bandido con múltiples brazos. Además, proporciona información importante que, por ejemplo, permite evaluar los beneficios de adquirir más datos. © 1979-2012 IEEE.