Predicting Machine Learning Pipeline Runtimes in the Context of Automated Machine Learning

Abstract

Automated machine learning (AutoML) seeks to automatically find so-called machine learning pipelines that maximize the prediction performance when being used to train a model on a given dataset. One of the main and yet open challenges in AutoMLis an effective use of computational resources: An AutoML process involves the evaluation of many candidate pipelines, which are costly but often ineffective because they are canceled due to a timeout. In this paper, we present an approach to predict the runtime of two-step machine learning pipelines with up to one pre-processor, which can be used to anticipate whether or not a pipeline will time out. Separate runtime models are trained offline for each algorithm that may be used in a pipeline, and an overall prediction is derived from these models. We empirically show that the approach increases successful evaluations made by an AutoML tool while preserving or even improving on the previously best solutions. © 1979-2012 IEEE.

El aprendizaje automático automatizado (AutoML) busca encontrar automáticamente los llamados canales de aprendizaje automático que maximizan el rendimiento de la predicción cuando se utilizan para entrenar un modelo en un conjunto de datos determinado. Uno de los desafíos principales y aún abiertos en AutoML es el uso efectivo de los recursos computacionales: un proceso de AutoML implica la evaluación de muchos canales candidatos, que son costosos pero a menudo ineficaces porque se cancelan debido a un tiempo de espera. En este artículo, presentamos un enfoque para predecir el tiempo de ejecución de canalizaciones de aprendizaje automático de dos pasos con hasta un preprocesador, que se puede utilizar para anticipar si una canalización expirará o no. Se entrenan modelos de tiempo de ejecución separados fuera de línea para cada algoritmo que se puede utilizar en una canalización, y a partir de estos modelos se deriva una predicción general. Mostramos empíricamente que el enfoque aumenta las evaluaciones exitosas realizadas por una herramienta AutoML al mismo tiempo que preserva o incluso mejora las mejores soluciones anteriores. © 1979-2012 IEEE.