Cloud-based implementation of distributed machine learning algorithms for time series forecasting

Abstract

Time series forecasting is essential to decision-making in crucial domains and machine learning algorithms have consolidated as a predominant approach to it. When developing machine-learning solutions, the capability to produce fast results is crucial to progressively refine a model within adequate time frames. Having to deal with Big Data makes this situation more challenging as massive data demands equally massive computing power. In this context, cloud computing has been globally used to accelerate the development of forecasting solutions based on machine learning. The aim of this Thesis is to achieve state-of-the-art results in time series forecasting (in terms of accuracy) with remarkably increased speed in model training by leveraging proven machine learning algorithms and advanced cloud computing resources. The main contributions of this Thesis are as follows. (1) A cloud-based implementation of the three machine learning architectures that account for most of the recent international research on time series forecasting. (2) The first TPU-based implementation of a canonical Transformer architecture for time series forecasting reported in the literature. (3) This architecture reports the lowest training times found in the literature on two predominant, standardized datasets for global, multi-horizon time series forecasting, while achieving good predictive performance on those datasets when compared to state-of the- art models.

El pronóstico de series de tiempo es esencial para importantes áreas de conocimiento y los algoritmos de aprendizaje automático se han consolidado como un método predominante para realizarlo. Al desarrollar soluciones de aprendizaje automático, la capacidad para producir resultados rápidos es crucial para el refinamiento progresivo de modelos dentro de horizontes de tiempo adecuados. El trabajo con datos masivos complica aún más esta situación ya que exige el uso de recursos de cómputo igualmente masivos. En este contexto, la computación en la nube ha sido utilizada globalmente para acelerar el desarrollo de soluciones de pronóstico basadas en aprendizaje automático. El objetivo de esta Tesis es lograr resultados al nivel del estado del arte en pronóstico de series de tiempo (en términos de exactitud) con gran velocidad en el entrenamiento de modelos mediante el uso de algoritmos de aprendizaje automático comprobados y avanzados recursos de computación en la nube. Las principales contribuciones de esta Tesis son tres. (1) La implementación en la nube de las tres arquitecturas de aprendizaje automático más utilizadas recientemente en la investigación internacional de pronóstico de series de tiempo. (2) La primera implementación basada en Unidad de Procesamiento Tensorial de una arquitectura Transformer canónica para pronóstico de series de tiempo reportada en la literatura. (3) Esta arquitectura reporta los tiempos de entrenamiento más bajos en la literatura para dos conjuntos de datos que son utilizados de manera predominante para el pronóstico global y multi-horizonte de series de tiempo. Simultáneamente, esta arquitectura logra un buen desempeño predictivo en comparación con el estado del arte.