Determination of parameter influence on ANN training algorithms for time series forecasting

Abstract

Artificial neural networks (ANN) are an effective tool for learning the characteristics of a variety of problems such as: time series forecasting, stock market, speech recognition and robotics, among others. Recently, a number of works have been proposed to design automatically an ANN given a particular problem. However none of these works is centered in the training parameters. This work has two main objectives; the first objective is to determine the influence that the training parameters have on the performance of a trained ANN, this is, how smalls changes in the values for the training parameters affect the behavior and the performance of the ANN. The second objective is to model the expected performance of an ANN, as accurately as possible, in order to tackle the algorithm selection problem. Thanks to this modelling of the performance, new problems can be analyzed and obtain an approximation of the performance of the ANN over these problems without the need of training it over the problems. The parameter influence was developed for two algorithms, the QUICKPROP and RPROP training algorithms. Both algorithms are improved versions of the traditional Back propagation, and have more parameters than the later making more difficult the appropriate selection of values for the algorithm. With the methodology proposed, this work obtains the parameter influence as a list with the parameters sorted according to their influence on the performance of the ANN. The modelling presents how a real ANN and a modelled ANN had similar performance over a set of problems validating the modelling methodology.

Las redes neuronales artificiales (RNA) son herramientas del área de Inteligencia Artificial, las cuales están diseñadas para aprender las características de una gran variedad de problemas como por ejemplo: predicción de series de tiempo, predicción de la bolsa de valores, reconocimiento de audio y robótica. Recientemente, algunos trabajos han sido desarrollados enfocados a diseñar automáticamente una RNA. No obstante, ninguno de estos trabajos está enfocado en el rol que juegan los parámetros de los algoritmos de entrenamiento de una RNA. Este trabajo tiene dos objetivos principales, el primer objetivo es determinar la influencia que tienen los parámetros del algoritmo de entrenamiento de una RNA sobre el performance final de la red entrenada, en otras palabras, cómo pequeños cambios en los valores de los parámetros afecta tanto el comportamiento de la red como su performance. El segundo objetivo de este trabajo es modelar el performance de una RNA, lo más exacto posible, para resolver el problema de selección de algoritmos. El hecho de modelar el performance de una RNA permite obtener una aproximación de cómo se comportaría una RNA sobre una colección de problemas sin la necesidad de realmente entrenarla sobre dichos problemas. La influencia de los parámetros ha sido determinada para dos algoritmos de entrenamiento: QUICKPROP y RPROP. Ambos algoritmos representan una versión mejorada del tradicional algoritmo de propagación hacia atrás (Back propagation), en ambos casos los algoritmos cuentan con más parámetros que éste, haciendo más difícil la correcta selección de valores para los parámetros. La principal razón para modelar una RNA es para poder enfrentar el problema de selección de algoritmos. El modelado de una RNA arroja información acerca de cómo se comportar a una RNA sobre una colección de problemas en los cuales no se ha entrenado dicha RNA.