Estimación y predicción del estado emocional basado en señales de audio

Abstract

In this thesis work, a methodology is presented to predict the emotional state of human beings based on voice signals emitted during a conversation. The exposed methodology is divided into two scenarios i.e. classi_cation and prediction of emotional state. In the classi_cation scenario, the characterization method developed starts with a voice signal, to which di_erent characteristics are extracted to obtain four bi-dimensional vectors. After this, a two-stage classi_cation scheme is used. In the _rst stage for each vector, the best zones that represent each emotional state are searched by applying a kernel to the feature vectors. In the second stage, several standard classi_ers are used to evaluate the emotional zones previously found. This strategy manifests itself with good performance in all the classi _ers, except in the case of the Support Vector Machines, with a higher classi_cation rate (91-100 %) with respect to several works in the literature. In the second scenario, the essential thing is to give an estimate of the emotional state at any moment, in addition to giving a prediction of the emotions that will be dominant t - steps ahead in time. To solve these activities in this thesis work, Partially Observable Markov Decision Processes were implemented. In these decision processes, by obtaining the set of predominant policies and actions in a while, a function is created internally that has the properties of being piecewise convex linear. In order to predict which emotion or emotions will be dominant, it is necessary to determine the duration of the policies on the previous convex linear function. At present there are several algorithms that are responsible for determining these regions, which are divided into exact and approximate.

En este trabajo de tesis se presenta una metodología para predecir el estado emocional de los seres humanos basados en señales de voz emitidas durante una conversación. La metodología expuesta se divide en dos escenarios i.e. clasificación y predicción del estado emocional. En el escenario de la clasificación, el método de caracterización desarrollado comienza con una señal de voz, a la cual son extraídas diferentes características para obtener cuatro vectores bi-dimensionales. Después de esto, se utiliza un esquema de clasificación de dos etapas. En la primera etapa por cada vector se buscan las mejores zonas que representan a cada estado emocional, aplicando un kernel a los vectores de características. En la segunda etapa se utilizan varios clasificadores estándar para evaluar las zonas emocionales antes encontradas. _Esta estrategia se manifiesta con buen desempeño en todos los clasificadores, salvo en el caso de las Maquinas de Soporte Vectorial, con una tasa de clasificación superior (91-100 %) respecto a varios trabajos en la literatura. En el segundo escenario lo esencial es dar una estimación del estado emocional en cualquier instante, además de dar una predicción de las emociones que serán dominantes t - pasos adelante en el tiempo. Para resolver estas actividades en este trabajo de tesis se implementaron los Procesos de Decisión Parcialmente Observables de Markov. En estos procesos de decisión al obtener el conjunto de políticas y acciones predominantes en un tiempo se crea internamente una función que tiene las propiedades de ser lineal y convexa a pedazos. Para poder predecir que emoción o emociones serán dominantes, es necesario determinar la duración de las políticas sobre la función lineal convexa anterior. En la actualidad existen varios algoritmos que se encargan de determinar _estas regiones, los cuales se dividen en exactos y aproximados.