Seguimiento de audio mediante un índice de proximidad

Abstract

Audio Following (AF) is the process of mapping a musician's live performace, usually in realtime, to a base performace that is used as a reference. Said base performace is considere as a \correct performace" and thus, the live performace must align to it. Audio Following has lots of posible applications such as automatic accompaniment, visual and audio e_ects synchronization, teaching environments, among others. This project discusses the use of a proximity index to perform audio following. In particular, we use an approximate search index based in Locality Sensitive Hashing (LSH) in conjuction with an audio _ngerprint (AFP) that uses the signal's entropy as a feature for extraction. This schema was named Index Audio Following (IAF) by the author. To perform the audio following, _rst the audio _ngerprint of one performance is extracted. Then, it is indexed using the LSH index. This performance's AFP will be used as a reference to align the second performance. Afterwards, half-second sub_rms of a second performance are extracted and their correspondig positions in the reference AFP are searched using the LSH index. Thus, the proposed schema does not use a note-by-note approach due to the fact that the mapping is not performed againts the performance's score. Instead, the audio _ngerprint of a performance is used as a reference for the alignment. Performace validation is performed using a proposed novel method that consists in the creation of synthetic AFPs that are modi_ed in speci_c known points so that the expected following behavior is known beforehand. Satisfactory results were obtained with the proposed algorithm when a sequential search was used.

El Seguimiento de Audio (AF, del Ingles Audio Following) es un proceso mediante el cual se mapea la interpretación de una pieza musical realizada por un músico, usualmente en tiempo real, con una interpretación base utilizada como referencia. Esta interpretación base se considera como \bien interpretada" y es por ello que la interpretación en vivo deberá alinearse con ella. Este tipo de seguimiento tiene muchas aplicaciones como pueden ser el acompañamiento automatizado, la sincronización de efectos visuales o de audio y la enseñanza, entre otros. En este trabajo se propone el uso de un índice de proximidad para realizar el seguimiento. En particular se utiliza un índice aproximado basado en Hashing Sensible a la Localidad (LSH) en conjunto con una firma de audio (AFP, del Ingles Audio Fingerprint) que usa como característica de extracción la entropía de la señal. A este enfoque se le denominó Seguimiento de Audio mediante (IAF, del Inglés Index Audio Following) índices. Para efectuar el seguimiento se extrae la huella de audio de una interpretación que después es indexada usando el índice LSH, esta interpretación se utilizará como interpretación de referencia. Posteriormente, se toman subfirmas equivalentes a medio segundo de audio de una segunda interpretación y se busca su posición correspondiente en la firma de la interpretación de referencia utilizando el índice creado previamente. Así, el enfoque propuesto no utiliza un enfoque de nota a nota puesto que no se mapea a la partitura de la interpretación. En su lugar, se utiliza la firma de audio de una interpretación como referencia para el alineamiento. Para validar el desempeño se propone un esquema novedoso que consiste en la creación de huellas de audio sintéticas las cuales son modificadas en puntos específicos conocidos con lo cual se conoce de antemano el comportamiento esperado del seguimiento.