En este módulo se continúan y profundizan los planteamientos de análisis de grabaciones introducidos en el módulo Basics Audio. La atención se centra en las posibilidades de una determinación automatizada

• de las características tonales,
• el contenido tonal o los acordes,
• de las ondas, el ritmo básico y el tempo

en las grabaciones con la ayuda de algoritmos de recuperación de información musical y los llamados Vamp Plugins, que pueden ejecutarse con Sonic Visualiser; los resultados también pueden mostrarse gráficamente en este programa. Estos procedimientos se presentan a continuación en tres tutoriales con ejemplos musicales:

1. Tutorial Vamp Plugins Parte 1: Sound
2. Tutorial Vamp Plugins Parte 2: Chroma
3. Tutorial Vamp Plugins Part 3: Onsets, Beat and Tempo

Otro tutorial introduce las posibilidades de análisis del corpus, es decir, el examen y la comparación de varias piezas, con Sonic Annotator.

En primer lugar es necesario presentar información general sobre la recuperación de información musical:

Con el trasfondo de la digitalización de las grabaciones musicales desde la década de 1980, el desarrollo de formatos de datos comprimidos como el MP3 y la consiguiente facilitación de la distribución masiva de archivos musicales en Internet en la década de 1990, surge un nuevo campo de la informática musical en torno al cambio de milenio, el llamado Music Information Retrieval (MIR). En el MIR se desarrollan algoritmos, programas y herramientas para la búsqueda automática de información específica sobre música con bases de datos musicales, que crecen a nivel mundial. La investigación MIR suele estar orientada a la aplicación (orientación hacia casos de uso) y está impulsada no sólo por instituciones de investigación, sino también por desarrolladores de software e informáticos musicales de empresas comerciales (Apple, Google, Spotify, etc.).

En el año 2000 se fundó la International Society for Music Information Retrieval (ISMIR) y se celebró la primera conferencia de ISMIR en Pymouth, Estados Unidos. Desde entonces, se celebran conferencias anuales con Online-Proceedings. Desde 2005, las conferencias del ISMIR también incluyen concursos con tareas especiales para el desarrollo de nuevos algoritmos (Music Information Retrieval Evaluation eXchange (MIREX), incluidos los algoritmos de transcripción. Hoy en día existen varios centros de investigación MIR en todo el mundo, entre otros (véase proyectos).

Dentro del MIR, se distinguen a grandes rasgos dos enfoques:

• Algoritmos basados en metadatos: es decir, en información sobre la pieza musical, anotaciones manuales, por ejemplo, etiquetas de las redes sociales, pero también rastros de datos sobre el uso y el comportamiento de compra, tal como se recogen en las plataformas musicales comerciales. Sobre esta base se han desarrollado, por ejemplo, sistemas de recomendación musical bastante exitosos.
• Métodos basados en el contenido (content-based MIR), en los que se analiza la propia música, ya sea en forma de notas (los llamados datos simbólicos), pero sobre todo en forma de archivos de audio digitales.

En el MIR basado en el contenido, se utilizan algoritmos para extraer determinadas características del archivo de audio. Se distingue entre Low Level Features y High Level Features. Low Level Features pueden extraerse directamente del archivo de audio, por ejemplo, los valores de la intensidad o la distribución de energía espectral o la frecuencia de los cruces por cero de la curva de vibración.

• La entrada (imput) son los 44.100 valores numéricos por segundo de una señal de audio digitalizada.
• Una función de ventana temporal resume los valores numéricos para su extracción o análisis.
• La mayoría de los métodos se basan también en una transformada de Fourier (STFT o FFT), es decir, en un análisis espectral.
• Otras transformaciones se refieren al espectro sonoro, que se divide en coeficientes de cepas de frecuencias melódicas MFCC (Mel-frequency cepstrum coefficients) o clases de tono, denominadas croma, o se dirigen a la identificación de los inicios de los tonos (onset detection), de los que se derivan el ritmo, el tempo y la métrica.

Las características de bajo nivel o Low Level Features suelen servir de punto de partida para el cálculo de las características de alto nivel (High Level Features), que corresponden más a la percepción humana; se trata de características como el tono, los acordes, la métrica, el timbre, etc. Sin embargo, a veces resulta problemático tender un puente entre las abstractas Características de Nivel Bajo, es decir, una descripción más orientada a la medición, y las Características de Nivel Alto, es decir, a la percepción de la música.

En los tres tutoriales avanzados del módulo Audio Avanzado se complementan y continúan los conocimientos adquiridos en el Tutorial: Visualización espectral con el Sonic Visualiser y el Tutorial: Visualización espectral de grabaciones vocales. Éstos se ocupan de las posibilidades de análisis y visualización automatizados del sonido, la armonía y el ritmo, que pueden calcularse a partir de los datos espectrales del archivo de audio con la ayuda de los llamados Vamp Plugins y mostrarse en el programa Sonic Visualiser. Los tres tutoriales se encuentran en sus propias subpáginas:

1. Tutorial Vamp Plugins Parte 1: Sound
2. Tutorial Vamp Plugins Parte 2: Chroma
3. Tutorial Vamp Plugins Part 3: Onsets, Beat y Tempo

Los Vamp Plugins son un sistema de plugins de procesamiento de audio en el que los investigadores del MIR desarrollan y ponen a disposición extensiones de plugins para el programa Sonic Visualiser. Cada uno de los plugins extrae información diferente de los archivos de audio y los visualiza en una nueva capa de visualización (Layer).

Uno Lista de los Vamp Plugins desarrollados hasta ahora contiene breves descripciones y enlaces a las correspondientes páginas de documentación y descarga. Después de la descarga, los archivos de los plugins deben ser colocados en una carpeta llamada „Vamp Plugins“, que debe ser creada por usted y debe estar en la misma carpeta que la carpeta del programa Sonic Visualiser, por ejemplo en C\:Archivos de programa o C\:Archivos de programa.

Los siguientes paquetes de plug-in son necesarios para los tutoriales:

• Queen Mary Plugin Set
• Vamp Aubio Plugins
• NLS Chroma y Chordino (alternativamente otro chroma plugin: aquí)

Consejo: También puedes descargar un paquete completo de Vamp plugins con su propio instalador aquí. Seleccione esta opción si la descarga manual no funciona (lo que ocurre a veces con los ordenadores Mac).

Después de reiniciar Sonic Visualiser, los plug-ins están disponibles allí a través de la opción de menú Transformación y pueden ser aplicados al archivo de audio abierto. Los plugins individuales Vamp Plugins están ordenados por categoría, nombre y desarrollador ('Maker'); los plugins abiertos más recientemente aparecen como Recent Transforms . Para la mayoría de los Vamp plug-ins, se abre primero una ventana en la que se pueden hacer más ajustes. Estos ajustes finos están documentados en las páginas de los desarrolladores y se explican en parte en los respectivos tutoriales. Tras la ejecución, los resultados se muestran como un nuevo Layer en el que se pueden ajustar y modificar los parámetros de visualización en la pestaña (arriba a la derecha). La capa puede apagarse y encenderse con el botón Show (abajo a la derecha) y borrarse con Ctrl-D.

Con Sonic Annotator puedes evaluar fácilmente varios (¡cientos!) archivos de audio de Vamp plug-ins de una sola vez. El programa funciona sin instalación. Se maneja a través de una ventana de comandos (power shell) en la que hay que teclear los comandos.

Aquí se dirige al tutorial para el estudio de corpus con Sonic Annotator.

El Roadmap for Music Information ReSearch del Consorcio MIReS, una asociación de varias instituciones de investigación europeas, ofrece una visión general y programática de los objetivos y enfoques de investigación de la recuperación de información musical desde 2013.

Los cuadernos de notas de los laboratorios de audio FMP Notebooks Python Notebooks for Fundamentals of Music Processing ofrecen introducciones prácticas y orientadas a la aplicación en numerosas áreas de la recuperación de información musical.