In diesem Modul werden die Ansätze zur Analyse von Aufnahmen, wie sie im Modul Basics Audio eingeführt wurden, weitergeführt und vertieft. Im Mittelpunkt stehen Möglichkeiten einer automatisierten Bestimmung
in Aufnahmen mit Hilfe von Algorithmen der Musikinformatik (Music Information Retrieval) und den sog. Vamp Plugins, die mit dem Sonic Visualiser ausgeführt werden können; die Ergebnisse lassen sich ebenfalls im Sonic Visualiser grafisch darstellen. Diese Verfahren werden in drei Tutorials anhand von Musikbeispielen vorgestellt:
In einem weiteren Tutorial wird in Möglichkeiten der Korpusanalyse, also der Untersuchung und des Vergleichs von mehreren Stücken, mit dem Sonic Annotator eingeführt.
Zunächst jedoch einige generelle Informationen zur Music Information Retrieval:
Vor dem Hintergrund der Digitalisierung von Musikaufnahmen seit den 1980er Jahren, der Entwicklung von komprimierten Datenformaten wie MP3 in den 1990er Jahren und der hierdurch erleichterten massenhaften Verbreitung von Musidateien im Internet entstand um die Jahrtausendwende ein neuer Bereich der Musikinformatik, die sog. Music Information Retrieval (MIR). In der Music Information Retrieval werden Algorithmen, Programme und Tools für die automatische Suche nach bestimmten Informationen über Musik in den weltweit wachsenden Musikdatenbänken entwickelt. MIR-Forschung ist in der Regel anwendungsorientiert (Orientierung an use cases) und wird neben Forschungseinrichtungen auch von Software-Entwicklern und Musikinformatikern in kommerziellen Unternehmen (Apple, Google, Spotify etc.) vorangetrieben.
Im Jahre 2000 wurde die International Society for Music Information Retrieval gegründet (ISMIR) und in Pymouth, USA, die erste ISMIR-Konferenz veranstaltet. Seither gibt es jährliche Konferenzen mit Online-Proceedings. Seit 2005 gibt es bei den ISMIR-Konferenzen zudem Wettbewerbe mit speziellen Aufgaben für neu zu entwickelnde Algorithmen (Music Information Retrieval Evaluation eXchange (MIREX), u.a. für Transkriptions-Algorithmen. Heute gibt es weltweit eine Reihe von MIR-Forschungszentren, u.a. (vgl. Projekte).
Innerhalb der MIR unterscheidet man grob zwei Zugänge:
In der content-based MIR werden mit Hilfe von Algorithmen bestimmte Merkmale, sog. Features, aus dem Audio-File extrahiert. Dabei wird zwischen zwischen Low Level Features und High Level Features unterschieden.
Low Level Features können direkt aus der Audio-Datei extrahiert werden, z.B. Werte zur Intensität oder der spektralen Energieverteilung oder die Häufigkeit der Nulldurchgänge der Schwingungskurve.
Die Low Level Features dienen oftmals als Ausgangspunkt für die Errechnung von High Level Features, die in stärkerem Maße der menschlichen Wahrnehmung entsprechen; es handelt sich um Eigenschaften wie Tonhöhe, Akkorde, Metrum, Klangfarbe etc. Allerdings ist es manchmal problematisch, die Lücke zwischen den recht abstrakten Low Level Features, also einer eher messtechnisch orientierten Beschreibung, und den High Level Features, also der Musikwahrnehmung, zu schließen.
In den drei fortgeschrittenen Tutorials des Moduls Audio Advanced werden die im Tutorial: Spektraldarstellung mit dem Sonic Visualiser und Tutorial: Spektraldarstellung von Gesangsaufnahmen gewonnenen Einsichten ergänzt und weitergeführt. Dabei geht es um automatisierte Analyse- und Visualisierungsmöglichkeiten von Klang, Harmonik und Rhythmus, die mit Hilfe sog. Vamp Plugins aus den spektralen Daten der Audio-Datei errechnet und im Sonic Visualiser dargestellt werden können. Die drei Tutorials befinden sich auf eigenen Unterseiten:
Die Vamp Plugins sind ein Audio Processing Plugin System, in dem MIR-Forscher*innen Plugin-Erweiterung für den Sonic Visualiser entwickeln und zur Verfügung stellen. Die einzelnen Plugins extrahieren jeweils unterschiedliche Information aus den Audiodateien und visualisieren diese in eine neue Visualisierungsschicht (Layer) im Sonic Visualiser.
Eine Liste der bislang entwickelten Vamp Plugins enthält kurze Beschreibungen und Links zu den entsprechenden Dokumentations- und Download-Seiten. Nach dem Download müssen die Plugin-Dateien in einen Ordner namens „Vamp Plugins“ gelegt werden, der von Ihnen erstellt werden muss und sich in demselben Ordner befinden sollte wie der Sonic Visualiser-Programmordner, z.B. in C\:Programme oder C\:Program files.
Für die Tutorials werden folgende Plugin-Pakete benötigt:
Tipp: Sie können sich auch ein umfangreiches Vamp-Plugins-Paket mit einem eigenen Installationsprogramm hier herunterladen. Wählen Sie diese Option dann, wenn der manuelle Download nicht funktioniert (was manchmal bei Mac-Rechnern der Fall ist).
Nach dem Neustart des Sonic Visualiser sind die Plugins dort über den Menupunkt Transform abrufbar und lassen sich auf die geöffnete Audiodatei anwenden. Die einzelnen Vamp Plugins sind nach Kategorien, Namen und Entwickler*innen ('Maker') gegliedert; die jeweils zuletzt geöffneten Plugins werden als Recent Transforms aufgelistet.
Bei den meisten Vamp Plugins öffnet sich zunächst ein Fenster, in dem weitere Feineinstellungen vorgenommen werden können. Diese Feineinstellungen sind auf den Entwickler*innen-Seiten dokumentiert und werden zum Teil in den jeweiligen Tutorials erläutert. Nach der Ausführung werden die Ergebnisse als neues Layer angezeigt, bei dem sich auf der Karteikarte (rechts oben) die Visualisierungseinstellungen anpassen und verändern lassen. Das Layer kann über den Show-Button (rechts unten) aus- und angeschaltet und mit Strg-D gelöscht werden.
Mit dem Sonic Annotator können bequem auf einen Schlag mehrere (Hunderte!) von Audio-Dateien mit Vamp Plugins ausgewertet. Das Programm läuft ohne Installation. Die Bedienung geht über ein Befehlsfenster (Power Shell), in dem Befehle eingetippt werden müssen.
Hier geht es zum Tutorial für Korpusstudien mit dem Sonic Annotator.
Eine umfassende und programmatische Übersicht über die Forschungsziele und -ansätze des Music Information Retrieval bietet die Roadmap for Music Information ReSearch des MIReS Consortiums, einem Verbund verschiedener europäischer Forschungseinrichtungen, aus dem Jahre 2013.
Praktische anwendungsbezogene Einführungen in zahlreiche Bereiche der Music Information Retrieval bieten die FMP Notebooks Python Notebooks for Fundamentals of Music Processing der Audio Labs Erlangen.