Beide Seiten der vorigen Revision
Vorhergehende Überarbeitung
Nächste Überarbeitung
|
Vorhergehende Überarbeitung
Nächste Überarbeitung
Beide Seiten der Revision
|
advanced2 [2021/06/08 08:51] martin [Visualierungen mit Sonic Visualiser und Vamp Plugins] |
advanced2 [2021/09/15 15:12] martin [Visualierungen mit Vamp Plugins] |
{{ :website-under-construction.png?100|}} | |
===== Modul Advanced Audio ===== | ===== Modul Advanced Audio ===== |
In diesem Modul sollen die Ansätze zur Analyse von Aufnahmen, wie sie im Modul Basics Audio weitergeführt und vertieft werden. Im Mittelpunkt stehen Möglichkeiten einer automatisierten Bestimmung von | In diesem Modul werden die Ansätze zur Analyse von Aufnahmen, wie sie im [[basics2|Modul Basics Audio]] eingeführt wurden, weitergeführt und vertieft. Im Mittelpunkt stehen Möglichkeiten einer automatisierten Bestimmung |
* klanglichen Eigenheiten | * von klanglichen Eigenheiten, |
* dem //tonalen Gehalt// bzw. Akkorden | * des tonalen Gehalts bzw. von Akkorden, |
* Onsets, Grundschlag (Beat) und Tempo | * von Onsets, Grundschlag (Beat) und Tempo |
von Aufnahmen mit Hilfe von Algorithmen der Musikinformatik (Music Information Retrieval). Diese Verfahren werden in drei Tutorials anhand von Musikbeispielen vorgestellt. Die Verfahren sind in den sog. //Vamp Plugins// integriert, welche mit dem //Sonic Visualiser// ausgeführt werden können; die Ergebnisse lassen sich ebenfalls im //Sonic Visualiser// grafisch darstellen. In den folgenden Abschnitten werden die Verfahren kurz erläutert.\\ | in Aufnahmen mit Hilfe von Algorithmen der Musikinformatik (Music Information Retrieval) und den sog. //Vamp Plugins//, die mit dem //Sonic Visualiser// ausgeführt werden können; die Ergebnisse lassen sich ebenfalls im //Sonic Visualiser// grafisch darstellen. Diese Verfahren werden in drei Tutorials anhand von Musikbeispielen vorgestellt: |
Zusätzlich wird in Möglichkeiten der Korpusanalyse, also der Untersuchung und des Vergleichs von mehreren Stücken, mit dem //Sonic Annotator// eingeführt. Zunächst jedoch einige Information zu den Hintegründen. | - [[tutorium_sound|Tutorial Vamp Plugins Part 1: Sound]] |
| - [[tutorium_chroma|Tutorial Vamp Plugins Part 2: Chroma]] |
| - [[tutorium_rhythm|Tutorial Vamp Plugins Part 3: Onsets, Beat und Tempo]] |
| |
| In einem weiteren [[sonic_annotator|Tutorial]] wird in Möglichkeiten der Korpusanalyse, also der Untersuchung und des Vergleichs von mehreren Stücken, mit dem //Sonic Annotator// eingeführt. |
| |
| Zunächst jedoch einige generelle Informationen zur Music Information Retrieval: |
| |
==== Music Information Retrieval: A Very Short Introduction ==== | ==== Music Information Retrieval: A Very Short Introduction ==== |
| |
Innerhalb der MIR unterscheidet man grob zwei Zugänge: | Innerhalb der MIR unterscheidet man grob zwei Zugänge: |
* Algorithmen, die auf Metadaten beruhen: also auf Angaben zum Musikstück, manuelle Annotationen, z.B. Tags aus Social-Networks, aber auch Kaufverhalten von Musik-Dateien. Auf dieser Grundlage wurden z.B. recht erfolgreiche Musikempfehlungssysteme entwickelt. | * Algorithmen, die auf Metadaten beruhen: also auf Angaben zum Musikstück, manuelle Annotationen, z.B. Tags aus Social-Networks, aber auch Datenspuren zum Nutzungs- und Kaufverhalten, wie sie in kommerziellen Musikplattformen gesammelt werden. Auf dieser Grundlage wurden z.B. recht erfolgreiche Musikempfehlungssysteme entwickelt. |
* inhalts-basierte Verfahren, die sog. //content-based MIR//, bei denen die Musik selbst analysiert wird, sei es in Form von Noten (sog. symbolische Daten), meistens jedoch in Form von digitalen Audio-Dateien. | * Inhalts-basierte Verfahren (//content-based MIR//), bei denen die Musik selbst analysiert wird, sei es in Form von Noten (sog. symbolische Daten), meistens jedoch in Form von digitalen Audio-Dateien. |
| |
In der //content-based MIR// werden mit Hilfe von Algorithmen bestimmte Merkmale, sog. Features, aus dem Audio-File extrahiert. Dabei wird zwischen zwischen //Low Level Features// und //High Level Features// unterschieden.\\ | In der //content-based MIR// werden mit Hilfe von Algorithmen bestimmte Merkmale, sog. Features, aus dem Audio-File extrahiert. Dabei wird zwischen zwischen //Low Level Features// und //High Level Features// unterschieden.\\ |
**Low Level Features** können direkt aus der Audio-Datei extrahiert werden, z.B. Werte zur Intensität oder der spektralen Energieverteilung oder die Häufigkeit der Nulldurchgänge der Schwingungskurve. | **Low Level Features** können direkt aus der Audio-Datei extrahiert werden, z.B. Werte zur Intensität oder der spektralen Energieverteilung oder die Häufigkeit der Nulldurchgänge der Schwingungskurve. |
* Input sind die 44.100 Zahlenwerte pro Sekunde eines digitalisierten Audio-Signals | * Input sind die 44.100 Zahlenwerte pro Sekunde eines digitalisierten Audio-Signals. |
* eine zeitliche Fensterfunktion fasst Zahlenwerte für die Extraktion oder Analyse zusammen. | * Eine zeitliche Fensterfunktion fasst Zahlenwerte für die Extraktion oder Analyse zusammen. |
* die meisten Verfahren basieren zudem auf einer Fouriertransformation (FFT), also auf einer Spektralanalyse. | * Die meisten Verfahren basieren zudem auf einer Fouriertransformation (STFT or FFT), also auf einer Spektralanalyse. |
* weitere Transformationen beziehen sich auf das Klangspektrum, das u.a. in MFCCs oder Tonhöhenklassen, sog. chroma, eingeteilt wird, oder sie richten sich auf die Identifikation von Tonanfängen (//onset detection//), woraus Beat, Tempo und Metrum abgeleitet werden. | * Weitere Transformationen beziehen sich auf das Klangspektrum, das u.a. in MFCCs (//Mel-frequency cepstrum coefficients//) oder Tonhöhenklassen, sog. chroma, eingeteilt wird, oder sie richten sich auf die Identifikation von Tonanfängen (//onset detection//), woraus Beat, Tempo und Metrum abgeleitet werden. |
| |
| |
Die //Low Level Features// dienen oftmals als Ausgangspunkt einer für die Errechnung von **High Level Features** transformiert, die in stärkerem Maße der menschlichen Wahrnehmung entsprechen; es handelt sich um Eigenschaften wie Tonhöhe, Akkorde, Metrum, Klangfarbe etc. | Die //Low Level Features// dienen oftmals als Ausgangspunkt für die Errechnung von **High Level Features**, die in stärkerem Maße der menschlichen Wahrnehmung entsprechen; es handelt sich um Eigenschaften wie Tonhöhe, Akkorde, Metrum, Klangfarbe etc. |
Allerdings besteht oft große Problem, die Lücke zwischen den recht abstrakten //Low Level Features//, also einer eher messtechnisch orientierten Beschreibung, und den //High Level Features//, also der Musikwahrnehmung, zu schließen. | Allerdings ist es manchmal problematisch, die Lücke zwischen den recht abstrakten //Low Level Features//, also einer eher messtechnisch orientierten Beschreibung, und den //High Level Features//, also der Musikwahrnehmung, zu schließen. |
| |
==== Visualierungen mit Sonic Visualiser und Vamp Plugins ==== | ==== Visualierungen mit Vamp Plugins ==== |
In den drei fortgeschrittenen Tutorials des Moduls //Audio Advanced// sollen die im [[tutorium_spektral|Tutorial: Spektraldarstellung mit dem Sonic Visualiser]] und [[tutorium_singing|Tutorial: Spektraldarstellung von Gesangsaufnahmen]] gewonnenen Einsichten ergänzt und weitergeführt werden. Dabei geht es um automatisierte Analyse- und Visualisierungsmöglichkeiten von Klang, Harmonik und Rhythmus, die mit Hilfe sog. //Vamp Plugins// aus den spektralen Daten der Audio-Datei errechnet werden. | In den drei fortgeschrittenen Tutorials des Moduls //Audio Advanced// werden die im [[tutorium_spektral|Tutorial: Spektraldarstellung mit dem Sonic Visualiser]] und [[tutorium_singing|Tutorial: Spektraldarstellung von Gesangsaufnahmen]] gewonnenen Einsichten ergänzt und weitergeführt. Dabei geht es um automatisierte Analyse- und Visualisierungsmöglichkeiten von Klang, Harmonik und Rhythmus, die mit Hilfe sog. //Vamp Plugins// aus den spektralen Daten der Audio-Datei errechnet und im //Sonic Visualiser// dargestellt werden können. Die drei Tutorials befinden sich auf eigenen Unterseiten: |
| - [[tutorium_sound|Tutorial Vamp Plugins Part 1: Sound]] |
| - [[tutorium_chroma|Tutorial Vamp Plugins Part 2: Chroma]] |
| - [[tutorium_rhythm|Tutorial Vamp Plugins Part 3: Onsets, Beat und Tempo]] |
| |
Die drei Tutorials befinden sich auf eigenen Unterseiten: | === Installation und Funktionsweise der Vamp Plugins === |
- [[tutorium_sound|Tutorial Vamp Plugins Part 1: Sound - die klangliche Gestaltung]] | Die [[https://www.vamp-plugins.org/|Vamp Plugins]] sind ein Audio Processing Plugin System, in dem MIR-Forscher*innen Plugin-Erweiterung für den //Sonic Visualiser// entwickeln und zur Verfügung stellen. Die einzelnen Plugins extrahieren jeweils unterschiedliche Information aus den Audiodateien und visualisieren diese in eine neue Visualisierungsschicht (//Layer//) im //Sonic Visualiser//. |
- [[tutorium_chroma|Tutorial Vamp Plugins Part 2: Tonalität und Harmonien]] | |
- [[tutorium_rhythm|Tutorial Vamp Plugins Part 3: Rhythmus, Tempo, Mikrotiming]] | |
| |
== Installation der Vamp Plugins == | Eine [[https://www.vamp-plugins.org/download.html|Liste]] der bislang entwickelten //Vamp Plugins// enthält kurze Beschreibungen und Links zu den entsprechenden Dokumentations- und Download-Seiten. Nach dem Download müssen die Plugin-Dateien in einen Ordner namens "Vamp Plugins" gelegt werden, der von Ihnen erstellt werden muss und sich in demselben Ordner befinden sollte wie der //Sonic Visualiser//-Programmordner, z.B. in //C\:Programme// oder //C\:Program files//.\\ |
Die [[https://www.vamp-plugins.org/|Vamp Plugins]] sind ein Audio Processing Plugin System, in dem MIR-Forscher*innen Plugin-Erweiterung für den Sonic Visualiser entwickeln und zur freien Verfügung stellen. Die einzelnen Plugins extrahieren jeweils unterschiedliche Information aus den Audiodateien und visualisieren diese in eine neue Visualisierungsschicht (//Layer//) im Sonic Visualiser. | |
| |
Eine [[https://www.vamp-plugins.org/download.html|Liste]] der bislang entwickelten Vamp Plugins enthält kurze Beschreibungen und Links zu den entsprechenden Dokumentations- und Download-Seiten. Nach dem Download müssen die Plugin-Dateien in einen Ordner namens "Vamp Plugins" gelegt werden, der sich in demselben Ordner befindet wie der //Sonic Visualiser//-Programmordner, z.B. in //C\:Programme// oder //C\:Program files//.\\ | |
Anschließend sind die Plugins über den Menupunkt //Transform// im Sonic Visualiser abrufbar und lassen sich auf die geöffnete Audiodatei anwenden. | |
| |
Für die Tutorials werden folgende Plugin-Pakete benötigt: | Für die Tutorials werden folgende Plugin-Pakete benötigt: |
* [[http://www.isophonics.net/nnls-chroma|NNLS Chroma und Chordino]] (alternativ: [[https://code.soundsoftware.ac.uk/projects/nnls-chroma/files|hier]]) | * [[http://www.isophonics.net/nnls-chroma|NNLS Chroma und Chordino]] (alternativ: [[https://code.soundsoftware.ac.uk/projects/nnls-chroma/files|hier]]) |
| |
| Tipp: Sie können sich auch ein umfangreiches Vamp-Plugins-Paket mit einem eigenen Installationsprogramm [[https://vamp-plugins.org/pack.html|hier herunterladen]]. Wählen Sie diese Option dann, wenn der manuelle Download nicht funktioniert (was manchmal bei Mac-Rechnern der Fall ist). |
| |
| Nach dem Neustart des //Sonic Visualiser// sind die Plugins dort über den Menupunkt //Transform// abrufbar und lassen sich auf die geöffnete Audiodatei anwenden. Die einzelnen //Vamp Plugins// sind nach Kategorien, Namen und Entwickler*innen ('Maker') gegliedert; die jeweils zuletzt geöffneten Plugins werden als //Recent Transforms// aufgelistet.\\ |
| Bei den meisten Vamp Plugins öffnet sich zunächst ein Fenster, in dem weitere Feineinstellungen vorgenommen werden können. Diese Feineinstellungen sind auf den Entwickler*innen-Seiten dokumentiert und werden zum Teil in den jeweiligen Tutorials erläutert. Nach der Ausführung werden die Ergebnisse als neues //Layer// angezeigt, bei dem sich auf der Karteikarte (rechts oben) die Visualisierungseinstellungen anpassen und verändern lassen. Das Layer kann über den //Show//-Button (rechts unten) aus- und angeschaltet und mit //Strg-D// gelöscht werden. |
| |
==== Korpusstudien mit dem Sonic Annotator ==== | ==== Korpusstudien mit dem Sonic Annotator ==== |
| |
* [[sonic_annotator|Tutorial]] zu Korpusstudien mit dem Sonic Annotator | Mit dem [[https://www.vamp-plugins.org/sonic-annotator/|Sonic Annotator]] können bequem auf einen Schlag mehrere (Hunderte!) von Audio-Dateien mit Vamp Plugins ausgewertet. Das Programm läuft ohne Installation. Die Bedienung geht über ein Befehlsfenster (Power Shell), in dem Befehle eingetippt werden müssen. |
| |
==== Aufgaben ==== | [[sonic_annotator|Hier]] geht es zum Tutorial für Korpusstudien mit dem Sonic Annotator. |
| |
==== Vertiefungen ==== | ==== Vertiefungen ==== |
| |
FMP-Notebooks | Eine umfassende und programmatische Übersicht über die Forschungsziele und -ansätze des Music Information Retrieval bietet die [[http://mires.eecs.qmul.ac.uk/files/MIRES_Roadmap_ver_1.0.0.pdf|Roadmap for Music Information ReSearch]] des MIReS Consortiums, einem Verbund verschiedener europäischer Forschungseinrichtungen, aus dem Jahre 2013. |
| |
Casey | |
| |
Roadmap MIR | Praktische anwendungsbezogene Einführungen in zahlreiche Bereiche der Music Information Retrieval bieten die [[https://www.audiolabs-erlangen.de/resources/MIR/FMP/C0/C0.html|FMP Notebooks |
| Python Notebooks for Fundamentals of Music Processing]] der Audio Labs Erlangen. |
| |
| |