advanced2

Unterschiede

Hier werden die Unterschiede zwischen zwei Versionen angezeigt.

Link zu dieser Vergleichsansicht

Beide Seiten der vorigen Revision Vorhergehende Überarbeitung
Nächste Überarbeitung
Vorhergehende Überarbeitung
advanced2 [2021/06/08 08:53]
martin [Modul Advanced Audio]
advanced2 [2022/04/29 05:32] (aktuell)
martin [Visualierungen mit Vamp Plugins]
Zeile 1: Zeile 1:
-{{ :website-under-construction.png?100|}} 
 ===== Modul Advanced Audio ===== ===== Modul Advanced Audio =====
-In diesem Modul sollen die Ansätze zur Analyse von Aufnahmen, wie sie im Modul Basics Audio weitergeführt und vertieft werden. Im Mittelpunkt stehen Möglichkeiten einer automatisierten Bestimmung  +In diesem Modul werden die Ansätze zur Analyse von Aufnahmen, wie sie im [[basics2|Modul Basics Audio]] eingeführt wurden, weitergeführt und vertieft. Im Mittelpunkt stehen Möglichkeiten einer automatisierten Bestimmung  
-  * von klanglichen Eigenheiten +  * von klanglichen Eigenheiten, 
-  * des tonalen Gehalts bzw. von Akkorden+  * des tonalen Gehalts bzw. von Akkorden,
   * von Onsets, Grundschlag (Beat) und Tempo    * von Onsets, Grundschlag (Beat) und Tempo 
-in Aufnahmen mit Hilfe von Algorithmen der Musikinformatik (Music Information Retrieval). Diese Verfahren werden in drei Tutorials anhand von Musikbeispielen vorgestellt. Die Verfahren sind in den sog. //Vamp Plugins// integriertwelche mit dem //Sonic Visualiser// ausgeführt werden können; die Ergebnisse lassen sich ebenfalls im //Sonic Visualiser// grafisch darstellen. In den folgenden Abschnitten werden die Verfahren kurz erläutert.\\  +in Aufnahmen mit Hilfe von Algorithmen der Musikinformatik (Music Information Retrieval) und den sog. //Vamp Plugins//, die mit dem //Sonic Visualiser// ausgeführt werden können; die Ergebnisse lassen sich ebenfalls im //Sonic Visualiser// grafisch darstellen. Diese Verfahren werden in drei Tutorials anhand von Musikbeispielen vorgestellt:  
-Zusätzlich wird in Möglichkeiten der Korpusanalyse, also der Untersuchung und des Vergleichs von mehreren Stücken, mit dem //Sonic Annotator// eingeführt. Zunächst jedoch einige Information zu den Hintegründen. +    - [[tutorium_sound|Tutorial Vamp Plugins Part 1: Sound]] 
 +    - [[tutorium_chroma|Tutorial Vamp Plugins Part 2: Chroma]] 
 +    - [[tutorium_rhythm|Tutorial Vamp Plugins Part 3: Onsets, Beat und Tempo]] 
 +  
 +In einem weiteren [[sonic_annotator|Tutorial]] wird in Möglichkeiten der Korpusanalyse, also der Untersuchung und des Vergleichs von mehreren Stücken, mit dem //Sonic Annotator// eingeführt.   
 + 
 +Zunächst jedoch einige generelle Informationen zur Music Information Retrieval: 
  
 ==== Music Information Retrieval: A Very Short Introduction  ==== ==== Music Information Retrieval: A Very Short Introduction  ====
  
-Vor dem Hintergrund der Digitalisierung von Musikaufnahmen seit den 1980er Jahren, der Entwicklung von komprimierten Datenformaten wie MP3 in den 1990er Jahren und der hierdurch erleichterten massenhaften Verbreitung von Musidateien im Internet entstand um die Jahrtausendwende ein neuer Bereich der Musikinformatik, die sog. //Music Information retrieval// (MIR). In der //Music Information Retrieval// werden Algorithmen, Programme und Tools für die automatische Suche nach bestimmten Informationen über Musik in den weltweit wachsenden Musikdatenbänken entwickelt. MIR-Forschung ist in der Regel anwendungsorientiert (Orientierung an //use cases//) und wird neben Forschungseinrichtungen auch von Software-Entwicklern und Musikinformatikern in kommerziellen Unternehmen (Apple, Google, Spotify etc.) vorangetrieben. +Vor dem Hintergrund der Digitalisierung von Musikaufnahmen seit den 1980er Jahren, der Entwicklung von komprimierten Datenformaten wie MP3 in den 1990er Jahren und der hierdurch erleichterten massenhaften Verbreitung von Musidateien im Internet entstand um die Jahrtausendwende ein neuer Bereich der Musikinformatik, die sog. //Music Information Retrieval// (MIR). In der //Music Information Retrieval// werden Algorithmen, Programme und Tools für die automatische Suche nach bestimmten Informationen über Musik in den weltweit wachsenden Musikdatenbänken entwickelt. MIR-Forschung ist in der Regel anwendungsorientiert (Orientierung an //use cases//) und wird neben Forschungseinrichtungen auch von Software-Entwicklern und Musikinformatikern in kommerziellen Unternehmen (Apple, Google, Spotify etc.) vorangetrieben. 
  
 Im Jahre 2000 wurde die //International Society for Music Information Retrieval// gegründet (ISMIR) und in Pymouth, USA, die erste ISMIR-Konferenz veranstaltet. Seither gibt es jährliche Konferenzen mit [[https://www.ismir.net/conferences|Online-Proceedings]]. Seit 2005 gibt es bei den ISMIR-Konferenzen zudem Wettbewerbe mit speziellen Aufgaben für neu zu entwickelnde Algorithmen (Music Information Retrieval Evaluation eXchange ([[https://www.music-ir.org/mirex/wiki/MIREX_HOME|MIREX]]), u.a. für Transkriptions-Algorithmen. Heute gibt es weltweit eine Reihe von MIR-Forschungszentren, u.a. (vgl. [[projekte|Projekte]]).  Im Jahre 2000 wurde die //International Society for Music Information Retrieval// gegründet (ISMIR) und in Pymouth, USA, die erste ISMIR-Konferenz veranstaltet. Seither gibt es jährliche Konferenzen mit [[https://www.ismir.net/conferences|Online-Proceedings]]. Seit 2005 gibt es bei den ISMIR-Konferenzen zudem Wettbewerbe mit speziellen Aufgaben für neu zu entwickelnde Algorithmen (Music Information Retrieval Evaluation eXchange ([[https://www.music-ir.org/mirex/wiki/MIREX_HOME|MIREX]]), u.a. für Transkriptions-Algorithmen. Heute gibt es weltweit eine Reihe von MIR-Forschungszentren, u.a. (vgl. [[projekte|Projekte]]). 
  
 Innerhalb der MIR unterscheidet man grob zwei Zugänge:  Innerhalb der MIR unterscheidet man grob zwei Zugänge: 
-  * Algorithmen, die auf Metadaten beruhen: also auf Angaben zum Musikstück, manuelle Annotationen, z.B. Tags aus Social-Networks, aber auch Kaufverhalten von Musik-Dateien. Auf dieser Grundlage wurden z.B. recht erfolgreiche Musikempfehlungssysteme entwickelt.  +  * Algorithmen, die auf Metadaten beruhen: also auf Angaben zum Musikstück, manuelle Annotationen, z.B. Tags aus Social-Networks, aber auch Datenspuren zum Nutzungs- und Kaufverhalten, wie sie in kommerziellen Musikplattformen gesammelt werden. Auf dieser Grundlage wurden z.B. recht erfolgreiche Musikempfehlungssysteme entwickelt.  
-  * inhalts-basierte Verfahren, die sog. //content-based MIR//, bei denen die Musik selbst analysiert wird, sei es in Form von Noten (sog. symbolische Daten), meistens jedoch in Form von digitalen Audio-Dateien. +  * Inhalts-basierte Verfahren (//content-based MIR//), bei denen die Musik selbst analysiert wird, sei es in Form von Noten (sog. symbolische Daten), meistens jedoch in Form von digitalen Audio-Dateien. 
  
 In der //content-based MIR// werden mit Hilfe von Algorithmen bestimmte Merkmale, sog. Features, aus dem Audio-File extrahiert. Dabei wird zwischen zwischen //Low Level Features// und //High Level Features// unterschieden.\\   In der //content-based MIR// werden mit Hilfe von Algorithmen bestimmte Merkmale, sog. Features, aus dem Audio-File extrahiert. Dabei wird zwischen zwischen //Low Level Features// und //High Level Features// unterschieden.\\  
 **Low Level Features** können direkt aus der Audio-Datei extrahiert werden, z.B. Werte zur Intensität oder der spektralen Energieverteilung oder die Häufigkeit der Nulldurchgänge der Schwingungskurve.  **Low Level Features** können direkt aus der Audio-Datei extrahiert werden, z.B. Werte zur Intensität oder der spektralen Energieverteilung oder die Häufigkeit der Nulldurchgänge der Schwingungskurve. 
-  * Input sind die 44.100 Zahlenwerte pro Sekunde eines digitalisierten Audio-Signals +  * Input sind die 44.100 Zahlenwerte pro Sekunde eines digitalisierten Audio-Signals. 
-  * eine zeitliche Fensterfunktion fasst Zahlenwerte für die Extraktion oder Analyse zusammen.  +  * Eine zeitliche Fensterfunktion fasst Zahlenwerte für die Extraktion oder Analyse zusammen.  
-  * die meisten Verfahren basieren zudem auf einer Fouriertransformation (FFT), also auf einer Spektralanalyse.  +  * Die meisten Verfahren basieren zudem auf einer Fouriertransformation (STFT oder FFT), also auf einer Spektralanalyse.  
-  * weitere Transformationen beziehen sich auf das Klangspektrum, das u.a. in MFCCs oder Tonhöhenklassen, sog. chroma, eingeteilt wird, oder sie richten sich auf die Identifikation von Tonanfängen (//onset detection//), woraus Beat, Tempo und Metrum abgeleitet werden. +  * Weitere Transformationen beziehen sich auf das Klangspektrum, das u.a. in MFCCs (//Mel-frequency cepstrum coefficients//oder Tonhöhenklassen, sog. chroma, eingeteilt wird, oder sie richten sich auf die Identifikation von Tonanfängen (//onset detection//), woraus Beat, Tempo und Metrum abgeleitet werden. 
  
  
-Die //Low Level Features// dienen oftmals als Ausgangspunkt einer für die Errechnung von **High Level Features** transformiert, die in stärkerem Maße der menschlichen Wahrnehmung entsprechen; es handelt sich um Eigenschaften wie Tonhöhe, Akkorde, Metrum, Klangfarbe etc.  +Die //Low Level Features// dienen oftmals als Ausgangspunkt für die Errechnung von **High Level Features**, die in stärkerem Maße der menschlichen Wahrnehmung entsprechen; es handelt sich um Eigenschaften wie Tonhöhe, Akkorde, Metrum, Klangfarbe etc.  
-Allerdings besteht oft große Problem, die Lücke zwischen den recht abstrakten //Low Level Features//, also einer eher messtechnisch orientierten Beschreibung, und den //High Level Features//, also der Musikwahrnehmung, zu schließen. +Allerdings ist es manchmal problematisch, die Lücke zwischen den recht abstrakten //Low Level Features//, also einer eher messtechnisch orientierten Beschreibung, und den //High Level Features//, also der Musikwahrnehmung, zu schließen. 
  
-==== Visualierungen mit Sonic Visualiser und Vamp Plugins ==== +==== Visualierungen mit Vamp Plugins ==== 
-In den drei fortgeschrittenen Tutorials des Moduls //Audio Advanced// sollen die im [[tutorium_spektral|Tutorial: Spektraldarstellung mit dem Sonic Visualiser]] und [[tutorium_singing|Tutorial: Spektraldarstellung von Gesangsaufnahmen]] gewonnenen Einsichten ergänzt und weitergeführt werden. Dabei geht es um automatisierte Analyse- und Visualisierungsmöglichkeiten von Klang, Harmonik und Rhythmus, die mit Hilfe sog. //Vamp Plugins// aus den spektralen Daten der Audio-Datei errechnet werden. +In den drei fortgeschrittenen Tutorials des Moduls //Audio Advanced// werden die im [[tutorium_spektral|Tutorial: Spektraldarstellung mit dem Sonic Visualiser]] und [[tutorium_singing|Tutorial: Spektraldarstellung von Gesangsaufnahmen]] gewonnenen Einsichten ergänzt und weitergeführt. Dabei geht es um automatisierte Analyse- und Visualisierungsmöglichkeiten von Klang, Harmonik und Rhythmus, die mit Hilfe sog. //Vamp Plugins// aus den spektralen Daten der Audio-Datei errechnet und im //Sonic Visualiser// dargestellt werden könnenDie drei Tutorials befinden sich auf eigenen Unterseiten:  
 +    - [[tutorium_sound|Tutorial Vamp Plugins Part 1: Sound]] 
 +    - [[tutorium_chroma|Tutorial Vamp Plugins Part 2: Chroma]] 
 +    - [[tutorium_rhythm|Tutorial Vamp Plugins Part 3: Onsets, Beat und Tempo]]
  
-Die drei Tutorials befinden sich auf eigenen Unterseiten:  +=== Installation und Funktionsweise der Vamp Plugins === 
-    - [[tutorium_sound|Tutorial Vamp Plugins Part 1Sound die klangliche Gestaltung]] +Die [[https://www.vamp-plugins.org/|Vamp Plugins]] sind ein Audio Processing Plugin System, in dem MIR-Forscher*innen Plugin-Erweiterung für den //Sonic Visualiser// entwickeln und zur Verfügung stellen. Die einzelnen Plugins extrahieren jeweils unterschiedliche Information aus den Audiodateien und visualisieren diese in eine neue Visualisierungsschicht (//Layer//) im //Sonic Visualiser//.  
-    - [[tutorium_chroma|Tutorial Vamp Plugins Part 2: Tonalität und Harmonien]] +
-    [[tutorium_rhythm|Tutorial Vamp Plugins Part 3: Rhythmus, Tempo, Mikrotiming]]+
  
-== Installation der Vamp Plugins == +Eine [[https://www.vamp-plugins.org/download.html|Liste]] der bislang entwickelten //Vamp Plugins// enthält kurze Beschreibungen und Links zu den entsprechenden Dokumentations- und Download-Seiten. Nach dem Download müssen die Plugin-Dateien in einen Ordner namens "Vamp Plugins" gelegt werden, der von Ihnen erstellt werden muss und sich in demselben Ordner befinden sollte wie der //Sonic Visualiser//-Programmordner, z.B. in //C\:Programme// oder //C\:Program files//.\\ 
-Die [[https://www.vamp-plugins.org/|Vamp Plugins]] sind ein Audio Processing Plugin System, in dem MIR-Forscher*innen Plugin-Erweiterung für den Sonic Visualiser entwickeln und zur freien Verfügung stellen. Die einzelnen Plugins extrahieren jeweils unterschiedliche Information aus den Audiodateien und visualisieren diese in eine neue Visualisierungsschicht (//Layer//) im Sonic Visualiser.   +
- +
-Eine [[https://www.vamp-plugins.org/download.html|Liste]] der bislang entwickelten Vamp Plugins enthält kurze Beschreibungen und Links zu den entsprechenden Dokumentations- und Download-Seiten. Nach dem Download müssen die Plugin-Dateien in einen Ordner namens "Vamp Plugins" gelegt werden, der sich in demselben Ordner befindet wie der //Sonic Visualiser//-Programmordner, z.B. in //C\:Programme// oder //C\:Program files//.\\  +
-Anschließend sind die Plugins über den Menupunkt //Transform// im Sonic Visualiser abrufbar und lassen sich auf die geöffnete Audiodatei anwenden. +
  
 Für die Tutorials werden folgende Plugin-Pakete benötigt:  Für die Tutorials werden folgende Plugin-Pakete benötigt: 
Zeile 48: Zeile 50:
   * [[http://www.isophonics.net/nnls-chroma|NNLS Chroma und Chordino]] (alternativ: [[https://code.soundsoftware.ac.uk/projects/nnls-chroma/files|hier]])   * [[http://www.isophonics.net/nnls-chroma|NNLS Chroma und Chordino]] (alternativ: [[https://code.soundsoftware.ac.uk/projects/nnls-chroma/files|hier]])
  
 +Tipp: Sie können sich auch ein umfangreiches Vamp-Plugins-Paket mit einem eigenen Installationsprogramm [[https://vamp-plugins.org/pack.html|hier]] herunterladen. Wählen Sie diese Option dann, wenn der manuelle Download nicht funktioniert (was manchmal bei Mac-Rechnern der Fall ist). 
  
- +Nach dem Neustart des //Sonic Visualiser// sind die Plugins dort über den Menupunkt //Transform// abrufbar und lassen sich auf die geöffnete Audiodatei anwenden. Die einzelnen //Vamp Plugins// sind nach Kategorien, Namen und Entwickler*innen ('Maker') gegliedert; die jeweils zuletzt geöffneten Plugins werden als //Recent Transforms// aufgelistet.\\ 
 +Bei den meisten Vamp Plugins öffnet sich zunächst ein Fenster, in dem weitere Feineinstellungen vorgenommen werden können. Diese Feineinstellungen sind auf den Entwickler*innen-Seiten dokumentiert und werden zum Teil in den jeweiligen Tutorials erläutert. Nach der Ausführung werden die Ergebnisse als neues //Layer// angezeigt, bei dem sich auf der Karteikarte (rechts oben) die Visualisierungseinstellungen anpassen und verändern lassen. Das Layer kann über den //Show//-Button (rechts unten) aus- und angeschaltet und mit //Strg-D// gelöscht werden. 
  
 ==== Korpusstudien mit dem Sonic Annotator ====  ==== Korpusstudien mit dem Sonic Annotator ==== 
  
-  * [[sonic_annotator|Tutorial]] zu Korpusstudien mit dem Sonic Annotator+Mit dem [[https://www.vamp-plugins.org/sonic-annotator/|Sonic Annotator]] können bequem auf einen Schlag mehrere (Hunderte!) von Audio-Dateien mit Vamp Plugins ausgewertet. Das Programm läuft ohne Installation. Die Bedienung geht über ein Befehlsfenster (Power Shell), in dem Befehle eingetippt werden müssen.
  
-==== Aufgaben ====+[[sonic_annotator|Hier]] geht es zum Tutorial für Korpusstudien mit dem Sonic Annotator.
  
 ==== Vertiefungen ==== ==== Vertiefungen ====
  
-FMP-Notebooks +Eine umfassende und programmatische Übersicht über die Forschungsziele und -ansätze des Music Information Retrieval bietet die [[http://mires.eecs.qmul.ac.uk/files/MIRES_Roadmap_ver_1.0.0.pdf|Roadmap for Music Information ReSearch]] des MIReS Consortiums, einem Verbund verschiedener europäischer Forschungseinrichtungen, aus dem Jahre 2013.
- +
-Casey +
  
-Roadmap MIR+Praktische anwendungsbezogene Einführungen in zahlreiche Bereiche der Music Information Retrieval bieten die [[https://www.audiolabs-erlangen.de/resources/MIR/FMP/C0/C0.html|FMP Notebooks 
 +Python Notebooks for Fundamentals of Music Processing]] der Audio Labs Erlangen. 
  
  
  • advanced2.1623142433.txt.gz
  • Zuletzt geändert: 2021/06/08 08:53
  • von martin