advanced2

Unterschiede

Hier werden die Unterschiede zwischen zwei Versionen angezeigt.

Link zu dieser Vergleichsansicht

Beide Seiten der vorigen Revision Vorhergehende Überarbeitung
Nächste Überarbeitung
Vorhergehende Überarbeitung
advanced2 [2021/09/08 10:29]
martin [Modul Advanced Audio]
advanced2 [2022/04/29 05:32] (aktuell)
martin [Visualierungen mit Vamp Plugins]
Zeile 9: Zeile 9:
     - [[tutorium_rhythm|Tutorial Vamp Plugins Part 3: Onsets, Beat und Tempo]]     - [[tutorium_rhythm|Tutorial Vamp Plugins Part 3: Onsets, Beat und Tempo]]
    
-Zusätzlich wird in Möglichkeiten der Korpusanalyse, also der Untersuchung und des Vergleichs von mehreren Stücken, mit dem //Sonic Annotator// eingeführt. Zunächst jedoch einige generelle Informationen zur Music Information Retrieval+In einem weiteren [[sonic_annotator|Tutorial]] wird in Möglichkeiten der Korpusanalyse, also der Untersuchung und des Vergleichs von mehreren Stücken, mit dem //Sonic Annotator// eingeführt.   
 + 
 +Zunächst jedoch einige generelle Informationen zur Music Information Retrieval
  
 ==== Music Information Retrieval: A Very Short Introduction  ==== ==== Music Information Retrieval: A Very Short Introduction  ====
  
-Vor dem Hintergrund der Digitalisierung von Musikaufnahmen seit den 1980er Jahren, der Entwicklung von komprimierten Datenformaten wie MP3 in den 1990er Jahren und der hierdurch erleichterten massenhaften Verbreitung von Musidateien im Internet entstand um die Jahrtausendwende ein neuer Bereich der Musikinformatik, die sog. //Music Information retrieval// (MIR). In der //Music Information Retrieval// werden Algorithmen, Programme und Tools für die automatische Suche nach bestimmten Informationen über Musik in den weltweit wachsenden Musikdatenbänken entwickelt. MIR-Forschung ist in der Regel anwendungsorientiert (Orientierung an //use cases//) und wird neben Forschungseinrichtungen auch von Software-Entwicklern und Musikinformatikern in kommerziellen Unternehmen (Apple, Google, Spotify etc.) vorangetrieben. +Vor dem Hintergrund der Digitalisierung von Musikaufnahmen seit den 1980er Jahren, der Entwicklung von komprimierten Datenformaten wie MP3 in den 1990er Jahren und der hierdurch erleichterten massenhaften Verbreitung von Musidateien im Internet entstand um die Jahrtausendwende ein neuer Bereich der Musikinformatik, die sog. //Music Information Retrieval// (MIR). In der //Music Information Retrieval// werden Algorithmen, Programme und Tools für die automatische Suche nach bestimmten Informationen über Musik in den weltweit wachsenden Musikdatenbänken entwickelt. MIR-Forschung ist in der Regel anwendungsorientiert (Orientierung an //use cases//) und wird neben Forschungseinrichtungen auch von Software-Entwicklern und Musikinformatikern in kommerziellen Unternehmen (Apple, Google, Spotify etc.) vorangetrieben. 
  
 Im Jahre 2000 wurde die //International Society for Music Information Retrieval// gegründet (ISMIR) und in Pymouth, USA, die erste ISMIR-Konferenz veranstaltet. Seither gibt es jährliche Konferenzen mit [[https://www.ismir.net/conferences|Online-Proceedings]]. Seit 2005 gibt es bei den ISMIR-Konferenzen zudem Wettbewerbe mit speziellen Aufgaben für neu zu entwickelnde Algorithmen (Music Information Retrieval Evaluation eXchange ([[https://www.music-ir.org/mirex/wiki/MIREX_HOME|MIREX]]), u.a. für Transkriptions-Algorithmen. Heute gibt es weltweit eine Reihe von MIR-Forschungszentren, u.a. (vgl. [[projekte|Projekte]]).  Im Jahre 2000 wurde die //International Society for Music Information Retrieval// gegründet (ISMIR) und in Pymouth, USA, die erste ISMIR-Konferenz veranstaltet. Seither gibt es jährliche Konferenzen mit [[https://www.ismir.net/conferences|Online-Proceedings]]. Seit 2005 gibt es bei den ISMIR-Konferenzen zudem Wettbewerbe mit speziellen Aufgaben für neu zu entwickelnde Algorithmen (Music Information Retrieval Evaluation eXchange ([[https://www.music-ir.org/mirex/wiki/MIREX_HOME|MIREX]]), u.a. für Transkriptions-Algorithmen. Heute gibt es weltweit eine Reihe von MIR-Forschungszentren, u.a. (vgl. [[projekte|Projekte]]). 
Zeile 25: Zeile 27:
   * Input sind die 44.100 Zahlenwerte pro Sekunde eines digitalisierten Audio-Signals.   * Input sind die 44.100 Zahlenwerte pro Sekunde eines digitalisierten Audio-Signals.
   * Eine zeitliche Fensterfunktion fasst Zahlenwerte für die Extraktion oder Analyse zusammen.    * Eine zeitliche Fensterfunktion fasst Zahlenwerte für die Extraktion oder Analyse zusammen. 
-  * Die meisten Verfahren basieren zudem auf einer Fouriertransformation (FFT), also auf einer Spektralanalyse. +  * Die meisten Verfahren basieren zudem auf einer Fouriertransformation (STFT oder FFT), also auf einer Spektralanalyse. 
   * Weitere Transformationen beziehen sich auf das Klangspektrum, das u.a. in MFCCs (//Mel-frequency cepstrum coefficients//) oder Tonhöhenklassen, sog. chroma, eingeteilt wird, oder sie richten sich auf die Identifikation von Tonanfängen (//onset detection//), woraus Beat, Tempo und Metrum abgeleitet werden.    * Weitere Transformationen beziehen sich auf das Klangspektrum, das u.a. in MFCCs (//Mel-frequency cepstrum coefficients//) oder Tonhöhenklassen, sog. chroma, eingeteilt wird, oder sie richten sich auf die Identifikation von Tonanfängen (//onset detection//), woraus Beat, Tempo und Metrum abgeleitet werden. 
  
Zeile 33: Zeile 35:
  
 ==== Visualierungen mit Vamp Plugins ==== ==== Visualierungen mit Vamp Plugins ====
-In den drei fortgeschrittenen Tutorials des Moduls //Audio Advanced// werden die im [[tutorium_spektral|Tutorial: Spektraldarstellung mit dem Sonic Visualiser]] und [[tutorium_singing|Tutorial: Spektraldarstellung von Gesangsaufnahmen]] gewonnenen Einsichten ergänzt und weitergeführt. Dabei geht es um automatisierte Analyse- und Visualisierungsmöglichkeiten von Klang, Harmonik und Rhythmus, die mit Hilfe sog. //Vamp Plugins// aus den spektralen Daten der Audio-Datei errechnet und im //Sonic Visualiser// dargestellt werden können.  +In den drei fortgeschrittenen Tutorials des Moduls //Audio Advanced// werden die im [[tutorium_spektral|Tutorial: Spektraldarstellung mit dem Sonic Visualiser]] und [[tutorium_singing|Tutorial: Spektraldarstellung von Gesangsaufnahmen]] gewonnenen Einsichten ergänzt und weitergeführt. Dabei geht es um automatisierte Analyse- und Visualisierungsmöglichkeiten von Klang, Harmonik und Rhythmus, die mit Hilfe sog. //Vamp Plugins// aus den spektralen Daten der Audio-Datei errechnet und im //Sonic Visualiser// dargestellt werden können. Die drei Tutorials befinden sich auf eigenen Unterseiten: 
- +
-Die drei Tutorials befinden sich auf eigenen Unterseiten: +
     - [[tutorium_sound|Tutorial Vamp Plugins Part 1: Sound]]     - [[tutorium_sound|Tutorial Vamp Plugins Part 1: Sound]]
     - [[tutorium_chroma|Tutorial Vamp Plugins Part 2: Chroma]]     - [[tutorium_chroma|Tutorial Vamp Plugins Part 2: Chroma]]
Zeile 50: Zeile 50:
   * [[http://www.isophonics.net/nnls-chroma|NNLS Chroma und Chordino]] (alternativ: [[https://code.soundsoftware.ac.uk/projects/nnls-chroma/files|hier]])   * [[http://www.isophonics.net/nnls-chroma|NNLS Chroma und Chordino]] (alternativ: [[https://code.soundsoftware.ac.uk/projects/nnls-chroma/files|hier]])
  
-Tipp: Sie können sich auch ein umfangreiches Vamp-Plugins-Paket mit einem eigenen Installationsprogramm [[https://vamp-plugins.org/pack.html|hier herunterladen]]. Wählen Sie diese Option dann, wenn der manuelle Download nicht funktioniert (was manchmal bei Mac-Rechnern der Fall ist). +Tipp: Sie können sich auch ein umfangreiches Vamp-Plugins-Paket mit einem eigenen Installationsprogramm [[https://vamp-plugins.org/pack.html|hier]] herunterladen. Wählen Sie diese Option dann, wenn der manuelle Download nicht funktioniert (was manchmal bei Mac-Rechnern der Fall ist). 
  
 Nach dem Neustart des //Sonic Visualiser// sind die Plugins dort über den Menupunkt //Transform// abrufbar und lassen sich auf die geöffnete Audiodatei anwenden. Die einzelnen //Vamp Plugins// sind nach Kategorien, Namen und Entwickler*innen ('Maker') gegliedert; die jeweils zuletzt geöffneten Plugins werden als //Recent Transforms// aufgelistet.\\ Nach dem Neustart des //Sonic Visualiser// sind die Plugins dort über den Menupunkt //Transform// abrufbar und lassen sich auf die geöffnete Audiodatei anwenden. Die einzelnen //Vamp Plugins// sind nach Kategorien, Namen und Entwickler*innen ('Maker') gegliedert; die jeweils zuletzt geöffneten Plugins werden als //Recent Transforms// aufgelistet.\\
-Bei den meisten Vamp Plugins öffnet sich zunächst ein Fenster, in dem weitere Feineinstellungen vorgenommen werden können. Diese Feineinstellungen sind auf den Entwickler*innen-Seiten dokumentiert und werden in den jeweiligen Tutorials erläutert. Nach der Ausführung werden die Ergebnisse als neues //Layer// angezeigt, bei dem sich auf der Karteikarte (rechts oben) die Visualisierungseinstellungen anpassen und verändern lassen. Das Layer kann über den //Show//-Button (rechts unten) aus- und angeschaltet und mit //Strg-D// gelöscht werden. +Bei den meisten Vamp Plugins öffnet sich zunächst ein Fenster, in dem weitere Feineinstellungen vorgenommen werden können. Diese Feineinstellungen sind auf den Entwickler*innen-Seiten dokumentiert und werden zum Teil in den jeweiligen Tutorials erläutert. Nach der Ausführung werden die Ergebnisse als neues //Layer// angezeigt, bei dem sich auf der Karteikarte (rechts oben) die Visualisierungseinstellungen anpassen und verändern lassen. Das Layer kann über den //Show//-Button (rechts unten) aus- und angeschaltet und mit //Strg-D// gelöscht werden. 
  
 ==== Korpusstudien mit dem Sonic Annotator ====  ==== Korpusstudien mit dem Sonic Annotator ==== 
  • advanced2.1631096943.txt.gz
  • Zuletzt geändert: 2021/09/08 10:29
  • von martin