KI-gestützte Audioanalyse von Musik und Soundscapes

Bei der computergestützten Analyse von Musikaufnahmen und Umweltklängen werden heute Algorithmen der sog. Künstlichen Intelligenz (KI) eingesetzt, die mit Ansätzen des sog. Machine Learning bzw. Deep Learning und speziellen Audiodatensätzen gezielt für bestimmte Aufgaben und Anwendungsfelder trainiert werden. Ziel des Seminars an der HfM Weimar (WS 2022/23) war die praxisbezogene Einführung in Ansätze der Audiosignalverarbeitung sowie dieser KI-basierten Verfahren; Grundlage war die Programmiersprache Python, deren Grundkenntnisse ebenfalls vermittelt wurden. In der zweiten Hälfte des Seminars wurden diese Ansätze und Verfahren auf konkrete Beispiele angewendet. Im Zentrum steht die Erkennung und Klassifikation von auditiven Ereignissen und Texturen im Kontext von Fragestellungen der Musikanalyse und der Soundscape-Forschung.

Auf dieser Website werden die Unterrichtsmaterialien von Jakob Abeßer zur Verfügung gestellt (in Englisch) und Projektberichte der Studierenden präsentiert. Aktualisierte Versionen der Unterrichtsmaterialien sowie weitere Materialien sind auf der Website Machine Listening Lectures verfügbar.

Folien:
AIAA 0 Introduction
AIAA 1 Installation Python
AIAA 2 Audio Processing
AIAA 3 Forschungsprojekte
AIAA 4 Machine Learing
AIAA 5 Deep Learning

… und die entsprechenden Jupyter Notebooks:
AIAA_2_Audio_Processing
AIAA_4_Machine_Learning
AIAA_5_Deep_Learning
Zur Installation von Jupyter Notebooks vgl. die Anweisungen hier.
Bitte verwenden Sie als projektspezifische Python-Umgebung (Environment) die folgende Datei: aiaa.yml.

Weitere hilfreiche Materialien:
Python - Einführung
AIAA_1_Python
AIAA_6_Research_Project_Useful_Hints, html-Ansicht

Automatische Erkennung von Vogelgesang von Sophie Krüger.
Automatische Erkennung von Musikinstrumenten von Ronja Hoffmann.
Rhythmus-Analyse mit KI-Systemen von Nicklas Koppe