Article
Happy life comes with P5 - P5, ML5, Meyda und Plotly als hilfreiche Tools in Forschung und Lehre (de)
* Presenting author
Abstract:
P5 und vor allem P5.sound sind Javascript-Libraries, mit deren Hilfe man sehr schnell und einfach komplexe Programmieraufgaben im Audiobereich lösen kann. Besonders in Verbindung mit der Machine-Learning-Library ML5, der Signalanalyse-Library Meyda und der Datenvisualisierungs-Library Plotly lassen sich ausgereifte Experimentier- und Analyse-Umgebungen erstellen, ebenso wie interaktive Darstellungen für den Unterricht oder für Präsentationen. Die Einsatzmöglichkeiten reichen von einfachen Fourier-Darstellungen über den Einsatz von Klang- und Sprachsynthese, Filtern und Tonstudioeffekten zur Signalanalyse (inkl. Chroma-, MFCC- und Bark-Berechnungen), zu Pose-Tracking, Hand-Tracking, Face-Tracking, automatische Tonhöhen-Erkennung und Emotions-Einschätzung und mehr. Im Rahmen des Beitrags werden sowohl die einzelnen Javascript-Libraries als auch deren Potential anhand ausgewählter Beispiele vorgestellt. Neben automatischer Bewegungsanalyse von bereits aufgenommenen Videos (synchron zur Musikspur) via Pose-Tracking, Echtzeitvisualisierungen von Formantbewegungen oder Emotionsanalysen via WebCam oder Valence-Arousal-Modell (inkl. zeitgleicher Timbre Feature Analyse) werden auch die Einbindung externer Geräte wie ein Muse S2 EEG-Stirnband inklusive Steuerung und Datenverarbeitung/-visualisierung via P5, Plotly u.ä. Libraries behandelt. So lassen sich durch den Einsatz von P5 und Plotly auch Biodatenlogger wie ein 4-Kanal-EEG für nur wenige 100,- Euro audiosynchron ins eigene Messequipment integrieren.