Interactive Machine Learning of Musical Gesture (Visi & Tanaka, 2021)

Input: Output:
Machine Learning Synthesizer
Körpergesten
 Bewegungssensorik
Inertial Measurement Units (IMU)

Problem: Absolute Position

schwer ermittelbar – nur
durch 2-fache Integration des
Accelerometers -> Noise
Gefahr

Basic IMU enthält Gyroskop Kombination mit Magnetometer = MARG Sensor

(Rotation) + Accelerometer (Magnetic, Angular Rate and Gravity)
(Beschleunigung)
-> 9 Degrees of Freedom (9DOF)
Bewegungssensorik
Motion Capturing (MoCap)

Marker-Infrarot basiertes MoCap für 3D Raum:

-Für jeden Punkt dreidimensionaler Vektor

-Zusatz: Orientierung und Rotation jedes Punkts für
6 Degrees of Freedom (6DoF)
 „the conceptualisation of corporeal movement is often
optically biased, where sensations that are independent of
sight are often neglected“
Salazar Sutil
Atau Tanaka mit 2 Myo Armbändern (EMG + 9 DoF IMU)
 Motion und EMG Features mit ML
Motion Features (MoCap + IMU)
-Fluidity
-Quantity of Motion
-Contraction Index
-Bounding Shapes
-Periodic Quantity of Motion
Max Libraries:
-modosc für Feature Extraction
-GIMLeT (Gestural Interaction ML Toolkit):
Beispiele für IML Motion Feature
Extraction
EMG Features
-Signal Amplitude (Muskelspannung)
-Mean Absolute Value (MAV), (ø der Werte in
Zeitfenster)
-Root Mean Square (RMS), (Wurzel der Summe
quadrierter Werte in Zeitfenster)
-Teager-Kaiser Energy-tracking Operator (TKEO),
(Quadrierte Amplitude minus Produkt der
benachbarten Samples)
-Zero Crossing Rate (ZCR) (Vorzeichenwechsel der
Werte; “periodisches Signal oder nur noisy”…)
 Input: Output:
Machine Learning Synthesizer
Körpergesten

-Granularsynthese (6 Param.)
Sensoren: Supervised ML
-EMG -Klassifikation
-IMU -Regression
-Temporal Modelling
(Dynamic Time -Corpus Based Concatenative
Warping; Hidden Synthesis (CBCS) (19 Param.)
Markov Chains als
Erweiterung)
 Assisted Interactive Machine Learning (AIML)
Supervised vs. Unsupervised Machine Learning
~ Labelled vs. Unlabelled Training Examples
Beispieltasks UML: Clustering, Dimension Reduction, “Gruppierung
ähnlicher Features”
Reinforcement Learning
Maschinelle Tasks werden durch Mensch oder weiteren Algorithmus
evaluiert. Sog. ”Agents” versuchen positives Feedback zu maximieren.
Assisted Interactive Machine Learning (AIML)
 IML Beispiel
11 Degrees of Dependence (Visi) Oben:
Saxofonistin mit Myo Armbänder an beiden Armen steuert Lauter, „breathy“
Physical Modelling Flötensynth
Klassifikationsmodell mapped „Ähnlichkeit zu 4 trainierten
Körperhaltungen“ auf Flötensynth.

Rechts Links
Flatterzungensound Mehr Obertöne
-Magnetometer misst Gesten
Rest
-EMG MAV (Mean abs. value) steuert Noise und Volume (- Neutral
> Interdependenz mit Instrumentalgesten)