Musikmetadaten und -merkmale

Thomas Gängler
Belegarbeit - Verteidigung

Metadaten und Merkmale

zur Verwaltung von
persönlichen
Musiksammlungen
 Musikmetadaten und -merkmale
Thomas Gängler
Aufgabenstellung Belegarbeit - Verteidigung

# Darstellung von Anwendungsfällen im privaten Umfeld:

> Persönliche Musiksammlungen als Anwendungsbereich
# Untersuchung von Audio-Material-Analysetechniken und
-Beschreibungsformen:
> Charakteristische Merkmale und Metadatenstandards
> Prozess der Merkmals- und Metadatenextraktion
> Existierende Lösungen in diesem Bereich
# Konzeption und prototypische Umsetzung einer Audio-
Analyse-Komponente

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 02 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Agenda Belegarbeit - Verteidigung

# Motivation
# Anwendungsfälle auf private Musiksammlungen
# Musikmerkmale und -metadaten
# Merkmals- und Metadatenextraktion
# Fazit und Ausblick

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 03 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Persönliche Musiksammlungen Belegarbeit - Verteidigung

# Verlagerung in den Bereich digitaler Medien:

  
 
 
> Größe der Sammlungen steigt
     !
> Erfordern moderne Musikmerkmalsextraktionstechniken
und Informationsanreicherungsmethoden
# Anpassung an die Wahrnehmung des Benutzers

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 04 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Musikinformationsretrieval Belegarbeit - Verteidigung

[01]

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 05 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Anwendungsfälle Belegarbeit - Verteidigung

# Ordnen
# Orientieren
# Suchen
# Empfehlen
# Wiedergabelisten- und Mixgenerierung
# Verändern
# Gemeinsam Benutzen

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 06 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Ordnen Belegarbeit - Verteidigung

 "!" $%& $' 

 &! (&$ 
 )*$%*$+++
  ,. "8&9 '&
 '!' $ $;&$
 <&= $  $+++
# Individuelle Strategien: Musikkontext
  ?@H $ &J*N
# Möglichkeit der Mehrfachbelegung von Metadatenfeldern
 ; Q
' 8 R 
> Austausch- und portierbar

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 07 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Orientieren Belegarbeit - Verteidigung

 "!)*$Y*&Z%Q
# Modern:
  "8&!($$
Beziehungsnetz
   ,Z Z?  Q +^
   ' $Z

$Z ^
  "&!&$)*
   _  &Q+ &J*%&
  '8!Q+;+
   `;Q Q`Q =Q+? 
   jZqZ^  { QH+_8+N

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 08 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Suchen Belegarbeit - Verteidigung

# Verbalisierte Anfrage:
> Textanfrage H?}Ngesprochene Anfrage HR((N
> StichwortsucheH?}NSuche durch natürliche
Sprache HR((N
# Anfrage mit Audioinhalt:
  % 'H$ $+++N$"
$
  ' &
HR((N
 ~&%!
  &%`% % HR((N
# Sehr viel Kontext- und Inhaltsinformationen benötigt
# Anfragen oft unscharf formuliert

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 09 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Empfehlen Belegarbeit - Verteidigung

 {  !
> Gemeinschaftliches Filtern
> Audiosignalanalyse (Inhaltsbasiertes FilternN
> Metadatenanalyse (Kontextbasiertes FilternN
 ; Q
  H'  
N
# Einbeziehung aller Musikmetadatentypen möglich
# Probleme: Popularitätsverzerrung$Kalt-Start-Problem
# ( !*" &&Q+% Z 
 <  { 
  Q+;+@& 8'  
$
  *~
H

N

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 10 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Wiedergabelisten und Mixe Belegarbeit - Verteidigung

# Private Wiedergabeliste vs formaler Mix

> Präzise und vage Angabe von vielfältigen Informationen
# Arten der Wiedergabelistengenerierung:
  q  H+ N
  €&Q+*!
   %Z$Musikkontext$% 
 ^Z_;  %
 

[10]

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 11 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Verändern Belegarbeit - Verteidigung

 ,.$  $R$%'    Z

  Q $@$%*$~$+++
  <Q Q  *Q+;+
Gebrauchs- und Benutzungsanalysen
 ? &_Q ' 
  H}ZN  @=Q _Z  ;
  J'  ~

  <Q Q%
  ; Q
> Musikkommentierungsspiele

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 12 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Gemeinsam Benutzen Belegarbeit - Verteidigung

# Administrative Metadaten:
  ; Q

 
   H€~Z' ‚N
  )&H  %*N
> Digitales Ausleihen

[11]

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 13 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Anforderungen Belegarbeit - Verteidigung

 ; $& * 8 

und vagen Angaben in verschiedenen Bereichen
> Ausnutzung semantischer Zusammenhänge
 ; Q
%
 $
# Anforderungen von derzeitig existierenden Programmen zur
  *'   

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 14 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Musikmerkmale Belegarbeit - Verteidigung

einfache Audiosignaleigenschaften

physikalische Beschreibungen
Frequenz, Spektrum, Intensität, Grobheit, Einschwingzeit,
Dauer Lautheit, ...

angereicherte Audiosignaleigenschaften

perzeptuelle Eigenschaften raum-zeitliche Struktureigenschaften

Tonhöhe, Tondauer, Harmonie, Rhythmus, Melodie,
Klangfarbe Musikvortragsbezeichnungen

Taxonomien Genre, Stimmung, Instrumente, ...

Expertentaxonomien Folksonomien
Industrietaxonomien,
Internettaxonomien

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 15 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Musikgenretaxonomien Belegarbeit - Verteidigung

 " ' 8  

# Arten von Musikgenretaxonomien:
  @8
8 !$$
  ) !98&$$
> Ein dritter Ansatz:
   H}ZN%  "_Z,

 „
Audiosignaleigenschaften
+ Expertentaxonomien
+ Folksonomien
   ` ; Q


\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 16 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Musikmetadaten Belegarbeit - Verteidigung

# Metadatentypen:
  R&J*!"$' $%& $+++
   &J*!' $ $;$+++
# Musikmetadatentypen:
  ^'!
_ 
  †Q+;+ *q$"&
  "  '! "  _' Q $++
  '  "8†Q+;+' $="
  % '!, $}
$^~ $
  '$"&$+++

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 17 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Musikmetadatenformate und - dienste Belegarbeit - Verteidigung

 ) & 

Q!ID3$+++
 )  &=
Q!
> MPEG-Standards: MPEG-7$MPEG-21
> Ontologien: Music Ontology+@ 
# Audiosignalträgerkatalogisierungsdienste:
> CDDB$freeDB$MusicBrainz$Discogs$Allmusic$+++
# Musikempfehlungs- und entdeckungsdienste:
> Last.fm$Pandora$Amazon$RockanangoZ€J$+++

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 18 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Musikmetadatenformate und -dienste Belegarbeit - Verteidigung

 ‡Q  ˆ ='  ~

!

redaktionelle kulturelle akustische

formatgebunden ++ +
MPEG-7 und -21 ++ + ++
Music Ontology +++ +++ +++
CDDB² + + +
freeDB +
MusicBrainz ++ ++ +
Discogs +++ ++
Allmusic +++ ++ ++
Last.fm ++ +++ +
Pandora ++ ++ ++
Amazon ++ +
Rockanango ++ ++ ++

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 19 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Merkmalsextraktion Belegarbeit - Verteidigung

[12]

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 20 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Audiosignalextraktion Belegarbeit - Verteidigung

 ^ !

Musikdokument
> MARSYAS$CLAM$Vamp
Audiosignal # Programmiersprache: ChucK
# Web Services:
Signalabtastung
> MUSCLE$Echo Nest
Analyse-/Texturfenster Direkte Statistiken

STFT,
Musikalischer
DWT, Zeit-Frequenz-Transformation Spektralstatistiken
VRT, ... Fingerabdruck

Mel-Skala,
Bark-Skala Perzeptionsmodelle Perzeptionsstatistiken

Rhythmus, Tonhöhe, Histogramme

Klangfarbe

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 21 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Metadatenextraktion Belegarbeit - Verteidigung

Musikdokument Audiosignalanalyse

Jaudiotagger,
TagLib, Aperture, Metadaten Merkmalsvektoren
Echo Nest, ...
Web Services, Suchmaschinen,
Metadatenanreicherung Musikinformationsseiten, SPARQL-
Endpunkte, lokal bzw. privaten
Multivariate Netzwerk, ...
Analysemethoden,
Maschinelles Lernen,
Klassifikation, Einordnung, Ähnlichkeiten
Ontologien

Persönliche Musikwissensbasis Triple bzw. Quad Store,

audioDB

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 22 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Fazit und Ausblick Belegarbeit - Verteidigung

# Fazit:
> Modellierung des Musikwahrnehmungs- und Verarbeits-
prozesses ist komplex
> Kombination der Merkmalsextraktionstechniken und
  %
 ; Q

  ‡= %& *‡ 
> Ontologiebasiertes Metadatenformat (Music OntologyN 
   &  Z &=
Q
> Umfangreiche persönliche Musikwissensbasis als
  , &; Q '   

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 23 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Fazit und Ausblick Belegarbeit - Verteidigung

# Ausblick:
> Implementierung einer persönlichen Musikwissensbasis
> Ausnutzung des Web of Data < 
> Ontologiebasiertes Musikmetadatenformat in
Musikdokumenten
> Erweiterung der Music Ontology (Wiedergabelisten-
   $ Q
N
> Optimierung der Extraktionsabläufe (VRT$+++N 
  @ Z$"Z ^
> Digitales Ausleihen
  %

H8 _ N

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 24 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Bilderverzeichnis Belegarbeit - Verteidigung

‰Š‹Œ *+ ' q

+€' }~,
$‡*€
 )&$ 
 ;$ŽŠŠ
[02] Ausschnitt aufgenommen von der Sicht Cover Flow in iTunes
‰ŠjŒ %   *
!__+  
+ _
‰ŠŒ ‘*^ +%q& ' ? ~ +€q$ˆ '~$‡*~($* &
 ŽŠŠ+
‰Š’Œ %   *
!__  
+  +
‰Š“Œ %   *
!__ + +_
‰Š”Œ %   *
!__ *~+ _
‰ŠŒ %   *
!__+ +_•J~ _ '
_ '
+ 
[09] Ausschnitt aufgenommen von der Sicht   
 in MAGIX MP3 Maker 15
‰‹ŠŒ %(+' ;8!*
~  +'–$% 
 €$' ? }~$
 &ŽŠŠ+
[11] Beispiel ist von der Rent-Aktion abgeleitet; siehe
 
!__Q +_•&__ _Y
 + %^
‰‹ŽŒ }˜+Y' &~(+€q$% €$'  
 ? }~$
 &ŽŠŠ’+
‰‹jŒ 
!__ ++ 
+_&_ __  Z*+ 
‰‹Œ ( , *€'™ '+%Y
)  ' 
 +€q$) @‡*€$
+ŽŠŠ+
‰‹’Œ ') +' ? ^*$H ~&N ~
 
+??% % * %*H?%%NYŽŠŠ$R$$
 ŽŠŠ+
‰‹“Œ } (~+@* % ) }‡Q*' ^*%

+'–
 $?  ?*~ $}‡*=<$<$š$
 qQ &ŽŠŠ“+
‰‹”Œ %+€Q+&^ } Z&' ) @8%


 ' ? ^*+€q$@Y(~$ŽŠŠ”+

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 25 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Musikmetadatendiensteverzeichnis Belegarbeit - Verteidigung

CDDB 
!__++ _
freeDB 
!__+&+_
MusicBrainz 
!__ &Q+_
Discogs 
!__++ _
Allmusic 
!__+ + _
Last.fm 
!__+ +_
Pandora 
!__+
+ _
Rockanango 
!__+ + _
Amazon 
!__+ Q+ _

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 26 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
^ $q$q& Belegarbeit - Verteidigung

MARSYAS ,}Q+'
$%~^*~ %  
   +€q$Y
q
 $€‡*~$ŽŠŠŽ+
CLAM *% $€ % $q*,+Y(%'!%) 
   @^
q*
YZ
 % %

+?
   €%Y''  ŽŠŠ“$
›’‹œ›’$;&$Y$
   ‡%$R&ŽŠŠ“+
Vamp 
!__+*

 +_
ChucK ,<$^&)&$€~^+Y+Y &%~~
   Y "€ ( +?€ŽŠŠ”? 
   Y
' YH?Y'YN$"
$q= $ŽŠŠ”+
MUSCLE  
!__+ Z+_
EchoNest 
!__++ _
Jaudiotagger 
!__+J+_J _8+J

Aperture  
!__
 + +_8+ 
TagLib  
!__*
++_•_&+ 
audioDB 
!__ Ž++++ __ &_

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 27 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
'?^ "8 Belegarbeit - Verteidigung

[13]

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 28 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Musikwahrnehmung Belegarbeit - Verteidigung

[14]

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 29 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Orientieren Belegarbeit - Verteidigung

# Klassisch:
> Facetttennavigation
> Coverbild-Anzeige

[02]

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 30 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Orientieren Belegarbeit - Verteidigung

 'H8&N!(

  ,Z?  Q ^
   $"& $"Q$+++

[03]

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 31 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Orientieren Belegarbeit - Verteidigung

 'H8&N!
  Z?  Q ^
   J$"& J$*
  *"
$+++

[04]

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 32 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Orientieren Belegarbeit - Verteidigung

 'H8&N!;Q Q

  ' $Z

$Z Q 
  ^
  "X gehört zu Gruppe Y$' W ist ein
  ^ 8*'  V$+++

32 / 24

[05]

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 33 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Orientieren Belegarbeit - Verteidigung

 'H&!NjZqZQ$&
  R*_  &Q+ &J*%&
  ( =$}
$, $?  $+++

[06]

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 34 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Orientieren Belegarbeit - Verteidigung

 'H&N!)*

   $}Q&$+++

[07]

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 35 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Orientieren Belegarbeit - Verteidigung

 '8!$;Q Q$Q =Q? 

[08]

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 36 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Orientieren Belegarbeit - Verteidigung

 '8!jZqZ^ H€  *%$,.$)&N

  { Q

[09]

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 37 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Musikmerkmale und -metadaten Belegarbeit - Verteidigung

[15]

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 38 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
^~  Belegarbeit - Verteidigung

[16]

# Rhythmus-MusterH&NRhythmus-HistogrammH N

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 39 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Klangfarbenhistogramm Belegarbeit - Verteidigung

[17]

# VRT-Spektrogramm zur Klangfarbenrepräsentation

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 40 / 24
 Musikmetadaten und -merkmale
Thomas Gängler
Metadatenextraktion Belegarbeit - Verteidigung

# Metadatenextraktion aus Musikdokumenten:

  ˜ $TagLib$Echo Nest
# Metadatenanreicherung durch Informationssuche:
> Web Services$  $SPARQL-Endpunkte
  (&Q+
*Q
 "$   {!
  ' *%~ HY $'q$"$+++N
  '(H''$'$Boosting$+++N
> Ontologien (Similarity Ontology$+++N
# Persönliche Musikwissensbasis
> Quad Store$audioDB

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 41 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
SPARQL-Anfrage Belegarbeit - Verteidigung

DBTune    
!__& +_
BBC Backstage 
!__&&+
+ _
™

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 42 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
%&Q  Belegarbeit - Verteidigung

MARSYAS Music A~$R*$SYnthesis for Audio Signals

CLAM C++ Library for Audio and Music
MUSCLE Multimedia Understanding through S $Computation and LEarning
STFT Short-Time Fourier-Transformation
DWT Diskrete Wavelet-Transformation
VRT Variable Resolution Transform
SPARQL S€%^ˆ(Protocol and RDF Query Language
MDS MultiDimensionale Skalierung
KNN KNeuronale Netze
HMM Hidden-Markov-Modelle
SVM Support-Vektor-Maschinen

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 43 / 24