Sie sind auf Seite 1von 43

Musikmetadaten und -merkmale

Thomas Gängler
Belegarbeit - Verteidigung

Metadaten und Merkmale


zur Verwaltung von
persönlichen
Musiksammlungen
Musikmetadaten und -merkmale
Thomas Gängler
Aufgabenstellung Belegarbeit - Verteidigung

# Darstellung von Anwendungsfällen im privaten Umfeld:


> Persönliche Musiksammlungen als Anwendungsbereich
# Untersuchung von Audio-Material-Analysetechniken und
-Beschreibungsformen:
> Charakteristische Merkmale und Metadatenstandards
> Prozess der Merkmals- und Metadatenextraktion
> Existierende Lösungen in diesem Bereich
# Konzeption und prototypische Umsetzung einer Audio-
Analyse-Komponente

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 02 / 24


Musikmetadaten und -merkmale
Thomas Gängler
Agenda Belegarbeit - Verteidigung

# Motivation
# Anwendungsfälle auf private Musiksammlungen
# Musikmerkmale und -metadaten
# Merkmals- und Metadatenextraktion
# Fazit und Ausblick

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 03 / 24


Musikmetadaten und -merkmale
Thomas Gängler
Persönliche Musiksammlungen Belegarbeit - Verteidigung

# Verlagerung in den Bereich digitaler Medien:


  
  
  
> Größe der Sammlungen steigt
      !
> Erfordern moderne Musikmerkmalsextraktionstechniken
und Informationsanreicherungsmethoden
# Anpassung an die Wahrnehmung des Benutzers

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 04 / 24


Musikmetadaten und -merkmale
Thomas Gängler
Musikinformationsretrieval Belegarbeit - Verteidigung

[01]

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 05 / 24


Musikmetadaten und -merkmale
Thomas Gängler
Anwendungsfälle Belegarbeit - Verteidigung

# Ordnen
# Orientieren
# Suchen
# Empfehlen
# Wiedergabelisten- und Mixgenerierung
# Verändern
# Gemeinsam Benutzen

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 06 / 24


Musikmetadaten und -merkmale
Thomas Gängler
Ordnen Belegarbeit - Verteidigung

 "!" $%& $' 


 &! (&$ 
 )*$%*$+++
  ,.  "8&9 '  & 
 ' !' $  $;&$
 < &= $   $+++
# Individuelle Strategien: Musikkontext
  ?@H $ &J*N
# Möglichkeit der Mehrfachbelegung von Metadatenfeldern
 ; Q
 ' 8  R  
> Austausch- und portierbar

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 07 / 24


Musikmetadaten und -merkmale
Thomas Gängler
Orientieren Belegarbeit - Verteidigung

 "!)*$Y*& Z%Q
# Modern:
  "8&!( $$
Beziehungsnetz
   ,Z  Z?   Q +^
   ' $Z

$Z  ^
  "&!&$) *
   _  &Q+ &J*%&
  '8!Q+;+
   `;Q Q`Q =Q+? 
   jZqZ^  { QH+_8+N

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 08 / 24


Musikmetadaten und -merkmale
Thomas Gängler
Suchen Belegarbeit - Verteidigung

# Verbalisierte Anfrage:
> Textanfrage H?}N gesprochene Anfrage HR((N
> StichwortsucheH?}N Suche durch natürliche
Sprache HR((N
# Anfrage mit Audioinhalt:
  % ' H$ $+++N$"
$
  ' &
HR((N
 ~& %!
  &%`% % HR((N
# Sehr viel Kontext- und Inhaltsinformationen benötigt
# Anfragen oft unscharf formuliert

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 09 / 24


Musikmetadaten und -merkmale
Thomas Gängler
Empfehlen Belegarbeit - Verteidigung

 {  !
> Gemeinschaftliches Filtern
> Audiosignalanalyse (Inhaltsbasiertes FilternN
> Metadatenanalyse (Kontextbasiertes FilternN
 ; Q
   H'  
 N
# Einbeziehung aller Musikmetadatentypen möglich
# Probleme: Popularitätsverzerrung$Kalt-Start-Problem
# ( !*" &&Q+% Z  
 <   { 
  Q+;+@& 8 '  
 $
  *  ~
H

N

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 10 / 24


Musikmetadaten und -merkmale
Thomas Gängler
Wiedergabelisten und Mixe Belegarbeit - Verteidigung

# Private Wiedergabeliste vs formaler Mix


> Präzise und vage Angabe von vielfältigen Informationen
# Arten der Wiedergabelistengenerierung:
  q   H+   N
  €&Q+*!
   %Z$Musikkontext  $% 
 ^Z_;  %
 

[10]

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 11 / 24


Musikmetadaten und -merkmale
Thomas Gängler
Verändern Belegarbeit - Verteidigung

 ,.$  $R$% '     Z


  Q $@$%*$~$+++
  <Q Q  *Q+;+
Gebrauchs- und Benutzungsanalysen
 ? &_Q ' 
  H}ZN  @=Q _Z  ;
  J'   ~

  <Q Q%
  ; Q
> Musikkommentierungsspiele

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 12 / 24


Musikmetadaten und -merkmale
Thomas Gängler
Gemeinsam Benutzen Belegarbeit - Verteidigung

# Administrative Metadaten:
  ; Q
 
  
   H€~Z' ‚N
  )&H  %*N
> Digitales Ausleihen

[11]

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 13 / 24


Musikmetadaten und -merkmale
Thomas Gängler
Anforderungen Belegarbeit - Verteidigung

 ; $& * 8 


und vagen Angaben in verschiedenen Bereichen
> Ausnutzung semantischer Zusammenhänge
 ; Q
 %
 $
# Anforderungen von derzeitig existierenden Programmen zur
  *'   

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 14 / 24


Musikmetadaten und -merkmale
Thomas Gängler
Musikmerkmale Belegarbeit - Verteidigung

einfache Audiosignaleigenschaften

physikalische Beschreibungen
Frequenz, Spektrum, Intensität, Grobheit, Einschwingzeit,
Dauer Lautheit, ...

angereicherte Audiosignaleigenschaften

perzeptuelle Eigenschaften raum-zeitliche Struktureigenschaften


Tonhöhe, Tondauer, Harmonie, Rhythmus, Melodie,
Klangfarbe Musikvortragsbezeichnungen

Taxonomien Genre, Stimmung, Instrumente, ...

Expertentaxonomien Folksonomien
Industrietaxonomien,
Internettaxonomien

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 15 / 24


Musikmetadaten und -merkmale
Thomas Gängler
Musikgenretaxonomien Belegarbeit - Verteidigung

 " ' 8  


# Arten von Musikgenretaxonomien:
  @8
8 !  $$
  ) !98&$ $
> Ein dritter Ansatz:
   H}ZN%  " _Z,

 „
Audiosignaleigenschaften
+ Expertentaxonomien
+ Folksonomien
   ` ; Q
 

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 16 / 24


Musikmetadaten und -merkmale
Thomas Gängler
Musikmetadaten Belegarbeit - Verteidigung

# Metadatentypen:
  R&J*!"$' $%& $+++
   &J*!' $ $; $+++
# Musikmetadatentypen:
  ^ ' !
_ 
  †Q+;+ *q$"& 
  "  ' ! "  _' Q $ ++
  '  "8†Q+;+' $="
  % ' !,  $}
$^~ $
  ' $"&$+++

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 17 / 24


Musikmetadaten und -merkmale
Thomas Gängler
Musikmetadatenformate und - dienste Belegarbeit - Verteidigung

 ) &  


Q !ID3$+++
 )  &=
Q !
> MPEG-Standards: MPEG-7$MPEG-21
> Ontologien: Music Ontology+@ 
# Audiosignalträgerkatalogisierungsdienste:
> CDDB$freeDB$MusicBrainz$Discogs$Allmusic$+++
# Musikempfehlungs- und entdeckungsdienste:
> Last.fm$Pandora$Amazon$RockanangoZ€J$+++

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 18 / 24


Musikmetadaten und -merkmale
Thomas Gängler
Musikmetadatenformate und -dienste Belegarbeit - Verteidigung

 ‡Q   ˆ ='   ~


!

redaktionelle kulturelle akustische


formatgebunden ++ +
MPEG-7 und -21 ++ + ++
Music Ontology +++ +++ +++
CDDB² + + +
freeDB +
MusicBrainz ++ ++ +
Discogs +++ ++
Allmusic +++ ++ ++
Last.fm ++ +++ +
Pandora ++ ++ ++
Amazon ++ +
Rockanango ++ ++ ++

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 19 / 24


Musikmetadaten und -merkmale
Thomas Gängler
Merkmalsextraktion Belegarbeit - Verteidigung

[12]

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 20 / 24


Musikmetadaten und -merkmale
Thomas Gängler
Audiosignalextraktion Belegarbeit - Verteidigung

 ^ !


Musikdokument
> MARSYAS$CLAM$Vamp
Audiosignal # Programmiersprache: ChucK
# Web Services:
Signalabtastung
> MUSCLE$Echo Nest
Analyse-/Texturfenster Direkte Statistiken

STFT,
Musikalischer
DWT, Zeit-Frequenz-Transformation Spektralstatistiken
VRT, ... Fingerabdruck

Mel-Skala,
Bark-Skala Perzeptionsmodelle Perzeptionsstatistiken

Rhythmus, Tonhöhe, Histogramme


Klangfarbe

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 21 / 24


Musikmetadaten und -merkmale
Thomas Gängler
Metadatenextraktion Belegarbeit - Verteidigung

Musikdokument Audiosignalanalyse

Jaudiotagger,
TagLib, Aperture, Metadaten Merkmalsvektoren
Echo Nest, ...
Web Services, Suchmaschinen,
Metadatenanreicherung Musikinformationsseiten, SPARQL-
Endpunkte, lokal bzw. privaten
Multivariate Netzwerk, ...
Analysemethoden,
Maschinelles Lernen,
Klassifikation, Einordnung, Ähnlichkeiten
Ontologien

Persönliche Musikwissensbasis Triple bzw. Quad Store,


audioDB

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 22 / 24


Musikmetadaten und -merkmale
Thomas Gängler
Fazit und Ausblick Belegarbeit - Verteidigung

# Fazit:
> Modellierung des Musikwahrnehmungs- und Verarbeits-
prozesses ist komplex
> Kombination der Merkmalsextraktionstechniken und
  %
  ; Q
  
  ‡=  %& *‡ 
> Ontologiebasiertes Metadatenformat (Music OntologyN 
   &    Z &=
Q 
> Umfangreiche persönliche Musikwissensbasis als
  ,  &; Q  '   

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 23 / 24


Musikmetadaten und -merkmale
Thomas Gängler
Fazit und Ausblick Belegarbeit - Verteidigung

# Ausblick:
> Implementierung einer persönlichen Musikwissensbasis
> Ausnutzung des Web of Data < 
> Ontologiebasiertes Musikmetadatenformat in
Musikdokumenten
> Erweiterung der Music Ontology (Wiedergabelisten-
    $ Q
N
> Optimierung der Extraktionsabläufe (VRT$+++N 
  @  Z$" Z  ^
> Digitales Ausleihen
  %

H8 _  N

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 24 / 24


Musikmetadaten und -merkmale
Thomas Gängler
Bilderverzeichnis Belegarbeit - Verteidigung

‰Š‹Œ *+   ' q


+€' }~,
$‡*€
 )&$ 
 ;$ŽŠŠ
[02] Ausschnitt aufgenommen von der Sicht Cover Flow in iTunes
‰ŠjŒ %   *
!__+  
+ _
‰ŠŒ ‘*^  +%q&  ' ? ~ +€q$ˆ '~$‡*~( $* &
 ŽŠŠ+
‰Š’Œ %   *
!__  
+  +
‰Š“Œ %   *
!__  + + _
‰Š”Œ %   *
!__ *~+ _
‰ŠŒ %   *
!__+ +_•J ~ _ '
_ '
+ 
[09] Ausschnitt aufgenommen von der Sicht   
 in MAGIX MP3 Maker 15
‰‹ŠŒ %(+' ;8!*
~  +'–$%  
 €$' ? }~$
 &ŽŠŠ+
[11] Beispiel ist von der Rent-Aktion abgeleitet; siehe
 
!__Q +_•&__ _Y
 + %^
‰‹ŽŒ }˜+Y' &~(+€q$%  €$'  
 ? }~$
 &ŽŠŠ’+
‰‹jŒ 
!__ + + 
+_&_ __  Z*+ 
‰‹Œ ( , *€'™ '+%Y
)   ' 
 +€q$)    @ ‡*   €$
+ŽŠŠ+
‰‹’Œ ') +' ? ^*$H  ~&  N   ~
 
+??%   % * %*H?%%NYŽŠŠ$R$$
 ŽŠŠ+
‰‹“Œ } ( ~+@* % )  }‡Q*' ^*%

+'–
 $?   ?*~ $}‡*=<$<$š$
 qQ &ŽŠŠ“+
‰‹”Œ % +€ Q+&^ } Z& ' ) @8 %


 ' ? ^*+€q$@Y (~$ŽŠŠ”+

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 25 / 24


Musikmetadaten und -merkmale
Thomas Gängler
Musikmetadatendiensteverzeichnis Belegarbeit - Verteidigung

CDDB 
!__++ _
freeDB 
!__+ &+_
MusicBrainz 
!__ &Q+_
Discogs 
!__+ + _
Allmusic 
!__+ + _
Last.fm 
!__+ + _
Pandora 
!__+
 + _
Rockanango 
!__+ + _
Amazon 
!__+ Q+ _

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 26 / 24


Musikmetadaten und -merkmale
Thomas Gängler
^ $q$q& Belegarbeit - Verteidigung

MARSYAS ,}Q+'
$%~ ^*~ %  
   +€q$Y
q
 $€‡*~$ŽŠŠŽ+
CLAM *% $€ % $ q* ,+Y(%'!%) 
   @  ^
 q*
YZ
 % %

+?
   € %Y''   ŽŠŠ“$
›’‹œ›’$;&$Y$
   ‡%$R&ŽŠŠ“+
Vamp 
!__+*

 +_
ChucK ,<$^&)&$ €~^+Y+Y &%~ ~
   Y "€ ( +?€ ŽŠŠ”? 
   Y
' YH?Y'YN$"
$q= $ŽŠŠ”+
MUSCLE  
!__+ Z+_
EchoNest 
!__++ _
Jaudiotagger 
!__+J+_J _ 8+J

Aperture  
!__
 + +_ 8+ 
TagLib  
!__ *
+ +_•_&+ 
audioDB 
!__ Ž+ + ++ __  &_

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 27 / 24


Musikmetadaten und -merkmale
Thomas Gängler
'?^ "8 Belegarbeit - Verteidigung

[13]

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 28 / 24


Musikmetadaten und -merkmale
Thomas Gängler
Musikwahrnehmung Belegarbeit - Verteidigung

[14]

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 29 / 24


Musikmetadaten und -merkmale
Thomas Gängler
Orientieren Belegarbeit - Verteidigung

# Klassisch:
> Facetttennavigation
> Coverbild-Anzeige

[02]

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 30 / 24


Musikmetadaten und -merkmale
Thomas Gängler
Orientieren Belegarbeit - Verteidigung

 ' H8&N!( 


  ,Z?   Q ^
    $"& $"Q$+++

[03]

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 31 / 24


Musikmetadaten und -merkmale
Thomas Gängler
Orientieren Belegarbeit - Verteidigung

 ' H8&N!
  Z?   Q ^
   J$"& J$*
  *"
$+++

[04]

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 32 / 24


Musikmetadaten und -merkmale
Thomas Gängler
Orientieren Belegarbeit - Verteidigung

 ' H8&N!;Q Q


  ' $Z

$Z  Q 
  ^
  "X gehört zu Gruppe Y$' W ist ein
  ^ 8*'  V$+++

32 / 24

[05]

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 33 / 24


Musikmetadaten und -merkmale
Thomas Gängler
Orientieren Belegarbeit - Verteidigung

 ' H&!NjZqZQ$&
  R*_  &Q+ &J*%&
  ( =$}
$, $?  $+++

[06]

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 34 / 24


Musikmetadaten und -merkmale
Thomas Gängler
Orientieren Belegarbeit - Verteidigung

 ' H&N!) *


   $}Q&$+++

[07]

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 35 / 24


Musikmetadaten und -merkmale
Thomas Gängler
Orientieren Belegarbeit - Verteidigung

 '8!$;Q Q$Q =Q? 

[08]

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 36 / 24


Musikmetadaten und -merkmale
Thomas Gängler
Orientieren Belegarbeit - Verteidigung

 '8!jZqZ^ H€  *%$,.$)&N


  { Q

[09]

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 37 / 24


Musikmetadaten und -merkmale
Thomas Gängler
Musikmerkmale und -metadaten Belegarbeit - Verteidigung

[15]

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 38 / 24


Musikmetadaten und -merkmale
Thomas Gängler
^~  Belegarbeit - Verteidigung

[16]

# Rhythmus-MusterH&NRhythmus-HistogrammH N

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 39 / 24


Musikmetadaten und -merkmale
Thomas Gängler
Klangfarbenhistogramm Belegarbeit - Verteidigung

[17]

# VRT-Spektrogramm zur Klangfarbenrepräsentation


\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 40 / 24
Musikmetadaten und -merkmale
Thomas Gängler
Metadatenextraktion Belegarbeit - Verteidigung

# Metadatenextraktion aus Musikdokumenten:


  ˜ $TagLib$Echo Nest
# Metadatenanreicherung durch Informationssuche:
> Web Services$  $SPARQL-Endpunkte
  (&Q+
*Q
 " $     {!
  ' *%~  HY $'q$"$+++N
  '(H''$'$Boosting$+++N
> Ontologien (Similarity Ontology$+++N
# Persönliche Musikwissensbasis
> Quad Store$audioDB

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 41 / 24


Musikmetadaten und -merkmale
Thomas Gängler
SPARQL-Anfrage Belegarbeit - Verteidigung

DBTune    
!__ & +_
BBC Backstage 
!__&&+
+ _
™

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 42 / 24


Musikmetadaten und -merkmale
Thomas Gängler
%&Q  Belegarbeit - Verteidigung

MARSYAS Music A~$R*$ SYnthesis for Audio Signals


CLAM C++ Library for Audio and Music
MUSCLE Multimedia Understanding through S $Computation and LEarning
STFT Short-Time Fourier-Transformation
DWT Diskrete Wavelet-Transformation
VRT Variable Resolution Transform
SPARQL S€%^ˆ(Protocol and RDF Query Language
MDS MultiDimensionale Skalierung
KNN KNeuronale Netze
HMM Hidden-Markov-Modelle
SVM Support-Vektor-Maschinen

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 43 / 24