Musikmetadaten und -merkmale

Thomas Gängler
Belegarbeit - Verteidigung

Metadaten und Merkmale

zur Verwaltung von
persönlichen
Musiksammlungen
 Musikmetadaten und -merkmale
Thomas Gängler
Aufgabenstellung Belegarbeit - Verteidigung

# Darstellung von Anwendungsfällen im privaten Umfeld:

> Persönliche Musiksammlungen als Anwendungsbereich
# Untersuchung von Audio-Material-Analysetechniken und
-Beschreibungsformen:
> Charakteristische Merkmale und Metadatenstandards
> Prozess der Merkmals- und Metadatenextraktion
> Existierende Lösungen in diesem Bereich
# Konzeption und prototypische Umsetzung einer Audio-
Analyse-Komponente

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 02 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Agenda Belegarbeit - Verteidigung

# Motivation
# Anwendungsfälle auf private Musiksammlungen
# Musikmerkmale und -metadaten
# Merkmals- und Metadatenextraktion
# Fazit und Ausblick

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 03 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Persönliche Musiksammlungen Belegarbeit - Verteidigung

# Verlagerung in den Bereich digitaler Medien:

> Sinnesempfindung der Haptik rückt in den Hintergrund
> Größe der Sammlungen steigt
# Neue Zugangsmöglichkeiten für Verwaltung notwendig:
> Erfordern moderne Musikmerkmalsextraktionstechniken
und Informationsanreicherungsmethoden
# Anpassung an die Wahrnehmung des Benutzers

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 04 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Musikinformationsretrieval Belegarbeit - Verteidigung

[01]

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 05 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Anwendungsfälle Belegarbeit - Verteidigung

# Ordnen
# Orientieren
# Suchen
# Empfehlen
# Wiedergabelisten- und Mixgenerierung
# Verändern
# Gemeinsam Benutzen

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 06 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Ordnen Belegarbeit - Verteidigung

# Klassisch: Künstlername, Albumtitel, Musikstücktitel

# Sichtenbasiert: aktuelle Lieblingsstücke, allgemeine
Favoriten, Archiv, ...
> Größe und Kontext beeinflusst Metadatenfelderbedarf
# Modern: Musikgenre, Herkunftsland, Beliebtheit,
Wiedergabehäufigkeit, Veröffentlichungsdatum, ...
# Individuelle Strategien: Musikkontext
> Inhaltliche Eigenschaften (akustisch, subjektiv)
# Möglichkeit der Mehrfachbelegung von Metadatenfeldern
# Benutzerprofil für Musikkontexte und Ordnungsstrategien
> Austausch- und portierbar

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 07 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Orientieren Belegarbeit - Verteidigung

# Klassisch: Facettennavigation, Coverbild-Anzeige

# Modern:
> Kontextbasierte Sichten: Landkarte, Zeitleiste,
Beziehungsnetz
> Geo- und Zeit-Informationen und zugehör. Relationen
> Musikkünstler, -gruppen, -stücke und Relationen
> Kontentbasierte Sichten: Schieberegler, Feldnavigation
> Vage/ungenaue bzw. subjektive Angaben
> Mix: z.B.
> Zeitleiste + Beziehungsnetz + zusätzl. Informationen
> 3-D-Raum auf Ähnlichkeitsmatrizen (inhaltl./kontext.)

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 08 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Suchen Belegarbeit - Verteidigung

# Verbalisierte Anfrage:
> Textanfrage (IST) oder gesprochene Anfrage (SOLL)
> Stichwortsuche (IST) oder Suche durch natürliche
Sprache (SOLL)
# Anfrage mit Audioinhalt:
> Anfrage durch Melodie (Singen, Summen, ...), Klopfen,
Musikbeispiel (SOLL)
# Hybride Anfrage:
> Verbalisierte Anfrage + Anfrage mit Audioinhalt (SOLL)
# Sehr viel Kontext- und Inhaltsinformationen benötigt
# Anfragen oft unscharf formuliert

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 09 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Empfehlen Belegarbeit - Verteidigung

# Ähnlichkeitsmetriken aus:
> Gemeinschaftliches Filtern
> Audiosignalanalyse (Inhaltsbasiertes Filtern)
> Metadatenanalyse (Kontextbasiertes Filtern)
> Benutzerprofilauswertung (Musikgeschmacksprofil)
# Einbeziehung aller Musikmetadatentypen möglich
# Probleme: Popularitätsverzerrung, Kalt-Start-Problem
# Lösung: sinnvolle Kombination bzw. Auswahl- und
Wichtungsmöglichkeit der Ähnlichkeitsmetriken
> z.B. Einbindung existierender Musikgeschmacksprofile,
vordefinierter Stereotypen (demografisches Filtern)

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 10 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Wiedergabelisten und Mixe Belegarbeit - Verteidigung

# Private Wiedergabeliste vs formaler Mix

> Präzise und vage Angabe von vielfältigen Informationen
# Arten der Wiedergabelistengenerierung:
> Durcheinandergemischt (ggf. teilordnungserhaltend)
> Personalisiert bzw. clever:
> Anfangswert-, Musikkontextdefinition, Auswahl
# Reaktions-/Bewertungsfunktion für Anpassung

[10]

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 11 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Verändern Belegarbeit - Verteidigung

# Größe, Struktur, Ort, Art der Musiksammlung und -stücke

> Hinzufügen, Entfernen, Archivieren, Synchronisieren, ...
> Werkzeuggesützte Verwaltung mit Hilfe von z.B.
Gebrauchs- und Benutzungsanalysen
# Informationen über/zu Musikstücken
> (Teil-)automatisierte Ergänzungen/-korrekturen auf Basis
der jeweiligen Musikmetadatentypen
> Werkzeuggestützte Anpassungen durch Benutzer
> Musikkommentierungsspiele

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 12 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Gemeinsam Benutzen Belegarbeit - Verteidigung

# Administrative Metadaten:
> Benutzerprofile für angepasste Sichten und Statistiken
> Zugangskontrolle (“Party-Modus”)
> Freigaben (gemeinsames Archiv)
> Digitales Ausleihen

[11]

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 13 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Anforderungen Belegarbeit - Verteidigung

# Bereitstellung, Verarbeitung von umfangreichen exakten

und vagen Angaben in verschiedenen Bereichen
> Ausnutzung semantischer Zusammenhänge
# Benutzerprofil für Anpassungen, Statistiken
# Anforderungen von derzeitig existierenden Programmen zur
Verwaltung von Musiksammlungen noch nicht erfüllt

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 14 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Musikmerkmale Belegarbeit - Verteidigung

einfache Audiosignaleigenschaften

physikalische Beschreibungen
Frequenz, Spektrum, Intensität, Grobheit, Einschwingzeit,
Dauer Lautheit, ...

angereicherte Audiosignaleigenschaften

perzeptuelle Eigenschaften raum-zeitliche Struktureigenschaften

Tonhöhe, Tondauer, Harmonie, Rhythmus, Melodie,
Klangfarbe Musikvortragsbezeichnungen

Taxonomien Genre, Stimmung, Instrumente, ...

Expertentaxonomien Folksonomien
Industrietaxonomien,
Internettaxonomien

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 15 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Musikgenretaxonomien Belegarbeit - Verteidigung

# Keine allgemeingültige Musikgenretaxonomie möglich

# Arten von Musikgenretaxonomien:
> Expertentaxonomien: starr definiert, hierarisch, alternd
> Folksonomien: flexibel, schnell wachsend, riesig
> Ein dritter Ansatz:
> (Teil-)Automatische Klassifikation/-Gruppierung =
Audiosignaleigenschaften
+ Expertentaxonomien
+ Folksonomien
+ Benutzerprofil

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 16 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Musikmetadaten Belegarbeit - Verteidigung

# Metadatentypen:
> Objektiv: Künstler, Musikstücktitel, Albumtitel, ...
> Subjektiv: Musikgerne, Stimmung, Bekanntheitsgrad, ...
# Musikmetadatentypen:
> Redaktionelle Metadaten: professionell/ gemeinschaftlich
erstellt; z.B. administrative Daten, Künstlerbiografien
> Kulturelle Metadaten: durch Kultur/ Milieu erzeugt, d.h.
Musik in einem Kontext; z.B. Musikstil, ähnliche Künstler
> Akustische Metadaten: Grundtonart, Tempo, Rhythmus,
Melodie, Klangfarbe, ...

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 17 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Musikmetadatenformate und - dienste Belegarbeit - Verteidigung

# Formatgebundene Spezifikationen: ID3, ...

# Formatunabhängige Spezifikationen:
> MPEG-Standards: MPEG-7, MPEG-21
> Ontologien: Music Ontology inkl. Erweiterungen
# Audiosignalträgerkatalogisierungsdienste:
> CDDB, freeDB, MusicBrainz, Discogs, Allmusic, ...
# Musikempfehlungs- und entdeckungsdienste:
> Last.fm, Pandora, Amazon, Rockanango-Projekt, ...

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 18 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Musikmetadatenformate und -dienste Belegarbeit - Verteidigung

# Unterstützung und Qualität nach Musikmetadatentypen:

redaktionelle kulturelle akustische

formatgebunden ++ +
MPEG-7 und -21 ++ + ++
Music Ontology +++ +++ +++
CDDB² + + +
freeDB +
MusicBrainz ++ ++ +
Discogs +++ ++
Allmusic +++ ++ ++
Last.fm ++ +++ +
Pandora ++ ++ ++
Amazon ++ +
Rockanango ++ ++ ++

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 19 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Merkmalsextraktion Belegarbeit - Verteidigung

[12]

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 20 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Audiosignalextraktion Belegarbeit - Verteidigung

# Rahmenwerke:
Musikdokument
> MARSYAS, CLAM, Vamp
Audiosignal # Programmiersprache: ChucK
# Web Services:
Signalabtastung
> MUSCLE, Echo Nest
Analyse-/Texturfenster Direkte Statistiken

STFT,
Musikalischer
DWT, Zeit-Frequenz-Transformation Spektralstatistiken
VRT, ... Fingerabdruck

Mel-Skala,
Bark-Skala Perzeptionsmodelle Perzeptionsstatistiken

Rhythmus, Tonhöhe, Histogramme

Klangfarbe

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 21 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Metadatenextraktion Belegarbeit - Verteidigung

Musikdokument Audiosignalanalyse

Jaudiotagger,
TagLib, Aperture, Metadaten Merkmalsvektoren
Echo Nest, ...
Web Services, Suchmaschinen,
Metadatenanreicherung Musikinformationsseiten, SPARQL-
Endpunkte, lokal bzw. privaten
Multivariate Netzwerk, ...
Analysemethoden,
Maschinelles Lernen,
Klassifikation, Einordnung, Ähnlichkeiten
Ontologien

Persönliche Musikwissensbasis Triple bzw. Quad Store,

audioDB

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 22 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Fazit und Ausblick Belegarbeit - Verteidigung

# Fazit:
> Modellierung des Musikwahrnehmungs- und Verarbeits-
prozesses ist komplex
> Kombination der Merkmalsextraktionstechniken und
Anpassung an das Benutzerprofil notwendig
> Unschärfe und Abstraktion für intuitiven Umgang
> Ontologiebasiertes Metadatenformat (Music Ontology)
für formatgebundene und -unabhängige Spezifikationen
> Umfangreiche persönliche Musikwissensbasis als
Grundlage für bessere Benutzung der Musiksammlung

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 23 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Fazit und Ausblick Belegarbeit - Verteidigung

# Ausblick:
> Implementierung einer persönlichen Musikwissensbasis
> Ausnutzung des Web of Data für Wissensanreicherung
> Ontologiebasiertes Musikmetadatenformat in
Musikdokumenten
> Erweiterung der Music Ontology (Wiedergabelisten-
modellierung, erweitertes Veröffentlichungskonzept)
> Optimierung der Extraktionsabläufe (VRT, ...) und
Einordnungs-, Klassifikations- und Regressionstechniken
> Digitales Ausleihen
> Anfragen per natürlicher Sprache (textuell/mündlich)

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 24 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Bilderverzeichnis Belegarbeit - Verteidigung

[01] Xavier Serra. Sound and Music Description. Presentation at Music Technology Group, Universitat Pompeu Fabra,
Barcelona, 2008
[02] Ausschnitt aufgenommen von der Sicht Cover Flow in iTunes
[03] Ausschnitt aufgenommen von http://www.lastmusicmap.com/#
[04] Yves Raimond. A Distributed Music Information System. PhD thesis, Queen Mary, University of London, November
2008.
[05] Ausschnitt aufgenommen von http://audiomap.tuneglue.net
[06] Ausschnitt aufgenommen von http://finetunes.musiclens.de/
[07] Ausschnitt aufgenommen von http://musicovery.com/
[08] Ausschnitt aufgenommen von http://www.sfu.ca/˜jdyim/musicianMap/musicianMap.html
[09] Ausschnitt aufgenommen von der Sicht mufin vision in MAGIX MP3 Maker 15
[10] Anita Shen Lillie. MusicBox: Navigating the space of your music. Master’s thesis, School of Architecture and
Planning, Massachusetts Institute of Technology, September 2008.
[11] Beispiel ist von der Rent-Aktion abgeleitet; siehe
http://rhizomik.net/˜roberto/thesis/html/Conceptualisation.html#ActionRent
[12] Tristan Jehan. Creating Music by Listening. PhD thesis, School of Architecture and Planning, Massachusetts
Institute of Technology, September 2005.
[13] http://ims.dei.unipd.it/websites/cms/research/musicinformation-retrieval.html
[14] Luis Gustavo Pereira Marques Martins. A Computational Framework for Sound Segregation in Music
Signals. PhD thesis, Faculdade de Engenharia da Universidade do Porto, Sep. 2008.
[15] Michael Fingerhut. Music Information Retrieval, or how to search for (and maybe find) music and do away with
incipits. In International Association of Sound and Audiovisual Archives (IASA) Conference 2004, Oslo, Norwegen,
2004.
[16] Thomas Lidy. Evaluation of New Audio Features and Their Utilization in Novel Music Retrieval Applications. Master’s
thesis, Institut für Softwaretechnik und Interaktive Systeme, Technischen Universität Wien, Wien, Österreich,
Dezember 2006.
[17] Aliaksandr V. Paradzinets. Variable Resolution Transform-based Music Feature Extraction and their Applications for
Music Information Retrieval. PhD thesis, Ecole Centrale de Lyon, 2007.

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 25 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Musikmetadatendiensteverzeichnis Belegarbeit - Verteidigung

CDDB http://www.gracenote.com/
freeDB http://www.freedb.org/
MusicBrainz http://musicbrainz.org/
Discogs http://www.discogs.com/
Allmusic http://www.allmusic.com/
Last.fm http://www.lastfm.de/
Pandora http://www.pandora.com/
Rockanango http://www.aristomusic.com/
Amazon http://www.amazon.com/

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 26 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Rahmenwerke, Dienste, Datenbanken Belegarbeit - Verteidigung

MARSYAS George Tzanetakis. Manipulation, Analysis and Retrieval Systems for Audio
Signals. PhD thesis, Computer Science Department, Princeton University, 2002.
CLAM Xavier Amatriain, Pau Arumi, and David Garcia. CLAM: A Framework for
Efficient and Rapid Development of Cross-platform Audio Applications. In
Proceedings of ACM Multimedia 2006, pages 951 – 954, Santa Barbara, California,
USA, Oktober 2006.
Vamp http://www.vampplugins.org/
ChucK Ge Wang, Rebecca Fiebrink, and Perry R. Cook. Combining Analysis and Synthsis
in the ChuK Programming Language. In Proceedings of the 2007 International
Computer Music Conference (ICMC), Kopenhagen, Dänemark, 2007.
MUSCLE http://www.muscle-noe.org/
EchoNest http://the.echonest.com/
Jaudiotagger http://www.jthink.net/jaudiotagger/index.jsp
Aperture http://aperture.sourceforge.net/index.html
TagLib http://developer.kde.org/˜wheeler/taglib.html
audioDB http://omras2.doc.gold.ac.uk/software/audiodb/

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 27 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
MIR im Kontext Belegarbeit - Verteidigung

[13]

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 28 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Musikwahrnehmung Belegarbeit - Verteidigung

[14]

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 29 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Orientieren Belegarbeit - Verteidigung

# Klassisch:
> Facetttennavigation
> Coverbild-Anzeige

[02]

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 30 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Orientieren Belegarbeit - Verteidigung

# Modern (kontextbasierte Sichten): Landkarte

> Geo-Informationen und zugehörige Relationen
> Veröffentlichungsland, Künstlergeburtsort, Konzertorte, ...

[03]

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 31 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Orientieren Belegarbeit - Verteidigung

# Modern (kontextbasierte Sichten): Zeitleiste

> Zeit-Informationen und zugehörige Relationen
> Veröffentlichungsjahr, Künstlergeburtsjahr, Zeitintervall
von Künstlerkooperationen, ...

[04]

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 32 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Orientieren Belegarbeit - Verteidigung

# Modern (kontextbasierte Sichten): Beziehungsnetz

> Musikkünstler, -gruppen, -stücke und zugehörige
Relationen
> Künstler X gehört zu Gruppe Y, Musikstück W ist ein
Remix von Musikstück V, ...

32 / 24

[05]

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 33 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Orientieren Belegarbeit - Verteidigung

# Modern (kontentbasierte Sichten:) 3-D-Netz, Schieberegler

> Oft vage/ungenaue bzw. subjektive Angaben
> Lautstärke, Tempo, Gesangsstimme, Instrumentierung, ...

[06]

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 34 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Orientieren Belegarbeit - Verteidigung

# Modern (kontentbasierte Sichten): Feldnavigation

> Stimmung, Tanzbarkeit, ...

[07]

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 35 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Orientieren Belegarbeit - Verteidigung

# Mix: Zeitleiste, Beziehungsnetz, zusätzliche Informationen

[08]

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 36 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Orientieren Belegarbeit - Verteidigung

# Mix: 3-D-Raum (Parametrisierung von Achsen, Größe, Farbe)

> Ähnlichkeitsmatrizen

[09]

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 37 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Musikmerkmale und -metadaten Belegarbeit - Verteidigung

[15]

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 38 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Rhythmushistogramm Belegarbeit - Verteidigung

[16]

# Rhythmus-Muster (oben) & Rhythmus-Histogramm (unten)

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 39 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Klangfarbenhistogramm Belegarbeit - Verteidigung

[17]

# VRT-Spektrogramm zur Klangfarbenrepräsentation

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 40 / 24
 Musikmetadaten und -merkmale
Thomas Gängler
Metadatenextraktion Belegarbeit - Verteidigung

# Metadatenextraktion aus Musikdokumenten:

> Jaudiotagger, TagLib, Echo Nest
# Metadatenanreicherung durch Informationssuche:
> Web Services, Suchmaschinen, SPARQL-Endpunkte
> Lokal bzw. privater Netzwerke
# Klassifikation, Zuordnung und Ähnlichkeiten:
> Multivariate Analysemethoden (Cluster, MDS, KNN, ...)
> Maschinelles Lernen (HMM, SVM, Boosting, ...)
> Ontologien (Similarity Ontology, ...)
# Persönliche Musikwissensbasis
> Quad Store, audioDB

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 41 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
SPARQL-Anfrage Belegarbeit - Verteidigung

DBTune http://dbtune.org/
BBC Backstage http://bbc.openlinksw.com/sparql

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 42 / 24

 Musikmetadaten und -merkmale
Thomas Gängler
Abkürzungen Belegarbeit - Verteidigung

MARSYAS Music Analysis, Retrieval, and SYnthesis for Audio Signals

CLAM C++ Library for Audio and Music
MUSCLE Multimedia Understanding through Semantics, Computation and LEarning
STFT Short-Time Fourier-Transformation
DWT Diskrete Wavelet-Transformation
VRT Variable Resolution Transform
SPARQL SPARQL Protocol and RDF Query Language
MDS MultiDimensionale Skalierung
KNN Künstliche Neuronale Netze
HMM Hidden-Markov-Modelle
SVM Support-Vektor-Maschinen

\ Motivation \ Anwendungsfälle \ Musikmerkmale \ Merkmalsextraktion \ Fazit 43 / 24