Fiififow

Multimedia-Technologie:
Menschliche Wahrnehmung
Prof. Dr.-Ing. habil. Ulrike Lucke
Maximaler Raum für Titelbild

(wenn kleiner dann linksbündig an Rand angesetzt)
© 2023 Institut für Informatik & Computational Science | Komplexe Multimediale Anwendungsarchitekturen 1
Wiederholung: Medienbegriff
Uns Menschen ist der Zugang zur Welt nur vermittelt
möglich:
• Organe (Augen, Ohren, Tastsinn u. ä.) und
• Medien (häufig als Erweiterung der organischen
Möglichkeiten: Mikro- und Teleskope, Sensoren,
Kameras etc.)
vermitteln uns eine Wahrnehmung
Wahrnehmung von und ein
Verhältnis zur Welt.
Einen unmittelbaren Zugang gibt es nicht.
Geltung erhält das, was medial (digital?)
dargestellt werden kann.
Wiederholung: Beispiel Virtual Reality
Inhalt der Vorlesung
Einführung / Anwendungsszenarien
Menschliche Wahrnehmung
Datenstrukturen & Bildungsvorschriften
Algorithmen & Transformationen
Software
Multimedia-Systeme
Multimedia-Hardware
Evaluation medialer Angebote
Multimedia-Gestaltung
Lernziele
Nach dieser Einheit können Sie …
• einfache Modelle der menschlichen Wahrnehmung
erklären und auf Mensch-Maschine-Systeme
anwenden.
• die Funktionsweise menschlicher Sinne
und deren Charakteristika erläutern.
• aus diesen Charakteristika
begründete Schlussfolgerungen
für die Gestaltung von Mensch-
Maschine-Interaktion ableiten.
© 2023 Institut für Informatik & Computational Science (IfI) 5

Modell menschlicher Informationsverarbeitung
Umwelt
Input Informations- Informations- Output

(Reiz) verarbeitung speicherung (Reaktion)
Codierung Speicherung Abruf
Sehen
Wir nehmen 90% der Informationen mit dem Auge auf!
Leistungsfähigkeit:
– Auge 107 bit/s
– Ohr 20 bit/s
Verarbeitung:
– Auge 107 bit/s
– Hirn 16 bit/s
Bilderzeugung
optisches visueller
Retina
System Cortex
physikalische Realität
Lichtenergie
elektrische Signale
psychologische Wahrnehmung
Aufbau des Auges
Aufbau des Auges
ca. 120 Mio. Sehzellen
• Stäbchen (rods)
für Helligkeit
• Zapfen (cones)
für Farben
Fotorezeptoren
Zapfen Stäbchen
(cones) (rods)
Anzahl 6 Millionen 120 Millionen
Aufgabe Farbensehen S/W-Sehen
Farbstoff Jodopsin Rhodopsin
Lage Netzhautmitte Netzhautrand
Empfindlichkeit gering hoch
zeitl. Auflösung 18-24 Bilder/s 14-22 Bilder/s
Bildwechsel max. 80 Bilder/s 22-25 Bilder/s
Übertragung schnell langsam
Farbensehen
Modellierung
von Farben
3 Sorten von Zapfen in der Netzhaut:

– rot (ca. 580nm)
– grün (ca. 545nm)
– blau (ca. 440nm)
Farbeindruck entsteht durch Überlagerung
(alle=weiß)
Auflösung ca. 2-10nm
256 Töne/Farben
→ 8 Bit
genügen
Visuelles System
Schwelle
– Tagsehen ca. 10-14 W
– Nachtsehen ca. 10-17 W
Unterscheidbarkeit absolut
– 3 bis 7 Intensitäten
– 12 bis 13 Frequenzen (Farben)
Lerntipp
Betrachten Sie einen Ausdruck mit Flächen in verschiedenen

Farbtönen bei verschiedener Umgebungsbeleuchtung
(z.B. Sonnenlicht, Schreibtischlampe, Kerzenschein, Mondlicht).
Lassen sich alle Farben als unterschiedlich wahrnehmen, oder
sind einige bei schlechtem Licht kaum auseinander zu halten?
Farbfehlsichtigkeit
genetische Störung der Zapfen

bei ca. 8% der Männer, bei ca. 0,4% der Frauen
• Blau-Gelb-Schwäche
• Rot-Grün-Schwäche
• Farbenblindheit
Überprüfung durch pseudoisochromatische Tafeln
Visuelles System
8 = Rot-Grün-Schwäche
12 = Blau-Gelb-Schwäche
182 = angeblich korrekt
Quelle: www.fielmann.de/sehtest/index.php
Visuelles System
B6 = nicht voll farbtüchtig
B5 = angeblich korrekt
Visuelles System
31 = nicht gut
CH = angeblich korrekt
Dimensionen der Farbwahrnehmung
Helligkeit = Intensität des visuellen Reizes (hell ... dunkel)
– sowohl für eingebettete als auch für isolierte Reize
– relative Helligkeit – Vergleich mit weißer Referenzfläche
(Normierung von Beleuchtung & Umgebung)
Farbton = Wahrnehmung als „rot“, „grün“ usw.

– vereinbarte Namen, kein physikalisches Phänomen
– Farbanmutung ist individuell/kulturell verschieden
Farbsättigung
– Farbigkeit einer Fläche in Bezug zu Modellierung
ihrer Helligkeit von Farben
Lerntipp
Rekapitulieren Sie aus dem Schulunterricht bekannte

Farbmodelle und prüfen Sie deren Bezüge zu den hier
genannten Wahrnehmungsaspekten!
Hören
Rest kann weg
Infraschall → Kompression
0 – 20 Hz
Hörschall
20 Hz – 20 kHz
Ultraschall
20kHz – 1 GHz
Hyperschall
1 GHz – 10 THz
Audio-Begriffe
• Akustik:
Lehre von den mechanischen Schwingungen
• Akustische Signale:
Druckwellenschwankungen in Nutzdaten vs. Störung
(Bereinigung)
Festkörpern, Flüssigkeiten und Gasen
• Audio:
Geräusche, Töne, Klänge, Musik, Sprache, Gesang, …
• Audiosignale:
akustische Signale im Frequenzbereich des Hörschalls
• Audiotechnik:
Verarbeitung und Erzeugung von Audiosignalen
Hörsinn
akustisches Haarzellen im Empfindung im

System Innenohr Hörzentrum
elektrische Signale
Schallenergie
physikalische Realität
psychologische Wahrnehmung
Hören
Charakteristika von Audio-Signalen
• Frequenz
• Druckpegel
• Intensität
subjektive
• Richtung und selektive
• Entfernung Wahrnehmung
• Klangfarbe
http://www.sengpielaudio.com/Rechner-
schallpegel.htm
Schallfrequenz
Frequenz → Tonhöhe Audio-Modellierung
Frequenzverhältnis 2:1 → Oktave
(8 Grundtöne)
Kammerton a = 440 Hz
Schalldruckpegel
Dezibel (dB) gibt den dekadischen Logarithmus eines
Verhältnisses an
→ Pegelmaß ohne Dimension
Bezugspunkt:
– Sinuston von 1kHz bei Schalldruck
von 2.10-5Pa
– vom Menschen gerade noch
wahrnehmbar (Hörschwelle) Alexander Graham Bell
subjektive Unterscheidbarkeit bei Auflösung

Kompression
1/10 des von Bell definierten Werts
Schalldruckpegel
Beispiele
Schallintensität (Lautstärke)
subjektiv !
• von Schalldruckpegel und Frequenz abhängig
• Lautstärkeempfinden in Phon
Rest kann weg
(basiert auf sog. Isophonen) → Kompression
Schallrichtung
räumliches Hören
– Nachhall
– Schallabsorption
– Schallschatten
– Signallaufzeiten
– Richtungsempfindlichkeit
→ Richtung und Abstand
genutzt in Stereoanlagen,
Dolby-Systemen und Installation an der TU Berlin:
bei der Wellenfeldsynthese 832 Kanäle, 2700 Lautsprecher
Klangfarbe
Audio-Modellierung
Frequenz:
– Grundschwingung
– Oberschwingungen
→Verhältnis bestimmt Charakter eines Klanges
– hohe Komponenten = schrill
– tiefe Komponenten = dumpf
ermöglicht Unterscheidung
von Instrumenten, Stimmen
Lerntipp
Vergleichen Sie die Klänge verschiedener Instrumente!

Hören Sie die unterschiedlichen Oberschwingungen bei
gleichem Grundton?
Können Sie die Frequenzanteile in der digitalen
Repräsentation sehen?
Verdeckung in der Psychoakustik
simultane Verdeckung
Kompression
Verdeckung in der Psychoakustik
temporäre Verdeckung
Kompression
Lerntipp
Finden Sie konkrete Beispiele für psychoakustische

Verdeckung im Alltag!
Ist dies für Sie jeweils eher hilfreich oder störend?
Hören und Sehen
Bewegungswahrnehmung
1.retinale Faktoren
(„Objekt bewegt sich.“ „Ich bewege mich.“)
2.Körperempfinden
(„Ich falle.“ „Ich rase.“)
3.Erfahrungen
(„Haus steht.“ „Zug fährt.“)
Vortäuschen von Bewegung
• träge Technik:
Echo/Nachleuchten der Anzeige
• träge Netzhaut:
Bild bleibt für ca. 1/16 bis 1/24 Sekunde bestehen
→ Video als Sequenz von Einzelbildern

Video-Modellierung
Beschränkungen:
• körperliche Bewegungswahrnehmung fehlt
→ Simulatorkrankheit
• Schärfenanpassung auf der z-Achse entfällt
Flimmerfreiheit
• Bewegung über 50-60 Bilder/Sekunde

vom Auge nicht mehr auflösbar
• Helligkeitsschwankungen ab 72-80 Hz
nicht mehr bemerkt
→ flimmerfrei ab ca. 75 Hz Bildwiederholfrequenz
(zeitliche)
Auflösung
Lerntipp
Vergleichen Sie Ihre Wahrnehmung der Flüssigkeit von

Bewegungen bei Displays mit verschiedenen
Bildwiederholraten! Ist das Wettrüsten mit einem
besseren Filmerlebnis erklärbar?
Wiederholung: Sehsinn
Wir nehmen 90% der Informationen mit dem Auge auf!
Leistungsfähigkeit:
– Auge 107 bit/s
– Ohr 20 bit/s
Verarbeitung:
– Auge 107 bit/s
– Hirn 16 bit/s ersetzbar?
inwieweit?
Tastsinn
unser erster Sinn ̶

schon 6 Wochen nach
der Befruchtung entwickelt!
Haut als Tastorgan
Tastsinn im Gehirn
Leistungsfähigkeit
Slowly Adapting (SA1 - Merkel)
für Form- und Texturwahrnehmung
(Punkte, Kanten, Kurven)
• Rezeptordichte im Fingerballen: 100/cm²

• räumliche Auflösung: 0.5 mm
• erkennt Eindellung gut bis zu 1.5 mm
(räumliche)
Auflösung
Bewegungswahrnehmung und Objekteigenschaften
Lerntipp
Was würde Ihnen fehlen,

wenn Sie keinen Tastsinn hätten?
Lerntipp
Was würde Ihnen fehlen, wenn Sie einen fehlenden

Sehsinn durch den Tastsinn kompensieren müssten?
Alternativen zum Sehsinn
Hörsinn für:
• Rauminformationen (Objekte, Bewegungen)
• Informationsaufnahme
(sequentiell)
barrierefreie
Tastsinn für: Nutzungsoberflächen
• Objekte in unmittelbarer Nähe

(bewusst gesteuert)
→ Wahrnehmungs- / Orientierungsprobleme
Konsequenzen von Blindheit
• mangelnder Überblick
• eingeschränkte Motorik durch fehlende optische
Rückmeldung
• Mangel an Lernerfahrungen durch Fokus auf nahes Umfeld

• verzögerte Entwicklung der Lese- und Schreibfähigkeit
• hoher Zeit- und Ressourcenaufwand,
besonders bei großen Textmengen
• Fehlinterpretation des Verhaltens im sozialen Umfeld
Ursachen und Wirkungen im Zusammenhang
Seh- und Tastsinn im Vergleich
Einschränkungen der Computernutzung
• Pixel-Barriere:
Pixelbasierte Bildschirmausgaben sind von textorientiert
arbeitenden Screenreadern nicht lesbar und stellen eine
technisches Problem dar.
• Maus-Barriere: Durch die fehlende Hand-Auge-Koordination
und visuelle Kontrolle der Mauszeiger-Position am Bildschirm
ist eine Computermaus nicht benutzbar. Dies stellt ein
motorisches Problem dar.
• Grafik-Barriere: Grafische Inhalte können oft nur mit
Informationsverlust in nicht-visuelle Repräsentationen
transformiert werden. Das ist ein semantisches Problem.
Software-/System-
Schnittstellen
Lerntipp
Wie viele Kommiliton:innen sind im Studium von

Einschränkungen betroffen?
Ermitteln Sie aktuelle Zahlen!
Menschliche Sprache
DAS Kommunikationsmittel
Vokales System
Stimmbänder
Sprachzentrum im Gehirn
Lerntipp
Drücken Sie mit gesprochener und geschriebener

Sprache das gleiche aus?
Erreicht man Ihr Inneres mit gesprochener und
geschriebener Sprache gleichermaßen?
Immersion und Präsenz
Qualitäten des Mediums Skill

- Auflösung Engagement
- Tonqualität Ästhetik
- Gewicht Flow
- … Usability
Emotionen Präsenz
Qualität der Software
- Selbstverortung
- Antialiasing Hedonik - Soziale Präsenz
- Beleuchtung
Adaptierfähigkeit - Erkennung des
- Texturen
Immersion an Technologie eigenen Körpers
- …
- Realitätsgrad
Intuitivität - Involvement
Komfort-Level
Komfortabel, moderat, intensiv, extrem - …
Objektiv Subjektiv
(Räumliche) Präsenz
„Das Gefühl ‚da‘ zu sein.“
2nd Level
Spatial Presence
High levels of
Hypotheses testing: involvement
Factors related to Medium-as-PERF- Factors related to
perceptual hypotheses perceptual
hypotheses testing hypothesis testing
Suspension of
disbelief
1st Level Spatial Situation Model

(SSM)
Factors supporting Construction of Factors supporting

SSM SSM SSM
Factors attracting Automatic Controlled Factors attracting

user‘s attention attention attention user‘s attention
Media Factors Process Components User‘s Actions User Factors Wirth et. al
MEC Modell for Spatial Presence
60
Lerntipp
Haben Sie sich schon einmal in einer medial

vermittelten Welt präsent gefühlt? Woran lag das?
Konnten Sie das schon einmal bei anderen auslösen?
Prof. Dr.-Ing. habil. Ulrike Lucke
Universität Potsdam
Institut für Informatik & Computational Science
ulrike.lucke@uni-potsdam.de

Fiififow

Hochgeladen von

Dokumentinformationen

Copyright

Verfügbare Formate

Dieses Dokument teilen

Dokument teilen oder einbetten

Freigabeoptionen

Stufen Sie dieses Dokument als nützlich ein?

Sind diese Inhalte unangemessen?

Copyright:

Verfügbare Formate

Fiififow

Hochgeladen von

Copyright:

Verfügbare Formate

Multimedia-Technologie:

Maximaler Raum für Titelbild

Datenstrukturen & Bildungsvorschriften

Algorithmen & Transformationen

Evaluation medialer Angebote

© 2023 Institut für Informatik & Computational Science (IfI) 5

Input Informations- Informations- Output

Codierung Speicherung Abruf

ca. 120 Mio. Sehzellen

3 Sorten von Zapfen in der Netzhaut:

Auflösung ca. 2-10nm

Betrachten Sie einen Ausdruck mit Flächen in verschiedenen

genetische Störung der Zapfen

Überprüfung durch pseudoisochromatische Tafeln

182 = angeblich korrekt

B6 = nicht voll farbtüchtig

Farbton = Wahrnehmung als „rot“, „grün“ usw.

Rekapitulieren Sie aus dem Schulunterricht bekannte

akustisches Haarzellen im Empfindung im

subjektive Unterscheidbarkeit bei Auflösung

Vergleichen Sie die Klänge verschiedener Instrumente!

Finden Sie konkrete Beispiele für psychoakustische

→ Video als Sequenz von Einzelbildern

• Bewegung über 50-60 Bilder/Sekunde

→ flimmerfrei ab ca. 75 Hz Bildwiederholfrequenz

Vergleichen Sie Ihre Wahrnehmung der Flüssigkeit von

unser erster Sinn ̶

• Rezeptordichte im Fingerballen: 100/cm²

Was würde Ihnen fehlen,

Was würde Ihnen fehlen, wenn Sie einen fehlenden

• Objekte in unmittelbarer Nähe

• Mangel an Lernerfahrungen durch Fokus auf nahes Umfeld

• Fehlinterpretation des Verhaltens im sozialen Umfeld

Wie viele Kommiliton:innen sind im Studium von

Drücken Sie mit gesprochener und geschriebener

Qualitäten des Mediums Skill

1st Level Spatial Situation Model

Factors supporting Construction of Factors supporting

Factors attracting Automatic Controlled Factors attracting

Haben Sie sich schon einmal in einer medial

Konnten Sie das schon einmal bei anderen auslösen?

Das könnte Ihnen auch gefallen