Bedeutung zuzuweisen, den Sprach-
Wu nder
vverk B iLder
buch 0der: Die KompLexität muLtimodaLer Texte
arlene Zöhrer
WAS BEDEUTET MULTIMODAI? Wer sich mit Bilderbüchern
beschäftigt, begegnet dabei immer wieder dem Begriff
des multimodalen (Gesamt-)Textes; unbestritten ist das
Medium Bilderbuch multimodal, schließlich nutzt es un-
terschiedliche Zeichensysteme bzw. Zeichenmodalitäten
(Sprache, Bild, Tlpografle), um zu kommunizieren, zu
informieren, zu erzählen. Multimodale Texte deflnieren
sich dadurch, dass mindestens zwei Zeichenmodalitätenl
strukturell und funktional integriert werden.. Dies trift
nicht allein auf das Bilderbuch zu, wie Hartmut Stöckl
betont, der Multimodalität als ein >vergleichsweise ein-
faches und alltägliches Phänomen< bezeichnet: >Wir
kennen eine Vielzahl multimodaler Texte. Sie treten
uns über Medien entgegen [...]. Gedruclte Texte setzen
Sprache (Schrift) und Bild zueinander in Beziehung, Ra-
diotexte integrieren gesprochene Sprache, Geräusche
und Musik, und in audiovisuellen Texten verbindet sich
potenziell ein Maximum an Zeichenressourcen: Sprache
(geschrieben und gesprochen), Bild (statisch und bewegt),
Ton (Musik und Geräusch). Fügt man hier nonverbale
Zeichensysteme wie Gestik, Mimik und
Körperhaltung sowie paraverbale se-
miotische Ressourcen wie Intonation,
Stimmgestaltung oder T]4rografie und
ALL
Layout hinzu, [...].<3, wird klar, dass
wir von multimodalen Texten umge-
ben sind. >[A]ll texts are multimodal<a
spitzen Gunther Kress und Theo van
Leeuwen diese Beobachtung zu. Und MULt
verweisen dabei auf die Tatsache, dass
Kommunikation stets mehrere Zeichen- Gunther Kress & Theo van Leeuwen
systeme kombiniert. Das Verständnis
von Text, das all diesen Aussagen und
4 Feststellungen zugrunde liegt, ist ein
unterschiedlichen Ebenen mani-
-
semiotisch erweiterter Textegriff, der neben Sprache (ge-
sprochen und geschrieben) Bilder (bewegt und unbewegt)
ebenso einschließt, wie etwa Musik oder Geräusche.
M U tTl MO DAUTAT I M B I tD ERBU CH. Der Begriff Multimodali-
tät ist sowohl im aktuellen medienwissenschaftlichen als
auch im (bild)linguistischen Diskurs6 ein zentraler Begrifi
der zunehmend auch in und ftir die Bilderbuchforschung
fruchtbar gemacht wird. Karin Vach betont, dass frir das
Bilderbuch der Begriff der Multimodalität zutreffender
ist rals der des (Zeichen-)Codes, denn er hebt die form-
bare und sinnrelevante Materialität der Zeichen hervor
und gibt dem Sinnlichen bzw. der sensorischen Wahr-
nehmung Priorität. Im Gegensatz zu >Code< rekurriert
rModalität< folglich nicht nur auf das Zeichensystem, son-
dern ist umfassend als eine Slmthese aus Zeichensystem
(Code, Konvention), Medium (Materialität, Technologie)
und Zeichentyp (Wahrnehmungskanal) zu verstehen.<i
Das Bilderbuch, das in der Regel Sprache (geschriebener
Text), Bild und Tlrpografle - in einigen Fällen auch Ton
(Musik, Geräusche) sowie gesprochene
- aufeiner Sehfläche (Buchseite
Doppelseite) und in einer spezifi-
Abfolge innerhalb des materiell
Buchblocks (Pappe, Pa-
Pop-Up, Leporel-
zwischen zwei Buchdeckeln
ist demnach als Geflecht
kommunikativer Einhei-
ebenso alltäglich wie komplex. Es
lesend zu erschließen, erfordert die Fä-
higkeit, >Sorten bzw. Tlrpen von Bildern
kategorisierend zu erkennen, dem Bild
eine im Verwendungskontext relevante
text im Abgleich mit der visuellen
Botschaft zu verstehen, semantisier-
te Sprache und kontextualisiertes
Bild zu integrieren sowie die Bild-
D ie Reze ptio n
von
lichkeit der Sprache und der Text-
fläche bzw. des Schriftkörpers in
den Prozess des Gesamtverstehens
einzubeziehen.<8 Die Rezeption von
BiLderbü
Bilderbüchern ist also alles andere
als ein Kinderspiel und multimoda-
le Kompetenz eine Grundkompe-
tenz und Kulturtechnik . and
IS
Insbesondere, wenn es darum
geht, Wahrnehmung, Wirkung und Ki
Aussage eines Bilderbuchs zu be-
schreiben oder zu analysieren, zeigt
sich die Komplexität des intermoda-
len Textes, die aus der Kombination
der unterschiedlichen Modalitäten
resultiert: Die Verbindung der einzelnen Modalitäten
keine Addition von Bedeutungen oder Aussagen, es han-
delt sich vielmehr um ein Geflecht aus
und Wechselwirkungen - Bild und Sprache, Sprache und
Tlrpografle, Tlpografie und Layout, Layout und Bild - sie
alle wirken in Abhängigkeit der Materialität des Medi-
ums wechselseitig aufeinander, ergeben im Zusammen-
spiel ein semiotisches Geflecht, das weit mehr ist als die
Summe der Einzelteile. Hinzu kommt, dass die Gewich-
tung und Funktion der Zeichenmodalitäten von Bilder-
buch zu Bilderbuch variiert. Um den multimodalen Ge-
samttext und seine Bedeutung zu erfassen, ist es daher
zentral sowohl die einzelnen Zeichenmodalitäten in ih-
rer individuellen Ausgestaltung als auch ihr Zusammen-
spiel zu erfassen. Es gilt also zu fragen und zu untersu-
chen, >was jede Modalität für sich allein zum komplexen
Ganzen tatsächlich beiträgt [und] welche Informationen
rlediglich< aus der Tatsache entstehen, dass mehrere Mo-
dalitäten miteinander kombiniert werden. Zeichenmoda-
litäten, die in Kombination vorkommen, müssen immer
auch mit Blick auf ihre gegenseitigen Wechselwirkungen
interpretiert werden und können nicht allein unabhlingig
voneinander betrachtet werden.<lo
Das von Michael Staiger entwickelte Modell zur Bil-
derbuchanalyse greift diese Anforderung in seiner mehr-
dimensionalen Ausrichtung auf, indem es sechs eng mit-
einander verbundene Dimensionen benicksichtigt, die
zunächst geftennt untersucht werden sollen, um darauf
aufbauend den multimodalen Gesamttext zu betrach-
a
D ten.lr Folgende Dimensionen gilt es demnach zu berück-
6
a
sichtigen:
4
a grafle, der Integration von Schrifttext in die Bilder, oder
@
'a
a
1 die paratextuelle und materielle Dimension
@ 2 die verbale Dimension
o
^; 3 die bildliche Dimension
a
4 die intermodale Dimension
d
o
5 die narrative Dimension
fr
t 6 die kontextuelle Dimension.
.o
lu
Dass die schritmreise Analyse der Dimensionen (ein-
-a
o zeln und in Kombination) keinesfalls als universeller
fr
)td Lösungsweg gesehen werden will und kann, versteht
sich,- mit Blick auf die Vielfalt, die sich im Bilderbuch auf
festiert - von selbst. Ein schlichtes
oder gar starres Abarbeiten einer
Checkliste würde keinem Bilder-
buch, dessen Individualität ocier
semiotischen Komplexität gerecht
werden.l2 Hinzu kommt, dass sich
je nach Funktionszuweisung an das
Medium, Rezeptionskontext oder
)Interesse, Blickwinkel
verschieben.
der Bil-
UND IHRE FOI-GEN.
ist als Ge-
um so attraktiver,
Mediums seit der
- nicht zuletzt
voranschreitenden
stetig wachsenden Ein-
scheint.l4 )Die
auf dem Buchmarkt zeigen, dass
Bilderbücher vermehrt mit gestalterischen und ästheti-
schen Raffinessen auflrumpfen, möglicherweise, um den
ebenfalls Text-Bild kombinierten neuen Medien und ihrer
glatten Bildschirmästhetik Sinnlichkeit entgegen zu set-
zen [...].<15 Sarah Wildeisen weist mit dieser Feststellung
bereits 2013 aufzwei Entwicklungen hin, die sich in dei
Bilderbuchproduktion der letzten Jahre weiter verfestigt
haben und die eng mit der Digitalisierung unserer Le-
benswelt und der Buchherstellung zusammenhängen. So
hat sich einerseits eine in vielerlei Hinsicht allzu glatte,
jegliche Individualität bzw. Vielschichtigkeit entbehren-
de Anmutung digital erstellter Bilder etabliert. Diesen
oft lieblich-süßen Bildwelten, die sich in monochromer
Farbgebung, monotoner Linienführung und austausch-
barer Figurenzeichnung (an)gleichen, steht andererseits
eine Vielzahl an ästhetisch ansprechenden, digitalen oder
digital nachbearbeiteten Bildern gegenüber: Inöviduelle
Zugänge und innovative oder zumindest gekonnte Ver-
wendung digitaler Zeichenwerkzeuge, die eine handwerk-
liche Asthetik (Buntstift, Thsche, Aquarell, Pinselstrich,
Farbauftrag etc.) imitieren, aber auch digital erstellte Kol-
lagen ermöglichen reizvolle und vielschichtige Bilder, die
jenen Werken, die ursprünglich auf Papier oder Leinwand
gezeichnet oder gemalt wurden, in nichts nachstehen.
Gestalterische und ästfietische Raffinessen zeigen sich je-
doch nicht nur in der Anmutung, die die handwerkliche
Gemachtheit der Bilder erkennen lässt und die sinnliche
Wahrnehmung betont, sondern auch im Spiel mit Tlpo-
in der materiellen Beschaffenheit, die beispielsweise
filigrane Lasercut- oder KlappElemente ebenso selbstver-
ständlich wie kreativ einsetzt. Die gsestalterischen Fines-
sen, derer sich die Bilderbuchmacher:innen hierbei bedie.
nen, sind maßgeblich an technische/digitale Neuerungen
und Möglichkeiten geknüpft, die es erlauben, eine auf-
wändige (Re-)Produktion so umzusetzen, dass auch diese
Bilderbücher fiir Rezipient:innen erschwinglich bleiben.
Auch die Anreicherung mit Augmented Reality- oder Au-
dio-Elementen, die über Tablet/Smartphone oder spezielle
Hilfsmittel (Stift, Figur) betrachtet und angehört werden 5
 Ein Leben ohne + l\nmerkunqen E[[en Fricke: Grammatik muttimodat. Wie
7
diesen l(inder- L Hartmut stöckt benennt und unterscheidet
fünf Zeichenmoda[itäten: Sprache, Bitd,
Wörter und Gesten zusammenwirken. Berlin/
Boston: De Gruyter 2012.
kalender geht nicht.' Typografie, lvlusik, Geräusch [2006, S. 24); Margarete Hopp: Das Bitderbuch als lkonotext.
zur Diskussion und abweichenden Defini-
Es geht einfach nicht, tion und Verwendung des Begliffs vg[. Witd-
Ein narratotogisches [4odetI der Bilder
buchanalyse und die funktionale Bedeutung

so sehr man sich feuer, J./Bateman, L A./Hiippata, T. (2020). der Erzähtperspektlve für die Gestaltung von

auch anstrengt. +
a, tt Z vgl. Fricke (2012),5.49f.
:6 stöckl [2011), s.4s.
/l Kress/leeuwen (1998),5. 186.
Georg Patzer, Titel Magazin 5 Ulta Fix beispielsweise fordert: >Texte müs-
sen als Komptexe von Zeichen verschiedener
Zeichenvorräte betrachtet werden(, Fix
lllllllllil|ll|il|illlililt (2001),5. 118, Zur Entwicklung, Diskussion
und Kontrovetse um den Textbeqriff vql.
Emotionatität im psychologischen Bilder-
buch. ln: Bettina Uhtig/Gabriete Lieber/trene
Pieper IHg.): Erzähten zwischen Bitd und
Text. München: kopaed 2019, 149-164.
Gunter Kress/ Theo van leeuwen: MuttimodaI
Discourse. lhe Modes and Media of Contem-
porary [ommunication. London/New York:
HodderArnotd 2001,

t
Adamzik [2016), S. 40 97. Gunter Kress/ Theo van Leeuwen: Reading

KßL€Ii{n6R zcas 6 Auch im pädagogischen Diskurs spiett tvtulti-

modatität zunehmend eine Rolte; Förderung
lmages. The Grammar of Visual Design. Lon-
don/New York: Rout[edge 1996.
und Schutung muttimodaler Kompetenzen Bettina Kümmerling-Meibauer: Geschichte des
Xta 2t: d h riliot h. t Mil n. h. il werden ängesttebt. Bilderbuchs und seiner Gattungen. ln: Ben

6,
v 7 Vach (2022). Typografie. S. 121 unter Bezug-
können, sowie die medienübergreifende Verknüpfung mit (zumeist
audio-visuellen) Inhalten, die über das Internet zur Verfügung gestellt
werden, ist eine Veränderung bzw. Erweiterung (durch die Zeichen-
modalität Ton/Geräusch), die sich durch die digitalen Medien fiir das
Moritz
Bilderbuch ergeben.
till-ilIRBUell l.t-llt /il.t.F SiNN[. Auf narrativer Ebene fungieren die di-
gitalen Medien als Impulsgeber ftir intermediale Bezüge, die über
die bereits fest etablierten Bezüge und Verweise aufBildende Kunst,
Theater, Film, Comic, Werbung oder Hörspiel hinausgehen. Neben
der Integration von Cornputer(spielen), Tablet, Smartphone, Internet
oder Messenger/Chatnachrichten im Rahmen der Abbildung kindli-
cher Lebenswelten oder expliziter Thematisierung findet insbesonde-
re der Aspekt der Interaktivität, der charakteristisch ist ftir digitale
Medien, als ludisches Element Eingang in das Bilderbuch. Inszeniert
wird hierbei meist eine wechselseitige I(ommunikation von Sender
(Erzählinstanz oder Figur) und (Vor-)Leser:innen, Betrachter:innen und
Zuhörer:innen, die Zweiteren eine aktive Rolle und die Möglichkeit
zuschreibt, in den Handlungsverlauf einzugreifen. Die jungen Rezi-
pient:innen werden nicht mehr nur direkt angesprochen, sie werden
explizit aufgefordert, mit dem Buch als Medium zu interagieren, auf
die Seiten zu pusten, das Buch zu drehen, zu schütteln, Klappen zu
öffnen oder schnell umzublättern. Mitmachbilderbticher wie I(arsten
Teichs >Suchst du Streit(l.,, Jörg Mühles Hasenkind-GeschichtenlT oder
nahme auf Schneider/stöckt 20r1, 5. 26.
B Stöckt (2011). Sprache-Bitd-Texte lesen.
5.45.
9 Ebd.
10 Witdfeuer/Bateman/Hiippata [2020), S. 20.
1i- Staiger (2022) 5. 6 ff; das Anatysemode[[
wurde erstmals 2014 pubtiziert und 2022
um eine sechste Dimension erweiteft.
Weitere Anatysemodelle frnden sich bei
N4agarete Hopp [2019, narratotogisch) oder
Tobias Kurwinkel [2020, narratoästhetisch),
Sarah Witdeisen (2013, bitdfokussiert).
1e Staiger (2022) 5. 6 ff.
L3 Auf die Verwendung des Begriffs Neue
Medien wird verzichtet, da die >Sammet-
bezeichnung >Neue N4edien( für neuartige
[4ögtichkeiten der Speicherung und/oder
Übermitttung von tnformationen Iist] inso-
fern problematisch Iist], ats natürtich jede
Epoche ihre eigenen >neuen< lvledien hat.
[...] eine atternative Bezeichnung ist u.E.
>digitale N4edien< (vgt. etwa Hotty/Jä9er
2011 oder Dang-Anh et at.20I3), Dabei
handett es sjch in der Regel um lvledien,
welche Text, Gräfik, Bitd und Ton kombinie-
ren können, Daten digitat speichern bzw,
übertragen, wobei die Übertragung über
Datennetze läuft.< Burger/Luginbüht (2014),
s.445.
.14 Einen Überbtick über die Geschirhte des Bit-
derbuchs gibt z.B. Bettina Kümmertlng-lt4ei-
bauer in Dammers /Krichel /Staiger (2022).
:15 Witdeisen (2013),5. 3.
16 Karsten Tei[h: Suchst du Streit. Hinstorff
2015.
Dammers/Anne K.ichet/l\4ichael Stal ger: Das
Bitderbuch. Theoretische Grundlagen und
anatytische zugänge. Berlin: J.B. Metzler
2022,29 62.
Tobias Kurwinkel: Bilderbuchanalyse.
Narrativik - Asthetik - Didaktik. Tübingen:
A. Francke/utb 2020.
Jan Georg Schneider/Hartmut Stöckl: N4edien-
theorien und [4ultimodatität. Zur Einfüh-
rung. ln: Dies. IHg,): lt4edientheorien und
N4ultimodatität. Ein TV-Werbespot - Sieben
Beschreibungsansätze. Kötn: Herbert von
Hatem 2011,10-38.
Frank Serafini: Reading the Visual. An Introduc-
tion to Teaching MultimodaI Literäry. New
York/London: Teachers Coltege Press 2014.
Michael Staiger: Erzäh[en mit Bitd-Schrift-
text-Kombinationen. Ein fünfdimensionates
Ivlodett der Bi[derbuchanalyse. In: Julia
Knopf/Utl Abraham (Hg.): Bild'erBücher.
Theorie. Battmannswei[er: SchneiderVertag
Hohengehren 2014, 12-23.
SMichae[ Staiger: Kategorien der Bi[der-
buchanatyse - ein sechsdimensionates
I\4odell. In: Ben Dammers/Anne Krichet/
N4ichaeI Staiger: Das Brtderbuch, Theoreti-
sche Grund[agen und önalytisrhe Zugänge.
Bertin : J.B. Melzlet 2022. 3 27 .
Hartmut Stöckl: Zeichen, Text und Sinn -
Theorie und Praxis der muttimodaten
Textanatyse, ln: Eva N4aftha Eckkrammer/
Gudrun Hetd (Hg.): Textsemiotik. Studien
zu multimodaten Texten. Frankfurt a. [4.:
Peter Lang 2006, II-36.
r8,- [Dl / r8,5o [A]
4o S., €
Hartmut Stöckl: Sprache Bitd-Texte lesen.
ISBN 978 3 89J6J 43o j
Bausteine zur [4ethodik einer Grundkompe-

v >Bitte aufmachen!< von Michael Escoffier und Matthieu Maudetl8 ma-
chen die Lesenden zu Akteur:innen, ähnlich wie dies in Spiele- und
aufi,vändig produzierten Bilderbuch-Apps praktiziert wird. In )Bitte
aufmachen< wird dabei, über die spielerisch eingesetzten Klappen, die
17 z.B. Jörg Müh[e: Nur noch kurz die 0hren
krau[en. I\4oritz 2015 / ]örg N4ühte: Badetag
für Hasenkind. Motilz2016 I Jötg tr4ühte:
Tupfst du noch die Tränen ab, lvloritz 2017.
1B Michael Escoffier und Matthieu Maudet:
tenz. ln: Hajo Diekmannshenke/Michaet
Ktemm/Hartmut Stöckt IHg.): Bitdtinguistik. Torll Gauld erzählt und zeichnet eine
Theorien - [4ethoden - Faltbeispiete. Bertin: märchenhafte Geschichte voller
Erich Schmidt 201I, 43-7 0.
Geschwisterliebe und Abenteluerturn,

6t
Bitte aufmachen! N4oritz 2014.
Leser:inneninteraktion mit der oben bereits angesprochenen Materi- 'J9 Kümmerling-Meibauer (2022),
5. 52.
alität kombiniert.
Bettina Kümmerling-Meibauer sieht )die Akzentuierung der ma- Sr:kundär IitcrirtUr
Kirsten Adamzik: Textli nguistik. Berti n/Boston:
terialen Aspekte im zeitgenössischen Bilderbuch< als einen Trend des
de Gruyter 2016.
Bilderbuchs im 2l.Jahrhundert. >Dabei wird einerseits angestrebt, alle
Harald Burger/Martin Luginbühl: lvledien-
frinf Sinne anzusprechen, anderseits eine Verbinclung von Materiali- sprache: Eine Einführung in Sprache und
Kommunikationsformen der Massenmedien.
tät und Interalftivität zu erreichen.<le Interaktion mit dem Bilclerbuch
Bertin/Boston: de Gruyter 2014.
ist zwar nicht neu, jedoch scheinen Fühlbuch, Mitmachbilderbuch, Ben Dammers/Anne Krichel/Michael Staiger
Pop-Up-Bilderbuch, Sound-Book und auch Spielbilderbuch als Reak- (Hg.): Das Bi[derbuch. Theoretische Grund-
tagen und analytische Zugänge. Bertin:
tion auf die digitalen Medien eine Hochphase zu erleben. Weil die
l.B. Metzter 2022.
veränderten Druck- und Produktionstechniken dies überhaupt erst er- Heten de Silva Joyce/ John Gaudin: Words &
möglichen und um - so scheint es - mit den digitalen Medien in einen Pictures. A lvlultimodatApproach to picture
produktiven Austausch zu gehen. So kommt es einerseits zu einer Er- Books. Sydney: Phoenix Education 2011.
Ulla Fix: Zugänge zu Stitats semiotisch kom-
weiterung der Modalitäten (2.B. Ton) und Medienkombinationen, an- plexer Einheit. ln: Eva-N4aria Jakobs/Anne[y
Karin Vach: Typografie und Layout im Bi[der-
buch. ln: Ben Dammeß/Anne Krichel/
die derzeit weltweit mit Lob und Preis
überhäuft wird.
MichaeI Staiger: Das Bilderbuch. Theoreti-
sche GrundLagen und analytische Zugänge.
Bertin: J,B. Metzler 2022. 119-135.
Sarah Wildeisen: Kunst am Bitderbuch. Aspekte
einer bitdfokussierenden Bitderbuchana-
,;i.l
lyse, ln: kjt&m 13,1 (2013),3-10.
ti.1
Janina Wildfeuer/ John A. Bateman/ Tuomo
Hiippata: I\4uttimodatität. Grundlagen,
i
Forschung und Analyse - Eine probtemorien-
tierte Einführung. Boston/Berlin: de Gruyter
2020.
Marlene zöHRER ist Professorin für Kinder- und
Jugendliteratur und Deutschdidaktik an der
Pädagogischen Hochschute Steiermark und Lei-
terin des dortigen KiluLjt Zentrums für For

www.moritzverlag.de
dererseits setzt das Bilderbuch die eigene Materialität, die es den glat-
ten Bildschirmen voraus hat, gezieit ein und in Szene.
Rothkeget IHg.): Perspektiven auf Stil.
Bertin: De Gruytet 200I.113-126.
schung und Didaktik der Kinder- und Jugend-
literatur. Sie ist ständige Autorin für 1001 Buch. Morrtz
ww\,\i. 111 or:i tzrze r I ag. de-: