Sie sind auf Seite 1von 29
User-based Assessment in Games Seminararbeit Philipp Hinderer KOM-Multimedia Communications Lab Fachbereich

User-based Assessment in Games

Seminararbeit Philipp Hinderer KOM-Multimedia Communications Lab

Philipp Hinderer KOM-Multimedia Communications Lab Fachbereich Elektrotechnik und Informationstechnik

Fachbereich Elektrotechnik und Informationstechnik Fachbereich Informatik (Zweitmitglied)

Fachgebiet Multimedia Kommunikation Prof. Dr.-Ing. Ralf Steinmetz

User-based Assessment in Games Seminararbeit KOM-Multimedia Communications Lab

Eingereicht von Philipp Hinderer Tag der Einreichung: 05. Februar 2013

Gutachter: Dr. Stefan Göbel Betreuer: Johannes Konert

Technische Universität Darmstadt Fachbereich Elektrotechnik und Informationstechnik Fachbereich Informatik (Zweitmitglied)

Fachgebiet Multimedia Kommunikation (KOM) Prof. Dr.-Ing. Ralf Steinmetz

Ehrenwörtliche Erklärung Hiermit versichere ich, die vorliegende Seminararbeit ohn e Hilfe Dritter und nur mit

Ehrenwörtliche Erklärung

Hiermit versichere ich, die vorliegende Seminararbeit ohn e Hilfe Dritter und nur mit den angegebenen Quellen und Hilfsmitteln angefertigt zu haben. Alle Stelle n, die aus den Quellen entnommen wurden, sind als solche kenntlich gemacht worden. Diese Arbeit hat i n dieser oder ähnlicher Form noch keiner Prüfungsbehörde vorgelegen.

Darmstadt, den 05. Februar 2013

Philipp Hinderer

Inhaltsverzeichnis 1 Einleitung 1 2 State of the Art 3 2.1 Minecraft . . .

Inhaltsverzeichnis

1 Einleitung

1

2 State of the Art

3

2.1 Minecraft

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

5

2.2 Little Big Planet

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

6

2.3 Draw Something

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

7

3 Einflüsse auf die Effektivität von Feedback

 

9

3.1 Kriterien für die Bewertung

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

9

3.1.1 Qualitative und quantitative Elemente

 

11

3.1.2 Zeitpunkt und Umgebung

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

12

3.2 Typen und Ebenen von Feedback

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

13

4 Generalisierung der Kriterien für Nutzerbewertung

 

15

4.1 Modell eines Bewertungsformulars

 

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

15

4.2 Anwendung des Modells

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

16

5 Ausblick

19

Literaturverzeichnis

 

19

Abbildungsverzeichnis 2.1 Minecraft Screenshot . . . . . . . . . . .

Abbildungsverzeichnis

2.1

Minecraft Screenshot

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

5

2.2

Little Big Planet Screenshot

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

6

2.3

Draw Something Screenshot

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

8

4.1

Modell für das Erstellen eines Bewertungsfragebogens

 

16

1 Einleitung Immer mehr Computer- und Videospiele, sowohl aus dem Bereic h der rein kommerziellen

1 Einleitung

Immer mehr Computer- und Videospiele, sowohl aus dem Bereic h der rein kommerziellen Games als auch dem der Serious Games, stellen den Spieler vor kreative Aufgaben. Oft handelt es sich dabei um grafische Aufgabenstellungen, wie die Anfertigung einer Zeichnung oder das Erstellen von Level- strukturen. Aber auch andere Themen, zum Beispiel das Schre iben eines Textes, wären denkbar. Solche kreativen Problemlösungen können durch die Spieler vollkommen unterschiedlich bewältigt werden. Bit- tet man zum Beispiel zwei Personen einen Baum zu zeichnen, so bleibt die Wahl der Farben oder des Zeichenstifts (sofern es eine Auswahl gibt) ihnen überlass en. Auch die Komposition des Bildes an sich und somit die Gestaltung des Baumes, kann man nicht vorhersagen. Trotzdem stellt sich die Frage, wie man erkennen kann, ob und mit welcher Qualität eine Aufgabe e rfüllt wurde. Durch den Computer sind die Ergebnisse algorithmisch jedenfalls nur schwer zu bere chnen. Bewegt man sich in Kategorien wie Ästhetik eines Bildes, oder dem Spaßfaktor eines Levels, hat man es ohnehin mit sehr subjektiven Maß- stäben zu tun. Besonders der Spielspaß lässt sich bisher noc h nicht sinnvoll einstufen [2]. Aus diesem Grund wird meist auf eine nutzergestützte Bewertung zurückgegriffen.

Ein real existierender Nutzer kann anhand bestimmter Krite rien schnell und einfach entscheiden, ob die Lösung eines Problems gut oder schlecht ist. Die Bewertu ng durch andere Personen hilft dem Spieler seine schwer messbare Lösung vergleichbar zu machen. Der Spieler erhält somit einen Anhaltspunkt, wie gut seine Fähigkeiten im Bezug auf die Aufgabe ausgepräg t sind. Je nachdem, wie ausführlich das Feedback ist, das ein Nutzer auf diese Weise erhält, kann die Bewertung helfen, ähnliche Aufgaben in Zukunft besser zu meistern. Ist die Aufgabe schwieriger ode r abstrakter kann eine Bewertung auch hel- fen, das allgemeine Verständnis zu verbessern. Ein Spieler, der einen Baum gemalt hat, lernt also nicht nur bessere Bäume zu zeichnen, sondern verbessert generell seine Zeichenfertigkeit. Somit vermittelt die Kommunikation mit anderen Spielern einen Lerneffekt [5]. Wie in einem Klassenzimmer kann gerade die Kommunikation unter den Nutzern einen großen Beitrag zu m Erreichen von Lernzielen bedeuten [4]. Dies steht im Kontrast zu der alleinigen Bewertung durc h das Spiel. Bei der Anwendung von nut- zerbasierter Bewertung muss man jedoch darauf achten, wie bewertet werden soll. Studien zeigen, dass die Art von Feedback nicht nur positive, sondern auch negati ve Auswirkungen haben können [6] [1]. Falsch platzierte Kritik kann demotivieren und Lob ohne wei tere Ausführungen kann einen Nutzer dazu verleiten, sich auf seinen Lorbeeren auszuruhen. Für ein Spiel gilt es also, darauf zu achten, zu welchem Zeitpunkt bewertet wird, wie genau die Bewertung erfolgt, also welche Punkte ein Nutzer bei einer Be- wertung abarbeitet und in welcher Umgebung ein Spieler bewe rtet wird. Passen all diese Kriterien zu dem jeweiligen Spielgenre kann der Effekt, den die Bewertun g auf einen Spieler hat, vergrößert werden.

In dieser Abhandlung werden zunächst anhand einiger Beispi ele die bereits genutzten Formen von nutzerbasierter Bewertung in Spielen aufgezeigt, auch wen n diese Methode derzeit selten wirklich prak- tiziert wird. Aus Zeitgründen kann dabei nur auf einige präg nante Genres eingegangen werden. Danach werden die allgemeinen Kriterien für nutzerbasierte Bewer tung (nicht nur aus dem Bereich der Spiele, sondern auch ein Schulklassenkontext ist denkbar) erarbei tet und aufgestellt. Mit diesen Kriterien wird zunächst ein genreunspezifisches Modell für nutzerbasiert e Bewertung aufgestellt, welches im Anschluss auf ein ausgewähltes Genre zugeschnitten wird. Wegen der Vi elfalt an Spieltypen können hier unmöglich alle Arten von Spielen betrachtet werden. Im letzten Schrit t werden die Ergebnisse zusammengetragen und ein Ausblick auf die Zukunft der nutzerbasierten Bewert ung gegeben.

2 State of the Art In moderneren Spielen werden Bewertungen durch Nutzer in de r

2 State of the Art

In moderneren Spielen werden Bewertungen durch Nutzer in de r Regel bei sogenanntem "user-generated content" verwendet. Dabei handelt es sich um Level oder ande re Spielinhalte, die mit Hilfe von Editoren von Spielern erstellt werden können. Ein Spieler kann einfach aus einer Palette die Objekte seiner Wahl auswählen und platzieren, wie zum Beispiel bei dem Spiel Little Big Planet (siehe gleichnamiges Kapitel). Ob er sich dabei selbst einer konkreten Aufgabe stellt (baue ein Haus, male einen Baum), oder ob das simple Erschaffen ihm in erster Linie zum Spielspaß dient bl eibt dem Spieler überlassen. Nur manchmal wird von der Seite des Spiels einem Nutzer eine wirklich konkrete Aufgabe gestellt, dann fehlt dieser entweder der kreative Teil (bei Point-and-Click Adventure s wie Myst gibt es zum Beispiel nur einen Weg, wie man weiterkommt), oder sie wird hauptsächlich vom Compu ter bewertet (bei der Devil May Cry- Serie und fast immer beim Hack-and-Slay-Genre bewertet der Computer die Performance eines Spielers in einem Level).

Ein Nutzer kann nun die generierten Inhalte (über das Spiel s elbst) anderen Spielern zur Verfügung stellen. Plattformen für diese Inhalte ermöglichen dann di e gezielte Suche nach gut bewerteten Inhalten und weisen automatisch auf beliebte Inhalte hin (auch hier d ient Little Big Planet als gutes Beispiel). So können Nutzer ihre Level oder andere Spielinhalte einfach verbreiten und von anderen Nutzern Bewer- tungen erhalten, sofern dies möglich ist über die Verbreitu ngsplattform selbst. In diesem Fall wird dann vorgegeben auf welche Art einem Spieler Feedback gegeben wi rd. Spiele wie Infamous 2 (ein Action- Adventure, das Spielern erlaubt, eigens erstellte Level im Hauptspiel zu platzieren) nutzen eine einfache Sternwertung für ein qualitatives Feedback, während Spiel e wie Little Big Planet darüber schon hinaus- gehen (s.u.). Ansonsten können einfache Kommentare oder Nachrichten an den Spieler als Bewertung herhalten. Teile von Social Media Anwendungen oder direkt e ine Unterstützung von Social Media finden sich in einigen Plattformen für Spielerinhalte wieder. Da S piele teilweise für zusätzliche Inhalte ohne- hin schon auf Netzwerke wie das Playstation Network oder Steam zurückgreifen, können diese Systeme auch genutzt werden, um Nachrichten zu schreiben und Freund e hinzuzufügen. Little Big Planet nutzt die Playstation Network Accounts und auch Spiele wie Counterstrike (ein beliebter Ego-Shooter, der mit einer großen Basis an Fans auch viele Spieler hat, die eigene Levels erstellen), die mit Steam arbeiten, haben zwar keine direkte Verbreitungsplattform, aber Ansätze des Social Media. Man kann sich so über neue Inhalte austauschen, um deren Bekanntheitsgrad zu ste igern, oder sogar weiteres Feedback in Form von Meinungen und Hilfestellungen erhalten, respektive ve rgeben.

Ist ein Inhalt einmal hochgeladen, kann jeder andere Spiele r diesen ansehen, um sich ein eigenes Bild von der Qualität (des Levels, etc.) zu machen. Danach hat der Nutzer die Möglichkeit mit vordefinier- ten Fragebögen den Inhalt zu bewerten. Solche Fragebögen können und sollten je nach Aufgabestellung und Genre unterschiedlich ausfallen. Sie können von einfac hen Zahlangaben (zum Beispiel 4 von 5 Ster- nen oder ähnliches), bis hin zu Textfeldern reichen. Dabei u nterscheidet man in erster Linie zwei Arten von Bewertungselementen, die quantitativen und die qualit ativen Elemente. Quantitative Elemente er- möglichen die Vergleichbarkeit der Werte zwischen verschi edenen bewerteten Inhalten. Welcher Art sie sind und auf welcher Skala quantitative Elemente operieren ist dabei irrelevant, sie zeigen hauptsäch- lich, wie ein Bewertungsgegenstand einzustufen ist (ähnli ch einer Highscore-Liste). Qualitative Elemente hingegen erlauben einem Bewerter andere Möglichkeiten. Me ist sind es Textfelder oder ähnliche freie Möglichkeiten, die erlauben konkret auf einen Inhalt oder e inen Nutzer einzugehen und so Besonderhei- ten oder gar Defizite der jeweiligen Lösung aufzuzeigen. Sie erlauben es einem Spieler die Bewertung zu verstehen, selbst zu reflektieren, wie man ein solches Problem besser lösen kann und letztendlich zu lernen. Je besser ein qualitatives Element (und dessen spät erer Inhalt) auf eine Aufgabe zugeschnitten

ist, desto größer ist der Lerneffekt [1]. Besonders letztere Feedbackarten ermöglichen viel präzis eres und

ist, desto größer ist der Lerneffekt [1].

Besonders letztere Feedbackarten ermöglichen viel präzis eres und individuelleres Feedback, jedoch kann man sie schwer für eine allgemeine Wertung verrechnen. Der Unterschied zwischen einem "sehr gut" und einem "toll" ist semantisch kaum abzugrenzen, erst recht, da kreative Aufgaben von sich aus schwer vergleichbar sind. Schließlich muss ein Baum, der mi t einer anderen Stiftart gemalt wurde nicht zwangsläufig schlechter sein. Für die meisten Spiele, die se hr oft einen Highscore Gedanken beinhalten, der die Konkurrenz unter den Spielern steigern soll, ersche int eine reine qualitative Bewertung also un- praktisch.

Eine Qualitätsangabe in Form von Zahlenwerten hingegen kan n auch bei sehr vielen Bewertungen gut zu einem Durchschnittswert berechnet werden. Durch die Größe der Bewertungsskala und weitere quantitative Elemente, die in eine Bewertung mit einfließen , kann man sogar die Platzierung der nut- zerbewerteten Elemente wesentlich präzisieren. Aspekte wie die Zeit oder die Anzahl der Züge können genauso gut zur Vergleichbarkeit dienen, wie eine subjekti ve Gesamtnote.

Andere Spiele ermöglichen es, ohne einen vordefinierten Fragebogen Feedback zu erhalten. Dabei ste- hen der Ersteller eines Inhaltes und andere Nutzer in direkt em Kontakt. Ein Spieler kann somit dem Ersteller mitteilen, ob ihm die Lösung gefällt oder nicht. Und wenn nicht, wo sich der Ersteller noch verbessern kann. Auch wenn es so für die Bewertung weniger An haltspunkte gibt und man sie nicht zu einem Durchschnittswert verrechnen kann, hat diese Art von Feedback ihre Vorteile. Sie ist hoch indivi- duell und kann bei jeder Art von Aufgabenstellung verwendet werden. Durch die Individualität wird der Bezug zum Ersteller des Inhaltes gesteigert, so dass der Ers teller das Feedback besser verstehen kann. Individuelles Feedback kann also im Allgemeinen die Effekt ivität steigern [3]. Mit einem freien Feedback ohne Fragebogen oder sonstige Richtlinien läuft man aber gl eichzeitig Gefahr, dass sich ein Bewerter nur unstrukturiert äußert, was wieder zu Missverständniss en führen kann. In dem schon mehrmals er- wähnten Beispiel des Baumzeichnens ist eine mehrseitige Abhandlung, die sich erst einer Analyse der verwendeten Farben widmet, um dann im letzten Absatz mitzut eilen, dass das Bild gelungen ist, sicher- lich nicht hilfreich. Bei Fragebögen (ohne direkten Kontakt) muss dagegen zumindest die grobe Natur einer Aufgabe bekannt sein, wenn sie nicht nur aus einem einz igen Bewertungskriterium bestehen sollte.

So verschieden die Bewertungsarten auch sind, so fällt bei g enauerer Betrachtung aktueller Spiele auf, dass kein näher bekanntes überhaupt auf eine direkte Bewert ung durch Nutzer zurückgreift. Die Erstel- lung von Inhalten durch Nutzer ist oft nur eine zusätzliche Funktion des eigentlichen Hauptspiels. Spieler die immer mehr durch besondere Kreationen erschaffen oder e xtrem schwierige Aufgaben lösen, fördern nicht nur den Wettbewerb unter den Spielern, sondern sorgen auf gewisse Weise auch für Werbung, die das Spiel bekannter macht. Ein Beispiel hierfür wäre Minecraft, dabei handelt es sich um eine Sandbox Simulation, die es einem ermöglicht mit Spielressourcen We lten beliebig zu formen (hierzu folgen weite- re Erklärungen im Abschnitt 2.1). Im Falle von Minecraft wurde zum Beispiel das Raumschiff Enterprise aus der Science-Fiction Fernsehserie Star Trek in Originalgröße nachgebaut. Bestimmte Aufgaben kön- nen mit nutzerbasierter Bewertung zwar präziser eingestuft werden, aber besonders in kommerziellen Spielen bleiben Aufgaben, die kreative Problemlösung ermöglichen oft einfach unbewertet oder werden durch den Computer mehr oder weniger eingestuft durch Zeitangaben, einfache quantitative Bewertun- gen oder spielinterne sogenannte Achievements. Bei einige n Genres, die Spiele hervorbringen, welche nur eine einzige Lösung der gestellten Aufgaben haben, zum Beispiel Casualgames wie Puzzlespiele und Sudoku, erscheint eine Nutzerbwertung unpraktikabel.

Auch kann nutzerbasierte Bewertung in Spielen sehr ähnlich zu Social Media Anwendungen sein. Vorher vielleicht unbekannte Nutzer treten in Kontakt, unt erhalten sich direkt über ihre Lösungen und versuchen sich gegenseitig zu helfen und sich zu verbessern . Es können Gruppen entstehen, die sich

bestimmten Aufgaben widmen und im Klassen- oder Arbeitsgru ppenverband gemeinsam an Lösungen arbeiten. Die Lösungen

bestimmten Aufgaben widmen und im Klassen- oder Arbeitsgru ppenverband gemeinsam an Lösungen arbeiten. Die Lösungen können dann durch quantitative Bewe rtungen sehr gut mit anderen verglichen werden. Die Art des Genres spielt wie in mehreren Aspekten er wähnt eine sehr große Rolle, was Feedback und Nutzerbewertung angeht. Sie legt nämlich fest welcher Natur eine Aufgabe ist und damit, welches Vorwissen und welche Fähigkeiten ein Spieler und ein Bewert er eventuell benötigt. Indirekt bestimmt ein Genre die Aufgabentypen eines Spiels. Entsprechend den Aufgabentypen eines Spiels muss das Feedback dann genau zugeschnitten werden.

Die folgenden drei Spiele wurden aufgrund ihrer Beliebthei t und ihrer verschiedenen Genres aus- gewählt, um sie ein wenig Näher auf Ansätze der Nutzerbwertu ngen zu untersuchen. Die Genres der drei Spiel ermöglichen es besonders gut Aufgaben zu stellen , die kreative Problemlösung erfordern und können daher besonders schwer durch einen Computer bewerte t werden. Auch wenn die drei Spie- le höchstens Ansätze der nutzerbasierten Bewertung anwend en, könnten jedoch besonders diese stark davon profitieren.

2.1 Minecraft

Minecraft 1 ist ein ursprünglich für den PC ausgelegtes Spiel, dass auch andere Geräte langsam erobert. Es vereint Aufbauelemente von Simulations- und Strategies pielen mit Aspekten eines Rollenspieles. In simpler Blockgrafik ist es einem Spieler möglich, sich durch Welten zu bewegen und verschiedenste Roh- stoffe abzubauen. Diese Materialien können nun auf beliebi ge Art und Weise erneut zusammengesetzt werden, um die ganze Spielwelt wortwörtlich umzubauen. Abg esehen von einigen Restriktionen, die be- stimmen, welche Elemente manipulierbar sind, hat ein Spiel er vollkommen kreative Freiheit, wie er eine Minecraft-Welt umgestalten möchte. Von einzelnen Gebäuden bis hin zu r gesamten Umgebung kann ein Spieler alles zusammen bauen, sofern er die erforderlichen Ressourcen zur Verfügung hat.

sofern er die erforderlichen Ressourcen zur Verfügung hat. Abbildung 2.1: Minecraft Screenshot 1

Abbildung 2.1: Minecraft Screenshot

1 https://minecraft.net

Nun ist es einem Spieler möglich vorhandene Welten nach den e igenen Wünschen zu formen,

Nun ist es einem Spieler möglich vorhandene Welten nach den e igenen Wünschen zu formen, oder selbst vollkommen neue Welten zu erstellen. Er kann sich dabei, als Herausforderung, bestimmten Auf- gaben stellen. Sei es, wie oben erwähnt, der Nachbau der Enterprise oder Ähnliches. Das Spiel erlaubt es sogar, dass mehrere Spieler zusammen oder gegeneinander ar beiten. Besonders im Multiplayer gibt es (zumindest von Seiten des Spiels) kein festgelegtes Ziel, e in Spieler kann sich nur selbst Aufgaben stel- len, was es zusammen mit der grafischen Natur von Minecraft sehr schwierig macht für einen Computer zu erkennen, ob eine Welt eines Spielers gut oder schlecht is t. Grundsätzlich müsste in einem derartigen Fall zunächst festgelegt werden, was bei Minecraft objektiv als gut zu bewerten wäre. Ganz ohne Ziel wäre eine Bewertung gar nicht sinnvoll möglich [6].

Danach kann der Spieler beginnen seine Welt zu verbreiten. I m Hinblick auf die Verbreitung bietet Mi- necraft an sich wenig Möglichkeiten, so dass sich viele Fans auf unte rschiedlichen Internetportalen 2 zu- sammengeschlossen haben, um Minecraft-Inhalte auszutauschen. Teilweise wird auch über untersch ied- liche Social Media Plattformen auf Minecraft Welten aufmerksam gemacht. Auf den unterschiedlichen Internetseiten hat man es zwangsläufig mit ganz verschieden en Bewertungskriterien zu tun. Dort ist die einzige Form von der Nutzerbewertung ein direkter Kommentar an den Ersteller der Welt, kombiniert mit ein oder zwei quantitativen Elementen, sei es eine Stern wertung oder die Anzahl der Downloads.

2.2 Little Big Planet

Ausschließlich für Sony Spielekonsolen erhältlich ist Little Big Planet, ein Spiel, das sich am ehesten in das Jump’n’Run-Genre einordnen lässt. Der Spieler übernim mt die Kontrolle eines Sackboys 3 , durchquert unterschiedlichste Level und verdient sich mit der Zeit hie rbei weitere Spielobjekte unterschiedlicher Art. Diese dienen neben dem Sammelgedanken dazu, die Spielfigur u mzugestalten, oder sie können in eigens erstellten Levels platziert werden.

sie können in eigens erstellten Levels platziert werden. Abbildung 2.2: Little Big Planet Screenshot 2

Abbildung 2.2: Little Big Planet Screenshot

2 http://www.minecraftworldmap.com

3 Der Name Sackboy kommt von dem Aussehen, der kleinen aus grobem Stoff bestehenden Figur.

Ein Spieler hat also die Möglichkeit, mit den gefundenen und verdienten Objekten nicht nur seinen

Ein Spieler hat also die Möglichkeit, mit den gefundenen und verdienten Objekten nicht nur seinen eigenen Avatar, den Sackboy, kreativ zu gestalten, sondern auch ganz eigene Levels zusammenzusetzen. Sie mit Storyelementen wie Sprechblasen oder bestimmten Events (zum Beispiel wird nach dem Akti- vieren eines Schalters eine Tür geöffnet) zu versehen. Für d as Erstellen von eigenen Levels gibt es keine wirklichen Richtlinien, es muss einzig einen Anfangs- und e inen Endpunkt haben, um es in Jump’n’Run- Manier durchqueren zu können.

Da es auch hier keine festen Regeln gibt, die ein Computer ver wenden könnte, um ein Level zu ana- lysieren, ist die Bewertung ohne Spieler umständlich. Soll te ein Level gut sein, nur weil diese oder jene Sprungpassage besonders schwierig ist? Little Big Planet hat deswegen ein eigenes Bewertungssystem eingebaut, das mit einer Verbreitungsplattform verbunden ist, so dass jeder Besitzer von Little Big Planet im Spiel neue Levels von anderen Spielern ansehen und bewert en kann. Hat ein anderer Spieler ein Level abgeschlossen sieht er einen kurzen Fragebogen, der aus einigen quantitativen und einem quali- tativem Element besteht. Zunächst kann er dem Level eine Ges amtwertung in Form von maximal 5 von 5 Sternen geben. Danach können aus einer Liste von Schlagwör tern passende Wörter, wie "schön" oder "spaßig" ausgewählt werden, um das Level zu beschreiben.

Liste der möglichen Wörter: abgefahren, albern, aufreiben d, befriedigend, brillant, düster, Einzelpfad, elektrisch, Endgegner, entspannend, Fahrzeuge, federnd, feurig, flott, frustrierend, Gas, gefahrvoll, Ge- heimnisse, Gehiiiiiirne Gleichgewicht, großartig, g ruselig, gut, harte Nuss, hässlich, hektisch, hori-

, zontal, hübsch, knifflig, komplex, kunstvoll, kurz, lang, l angsam, lästig, leer, leicht, lustig, Maschinen, Maschinerie, mechanisch, melodisch, mies, monoton, Multi pfad, niedlich, Plattformen, prächtig, Punkte- orgie, raffiniert, Rampen, rasch, Rennen, Sammelbares, sch aukelig, schlecht, schnell, schön, schwebend,

schwer, seltsam, Spaß, Spielzeuge, Stacheln, Stickers, Te amwork, Timing, variierend, verrückt, vertikal, voller Blasen, Wettkampf, witzig, Zugelemente

Andere Elemente listen die Anzahl der erfolgreichen Durchl äufe auf, die Anzahl aller Durchlaufe, wann das Level erstellt wurde, wie viele Spieler diese Level als Favorit gewählt haben, außerdem gibt es noch ein Highscore-Liste und die Möglichkeit Kommentare zu gebe n. Über die integrierte Verbreitung der Levels kann nach gutbewerteten Levels oder solchen die best immte Adjektive als Schlagwörter haben gesucht werden. Der Ersteller des Levels bekommt durch dies es Feedback eine relativ genaue Angabe, wie viele Spieler sein Level schon angesehen haben, wie sie e s bewerten würden und durch die Adjektive, wie sie es empfanden.

2.3 Draw Something

Draw Something ist eine App für Smartphones und Tablets jeglicher Art, die m ehr im Bereich der Casual Games anzusiedeln ist und richtet sich somit an eine sehr bre ite Masse von Benutzern. Ziel des Spiels ist es, im Wechsel mit einem anderen Spieler einen ausgewählten Begriff so zu malen, dass dieser ihn mit mehreren Buchstaben zur Auswahl, erraten kann. Dabei wird d er Prozess des Malens und des Erratens genau aufgezeichnet, sodass der jeweils andere immer sehen kann, wie lange der Prozess gedauert hat und gegebenenfalls wo Schwierigkeiten lagen.

Dass ein Computer eine Zeichnung, die auf einem Begriff basi ert kaum erkennen kann ist klar, schließ- lich kann jeder Mensch einen Begriff anders darstellen. Ers t recht wenn ein Wort als Synonym für etwas anderes dienen kann wird eine automatische Erkennung schwi erig. Es wäre recht aufwändig eine com- puterbasierte Bewertung zu verwenden, aber im Fall von Draw Something ist das auch nicht nötig. Durch den direkten Kontakt mit einem anderen Spieler hat man schon eine, wenn auch teilweise indirekte, Bewertung.

Durch die Videos kann der andere Spieler sofort erkennen was gegebenenfalls missverständlich war und richtiges

Durch die Videos kann der andere Spieler sofort erkennen was gegebenenfalls missverständlich war und richtiges Erraten wird von dem Spiel sofort mit einer spi elinternen Währung, mit der man mehr Begriffe und Farben kaufen kann, belohnt. Weiterhin bietet Draw Something die Möglichkeit nach dem Zeichnen oder dem Erraten Kommentare abzugeben, so dass ein Spieler nochmals klarstellen kann, was man hätte besser machen können. Auf gewisse Weise wird in die sem Spiel also Kreativität belohnt, je simpler eine Zeichnung ist, desto einfacher kann man sie err aten. Fantasievolle Zeichnungen hingegen fördern den Spielspaß und hinterlassen einen gewissen Eind ruck auf andere Spieler. Dadurch, dass man bei manchen Begriffen und Zeichnungen um die Ecke denken kan n, zeigt sich auch ein Aspekt, der logisches Denken fördert.

zeigt sich auch ein Aspekt, der logisches Denken fördert. Abbildung 2.3: Draw Something Screenshot 8 2

Abbildung 2.3: Draw Something Screenshot

3 Einflüsse auf die Effektivität von Feedback Nutzerbasierte Bewertungen dienen in erster Linie dazu, Au

3 Einflüsse auf die Effektivität von Feedback

Nutzerbasierte Bewertungen dienen in erster Linie dazu, Au fgaben einzuordnen, die man sonst nur schwerlich bewerten kann. Auf eine Bewertung durch den Computer zurückzugreifen ist in vielen Fällen mit kreativen Aufgabenstellungen nicht sonderlich effekt iv oder schlichtweg unmöglich. Deswegen bie- tet es sich an, auf eine Nutzerbewertung zurückzugreifen, s chon um mehrere Lösungen vergleichen zu können. Abgesehen davon bietet die nutzerbasierte Bewertu ng aber noch andere große Vorteile. Durch die Möglichkeit Feedback zu geben und zu erhalten wird zum ei nen das Lernen unterstützt [1] und zum anderen werden soziale Bindungen etabliert oder verstärkt [5]. Durch einen Fragebogen ist dem Erstel- ler eines Inhaltes und dem Bewerter auch unmittelbar klar, welche Schlüsselaspekte bei einem Problem besonders wichtig waren. Eine Zeichenaufgabe könnte sich z um Beispiel mit Konzeption und Ästhetik be- fassen. Auch ohne ein Experte zu sein erhält man einen Hinwei s, was näher betrachten werden sollte. Es mag noch andere Formen für nutzerbasierte Bewertung geben, aber ein sorgfältig erstellter Fragebogen erscheint erst recht im Kontext von Spielen besonders prakt isch, deswegen wird nur diese Möglichkeit näher betrachtet.

Aber was macht nun eine gute Bewertung aus? Wie muss ein Frage bogen gestaltet sein, damit Feed- back für einen Spieler sinnvoll ist? Es gibt viele unterschi edliche Faktoren, die die Effektivität eines Feedbacks beeinflussen, von denen wiederum sehr viele in unt erschiedlichen Studien näher betrachtet wurden. Es kommt auf den Zeitpunkt an, zu dem eine Bewertung e rfolgt [6]. Der genaue Inhalt eines Feedbacks und dessen Form ist wichtig für denjenigen, der es erhält [1]. All diese Faktoren können die Ef- fektivität erhöhen und vermindern [1]. Letzteres gilt es se lbstverständlich zu vermeiden, deswegen muss bereits bei der Planung eines Bewertungsfragebogens darau f geachtet werden, welche dieser Faktoren man abdeckt und daher wie ein Feedback erfolgt. Einflüsse auf das Feedback haben zusammengefasst:

• Inhalt (werden die drei Fragen konkret beantwortet s.u.)

• Form (ist die Bewertung klar strukturiert und verständlic h)

• Zeitpunkt der Bewertung (unmittelbar oder verzögert)

3.1 Kriterien für die Bewertung

Genauso wie sich kreative Problemlösungen schlecht durch e inen Computer generalisieren lassen, ist es auch bei Nutzerbewertung schwierig eine perfekte Formel fü r ideales Feedback zu geben. Stattdessen muss man viele Kriterien betrachten, diese abwägen und im Hi nblich auf Spielgenre und Aufgabenstel- lung anpassen [7]. Alle Faktoren, Kriterien und Genres genau zu betrachten, die ein Feedback und damit eine Nutzerbewertung beeinflussen, würde den Umfang dieser Arbeit übersteigen. Deswegen werden im Folgenden nur die wichtigsten und prägnantesten Aspekte be trachtet.

Damit ein Feedback effektiv ist muss es einige Fragen sinnvoll beantworten können, anderenfalls hat entweder der Bewerter sich nicht gewissenhaft genug mit ein er Problemlösung auseinandergesetzt, oder der Fragebogen der Bewertung war nicht passend aufgebaut. Wo gehe ich hin bzw. was sind meine Ziele ("feed up"), wie erreiche ich diese ("feed back") und was kom mt als nächstes ("feed forward")[1]? Diese Fragen sollen einem Nutzer helfen sich bei einer Aufgabenst ellung zu orientieren und seine Kenntnisse zu verbessern. Im Kontext von Spielen sind diese Fragen nich t ganz so komplex. Das feed up, also die (Lern-)Ziele sind in erster Linie die kreativen Aufgabenst ellungen eines Spiels. Es können aber noch wei- tere Ziele hinzu kommen. Vielleicht möchte ein Spieler gewi sse Fähigkeiten erarbeiten, möglicherweise dient das Spiel in einem mehr schulischen Kontext einem Lehr er seinen Schülern Wissen zu vermitteln.

Wie auch immer feed up aussieht, es definiert, was erreicht we rden soll und damit,

Wie auch immer feed up aussieht, es definiert, was erreicht we rden soll und damit, worauf man beim feed back das Augenmerk richten sollte. In erster Linie, bes onders bei Spielen, handelt es sich dabei um die Aufgabenstellung selbst. Der nächste Punkt, feed back, ist die eigentliche Bewertung. Hierbei geht darum, dass ein Nutzer feststellt, wie weit ein Spieler beim Lösen einer Aufgabe voran geschritten ist. Bei Zeichenaufgaben wird hier also gesagt, wie gut ein Bild gelu ngen ist und woran der Zeichner noch arbei- ten muss. Es ist eine Rückmeldung über die Fähigkeiten eines Spielers und sagt aus, wo er sich in einem Lernprozess im Moment befindet. Idealerweise kommt das feed back von jemandem, der mit der Materie vertraut ist, andernfalls ist es möglich, dass die Bewertun g unstrukturiert und damit unverständlich wird. Schließlich soll der Spieler richtige Lösungen verstehen u nd falsche ersetzen [3], was schwer fällt, wenn der Spieler schon die Kommentare sprachlich nicht versteht . Besonders effektiv ist feed back wenn eine Bewertung von einer Person abgegeben wird, die gleichgeste llt (im Sinne von Hierarchie, also auch ein Student, Schüler, etc.) oder im Wissensgebiet der Aufgabe g enauso fortgeschritten ist (oder ein wenig weiter ist) [5]. Dieser Aspekt lässt sich durch die simple Masse an möglichen Bewertungen wieder wett machen. Durch den wisdom of the crowd 1 Gedanken hat man durch die Berechnung eines Durchschnit- tes bei der Bewertung kreativer Aufgaben auch eine gute Angabe über die Fähigkeiten eines Spielers. Als letztes dient feed forward dazu, einem bewerteten Nutze r festzulegen was der nächste Schritt ist. Geht es bei dem Spiel um das Erlernen bestimmter Fähigkeiten , Zeichnen erscheint auch hier ein gutes Beispiel, dann könnte der nächste durch die Bewertung anger atene Schritt sein, sich schwierigeren Auf- gaben zu stellen. Hat ein Spieler das Zeichnen eines Baumes g emeistert, so könnte man ihm empfehlen, sich ein Gesicht oder ein Tier als nächstes vorzunehmen. Dur ch den steigenden Schwierigkeitsgrad kann der Spieler seine Fähigkeiten verbessern und mit den richti gen Hinweisen in den Bewertungen dies auch in einem ihm angemessenen Tempo tun.

Diese drei Aspekte (feed up, feed back und feed forward) habe n also einen erkennbaren Nutzen und Auswirkungen auf die Effektivität von Feedback, indem sie h elfen, die Lücken zwischen einem zu errei- chenden Ziel und dem derzeitigen Stand aufzeigen, außerdem helfen sie diese zu überbrücken [1]. Im Kontext von Spielen im Allgemeinen und mit kreativen Proble mlösungen im Besonderen ist das feed up mit dem Genre bzw. der Aufgabenstellung bereits festgelegt . Mit einem Spiel, das die Kompetenzen beim kreativen Schreiben verbessern soll, ist von vorn herein kl ar, dass zum einen die Kreativität und zum anderen die Sprachsicherheit gesteigert werden soll. In ei nem Bewertungsfragebogen kann man daher direkt auf die Lernziele des feed forward eingehen. Ein Bewe rter könnte zum Beispiel oben angespro- chene Fähigkeiten (Kreativität und Sprachkompetenz) quan titativ einordnen.

Feed back konzentriert sich auch bei Spielen als nächstes au f den eigentlichen (Lern-)Prozess. Wenn man sich als Ziel setzt ein Vorlagenbild genauso gut selbst z u malen (was schon ein feed forward dar- stellt), dann würde das feed back erklären, wie gut oder schl echt ein Spieler das aktuelle Bild angefertigt hat. Der Hinweis, dass die Blätter eines Baumes nicht gut get roffen sind wäre also feed back. Denn es gibt den aktuellen Stand beim (Lern-)Prozess des Spielers wieder und beinhaltet in gewisser Weise sogar noch das feed forward. Schließlich suggeriert es, sofern di e Bewertung nicht sogar direkt darauf hin- weist, dass die Fähigkeit Blätter zu zeichnen verbessert we rden muss (obwohl feed forward nicht an den Prozess, also die aktuelle Aufgabe gebunden sein muss, sond ern auch Hinweise geben kann, die nichts mit der aktuellen Aufgabe zu tun haben).

Bezüglich des feed forward kann man hingegen keine eindeuti ge Antwort für die Domäne der Spiele geben. Geht es um Spiele, die ohnehin auf Levelstrukturen au fbauen, wäre die intuitive Antwort: das nächste Level ist die nächste Aufgabe. Aber wenn man es mit un greifbaren Konzepten, wie Kreativität, Spaß und Ästhetik zu tun hat, was bei kreativen Problemstell ung zweifellos der Fall ist, wird es schwierig

1 wörtlich Weisheit der Menge, damit ist gemeint, dass bei einem Faktum des Allgemeinwissens die Mehrheit die richtige Antwort weiß. Somit erhält man im Durchschnitt eine korrekt e Antwort auf eine Frage, auch wenn falsche Antworten enthalten sind.

eine Antwort zu finden. Der einfache Hinweis "jetzt baue ein n och spaßigeres Level als

eine Antwort zu finden. Der einfache Hinweis "jetzt baue ein n och spaßigeres Level als zuvor" hilft einem Spieler wenig, denn dann müsste er sich, um genau zu wissen was besser ist, die Frage stellen, wie man Spaß messen kann. Hierfür gibt es jedoch keine klar definiert e Antwort [2]. Bewertungen von Spielern, die im Lernprozess oder von ihren Fähigkeiten her schon weit er sind, können in diesem Fall jedoch helfen, da qualitative und quantitative Elemente eine Lösu ng vergleichbar machen, kann ein Spieler erkennen was für ihn das feed forward beantwortet. [1]

3.1.1 Qualitative und quantitative Elemente

Wie schon zuvor erwähnt enthält der Fragebogen eines Feedbacks zwei verschiedene Arten von Fra- gen bzw. Bewertungselemente: die qualitativen und die quan titativen Elemente. Man kann die Fragen und somit auch die suggerierten Antwortmöglichkeiten zwar auf unterschiedliche Art und Weise stellen, letztendlich entscheidet aber die Information, die eine Fr age liefern soll, ob ein Element quantitativ oder qualitativ ist. Die Frage "wie würdest du die Lösung bewerte n" könnte man auf qualitative und quan- titative Weise beantworten. Ist als Antwort jedoch nur eine Wertung auf einer Skala von eins bis zehn zugelassen, handelt es sich eindeutig um ein quantitatives Element.

Bei qualitativen Elementen handelt es sich meist um Textfel der, die längere Antworten in Form von Fließtext oder Stichpunkten ermöglichen. Nur die Größe ein es Textfeldes und die eigentliche Frage des qualitativen Elements geben einem Bewerter Anhaltspunkte , wie die Frage zu beantworten ist. Dement- sprechend muss man beim Erstellen eines Bewertungsfragebogens darauf achten, wie ein qualitatives Element formuliert ist. Man muss also die Fragen an den Konte xt der Aufgabe des Spiels angleichen [7]. Oft zielen qualitative Elemente auf die subjektive Meinung eines Bewerters ab. Erfahrene Nutzer können so weniger erfahrenen Spielern Hinweise geben, wie Aufgabe n und Probleme leichter oder zumindest besser zu lösen sind. Gleichzeitig können qualitative Bewe rtungselemente auf den jeweiligen Spieler

individuell zugeschnitten werden. Hat ein Bewerter beispi elsweise Kenntnis über die persönlichen Fä- higkeiten eines Spielers, kann er diese einfließen lassen. Dabei ist es irrelevant, ob diese Kenntnis daher resultiert, dass der Bewerter schon zuvor bearbeitete Lösu ngen gesehen hat, oder weil sie ähnlich einer Schulklasse regelmäßig miteinander zu tun haben. Individu elles Feedback hat dann den Vorteil eine grö- ßere Wirkung zu erzielen [7], sofern es nicht auf den Spieler selbst abzielt ("du bist nicht besonders gut in diesem Aufgabentyp"), sondern auf seine Fähigkeiten ("d iese Aufgabe ist nicht besonders gut gelöst,

[6]. Wichtig ist aber auch, dass sich ein Bewerter in qualitativen Elementen erklärt. Eine einfa-

weil ")

che Antwort wie "die Lösung hat mir nicht gefallen, weil sie falsch ist" hilft einem Spieler nicht weiter [3], deswegen sollten die Fragen so suggeriert sein, dass man sich nicht automatisch kurz fasst. Ja- oder nein-Antwortmöglichkeiten sind daher ungeeignet und eher bei quantitativen Elementen einzuordnen.

Quantitative Elemente sind zumeist einfache Fragestellun gen, die als Antwort einen (Zahlen-)Wert auf einer vorher festgelegten Skala erhalten. Wie ein Wert ausg ewählt wird (ob selbst eingeben, ankreuzen, oder auf andere Weise) und wie der Wert aussieht bzw. welche E inheiten die Skala hat (z.B. Sterne, Pro- zente, ja/nein/unentschlossen-Auswahlmöglichkeiten) i st unwichtig. Im Kontext von Spielen kann man sogar qualitative Elemente in eine Wertung mit einfließen lassen, auf die ein Bewerter keine Möglichkeit hat einzuwirken. Am Beispiel des Zeichnens oder des Schachs piels könnte dies die Anzahl der Züge sein. Die benötigte Zeit ist auch eine simple Möglichkeit die Qual ität einer Lösung zu messen. Besonders bei kreativen Lösungen kann aber die benötigte Zeit oder eine äh nliche automatische Wertung keine Aussage darüber geben wie qualitativ hochwertig die Lösung ist. Tei le eines Spiels wie Spaß und Ästhetik bleiben objektiv unmessbar [2]. In solchen Fällen gilt es also, ein quantitatives Element zu benutzen, das einem Bewerter die Möglichkeit gibt subjektive Gesamteindrücke abzugeben, wie zum Beispiel die Wahl der Farben bei einem Bild. Der Vorteil von quantitativen Elemen ten ist jedenfalls eindeutig. Durch die Werte schafft man unter mehreren Spielen eine Vergleichbarkeit (wie auf einer Highscore-Liste) durch die ein Spieler sich einordnen und feststellen kann, wer besser und wer schlechter ist, sowie auf welchem Stand

der Spieler selbst sich befindet (was eine der Schlüsselfrag en eines effektiven Feedbacks ist [6])

der Spieler selbst sich befindet (was eine der Schlüsselfrag en eines effektiven Feedbacks ist [6]) und das selbst dann, wenn sich Lösungen nur schwer vergleichen lass en. Mit der Masse an Bewertungen kann man nämlich auch aus den quantitativen Werten einen Durchsc hnitt berechnen, um so einen Spieler noch genauer in eine Skala einordnen zu können. Je größer die Masse an Bewertungen, desto eher kann man also übermäßig negative oder positive Angaben, die eine Wertung verfälschen würden, tolerieren. Für den Vergleich sollte dann die Skala eines quantitativen Elements nicht zu eng sein. Erlaubt die Skala nur "gut", "mittelmäßig" und "schlecht" nützt es wenig sich unter anderen Spielern einzuordnen, wenn von diesen alle "mittelmäßig" sind. Ist die Skala hingegen z u groß, läuft man unter Umständen Gefahr sich scheinbar willkürlichen Bewertungen auszusetzen. Fü r einen unerfahrenen Benutzer ist es sicher nicht einfach nun abzugrenzen, wo der Unterschied zwischen 81% und 82% liegt. Es bietet sich also an, eine günstige Skalierung zu finden.

Betrachtet man beide Arten von Fragebogenelementen ersche int es sinnvoll, beide für ein gutes Feed- back unterzubringen. Die Highscores, die quantitative Ele mente darstellen, sind ohnehin schon bei vielen Spielen üblich. Besonders bei kreativen Problemen braucht man quantitative Elemente, um die Lösung eines Spielers überhaupt vergleichbar zu machen, denn ansonsten wäre es schwer ein Maß für Qualität festzulegen [2]. Qualitative Elemente geben als nächstes g enaue Erklärungen, die auf einen Spieler zu- geschnitten und personalisiert werden können. Mit diesen Hinweisen kann ein Bewerter dann angeben, was verbesserungswürdig war und idealerweise, wie ein Spie ler seine Fähigkeiten, auf eine Aufgabe be- zogen, verbessert [3]. Durch die Kombination aus qualitati ven und quantitativen Elementen werden also die drei Fragen für effektives Feedback beantwortet. Wie oben erwähnt folgt das feed up in der Regel aus der Aufgabenstellung selbst. Werte aus quantitativen E lementen und die Angabe, was ein Spieler in seiner Lösung gut oder schlecht gelöst hat, beantworten die Frage des feed back. Feed forward, die letzte der drei Aspekte, folgt dann schließlich aus den Hinweisen e ines Bewerters in qualitativen Elementen und teilweise kann ein Spieler durch die Lösungen mit höhere n Highscores erkennen, was er als nächstes tun muss, um seine Kenntnisse zu verbessern.

3.1.2 Zeitpunkt und Umgebung

Für eine Bewertung ist es auch wichtig, wann und von wem, respektive in welcher Umgebung sie erfolgt. Zunächst widmen wir uns dem Zeitpunkt. Hier gibt es rein logi sch nur zwei Möglichkeiten: entweder das Feedback erfolgt unmittelbar nachdem ein Spieler eine Aufgabe gelöst hat, oder zeitverzögert. Was genau unmittelbar und verzögert bedeutet, also in welchem Z eitrahmen man sich bewegt ist durchaus kontrovers diskutierbar. Für den Kontext von Spielen ersch eint es jedenfalls nicht praktikabel, dass sich eine Bewertung je nach Aufgabe länger als ein paar Wochen ver zögert. Bei dem Erwerb von Fähigkeiten, die regelmäßiges Üben, wie zum Beispiel Klavier spielen, er fordern wäre ein kürzerer Zeitraum sinnvol- ler und bei Aufgaben, die weniger kontinuierlich sein müsse n, sondern einfach viel Nutzerbewertungen benötigen, zum Beispiel das Erstellen eines Spiellevels, kann die Verzögerung größer sein. Eine lange Verzögerung erlaubt es zwar, eine falsche Lösung zu vergess en, um so eine neue Lösung besser zu erler- nen, aber im Kontext von kreativen Problemen kann man davon ausgehen, dass keine Lösung wirklich vollständig falsch ist. Somit macht es also mehr Sinn eine un mittelbare Bewertung zu benutzen. Der Spieler hat so seine Lösung besser im Gedächtnis und wird dur ch direkte Rückmeldungen möglicher- weise dazu ermutigt am Ball zu bleiben. Je nach Spiel und Umge bung (also den Nutzern und Faktoren wie Verbreitungsplattformen) ist es fast unmöglich, eine Bewertung wirklich unmittelbar durchzuführen bzw. forcieren. Es liegt in der Hand der anderen Nutzer, wann sie etwas bewerten, sofern die Umgebung sie nicht dazu zwingt und schließlich kann auch das Durcharbeiten einer größeren und komplexeren Lösung Zeit benötigen. Daher wird bei Verzögerungen in der Z eitspanne von ca. einem Tag hier auch noch von unmittelbar ausgegangen. [6]

Der andere Faktor, die Umgebung, soll hier als Überbegriff für die Situation und den Kontext

Der andere Faktor, die Umgebung, soll hier als Überbegriff für die Situation und den Kontext dienen, in dem eine Bewertung erfolgt. Ist das Spiel für eine Schulkl asse gedacht, in der die Schüler sich gegen- seitig bewerten? Handelt es sich um eine internetweite Nutz erbasis, die nicht mehr als die Usernamen voneinander kennt? Die Zielgruppe bestimmt, wie viel Vorwi ssen man in einem Fragebogen verlangen kann und mit wie viel Bewertungen man ungefähr zu rechnen hat , letzteres ist wohl wichtig für Durch- schnittswerte der quantitativen Elemente. Auch bestimmte Bewertungsregeln, die außerhalb der Fragen des Fragebogens liegen sind Teil der Umgebung. Gibt es zum Be ispiel festgelegte Bewerter (höher be- wertete Nutzer kümmern sich um niedriger bewertete)? Durch eine Umgebung mit engeren Kontakten und gleichberechtigten Nutzern wird die Interaktion der Nu tzer gefördert, was nicht nur den (Lern- )Prozess vereinfacht, sondern auch soziale Kompetenzen fördert [5]. Eine mehr schulische Umgebung, die die Nutzer in den Prozess mit einbezieht, ermöglicht bes sere Selbstreflexion [4]. Spielumgebungen, die mehr Zusatzmaterial in Form von weiteren Aufgaben oder I nformationen zur Verfügung stellen, ge- ben Spielern die Möglichkeit zielgerichteter und effektiver zu arbeiten [1][3]. Der Kontext, in dem ein Spiel steht, kann also entscheidende Auswirkungen haben, i st aber auf Grund der Verschiedenheit von Spielgenres, Aufgaben und Situationen schwer zu generalis ieren. Auch hier kann man nur empfehlen eine Nutzerbewertung an die Situation anzupassen. [7]

3.2 Typen und Ebenen von Feedback

Der Inhalt eines Feedbacks kann sehr unterschiedlich sein. Trotzdem kann man grob einige Typen von Antworten, die ein Feedback liefert und einige Ebenen, auf d enen eine Antwort erfolgt, unterscheiden. Kennt man diese Unterscheidungen lässt sich leichter angeben in welcher Situation welche Art von Feed- back geeigneter wäre.

Als erstes gibt es vier Ebenen von Feedbacks: aufgabenspezi fisches, prozessspezifisches, Selbstregulations- und personenspezifisches Feedback. Ersteres bezieht sich auf die Aufgabe und deren Lösung. Dabei wird angegeben, ob eine Lösung korrekt oder inkorrekt ist und in welche Richtung sie geht. Eine Angabe, ob die Lösung richtig oder falsch war erscheint als das Minde ste, das in einem Feedback vorkommen muss. Da kreative Problemlösungen aber schwer als richtig oder falsch abzugrenzen sind, gehören zu dieser Ebene weitere Erklärungen dazu. Als nächstes kommt d ie prozessspezifische Ebene. Sie beschäf- tigt sich damit, wie die Informationen (eines Feedbacks) an einen Spieler zu mehr Verständnis führen. Es geht also mehr um das wie (wie kann man einen Baum besser zei chnen), als um das was (war die Lösung richtig oder falsch). Die Ebene der Selbstregulation hingegen widmet sich mehr der Effizienz des Nutzers. Hierbei versucht man einem Spieler also zu vermitt eln, wie er seine eigenen Fähigkeiten nicht nur verbessern kann, sondern auch wie er leichter erkennt, was ein guter Lösungsweg ist. Man versucht also, um es anders auszudrücken, den Nutzer zu mehr Initiati ve bezüglich eines Ziels zu bringen. Die letzte Ebene die personenspezifische, richtet sich unabhän gig von der Aufgabe direkt an einen Nutzer. Es sind die Arten von Feedback, die bewiesenermaßen wenig mi t effektiven Bewertungen gemein haben. Derlei Arten von Feedback kann man in Klassensituationen häufig antreffen, in denen die Fähigkeiten einer Person bewertet und mit der Person selbst verknüpft we rden (zum Beispiel "guter Junge" als Ant- wort auf einen gut geschriebenen Text). Für den Kontext von S pielen (mit kreativer Problemlösung) ist klar, dass aufgaben- und prozessspezifisches Feedback wich tig ist. Hiermit kommt man schließlich auf feed back und feed forward zu sprechen. Selbstregulation in einer Bewertung zu beinhalten erscheint nicht notwendig. In vielen Situationen soll gerade der Spie lspaß als Motivation für das Aneignen sonst langweiliger Kenntnisse dienen. Aber den Spieler dazu zu br ingen noch weitere Anstrengungen in zu- künftige Aufgaben zu investieren kann nicht schaden, deswe gen kann man diese Ebene als optional ansehen. Von dem Gebrauch der letzten Ebene kann man jedoch n ur abraten. Denn diese zeigt keine zusätzliche positive Wirkung, wenn man sie mit anderen Eben en kombiniert und scheint auf sich gestellt sogar nachteilig zu sein, was relativ verständlich ist. Auf eine zeitaufwändige Arbeit an einer Lösung führt eine Rückmeldung der Art "du bist einfach schlecht" eh er zu Demotivation. [6]

Ebenen von Feedback: • aufgabenspezifisch (task feedback, FT) • prozessspezifisch (process feedback, FP) •

Ebenen von Feedback:

• aufgabenspezifisch (task feedback, FT)

• prozessspezifisch (process feedback, FP)

• Selbstregulation (self-regulating feedback, FR)

• personenspezifisch (personal feedback, FP)

Nach den vier Ebenen, auf denen Feedback erfolgt, gibt es auc h noch vier unterschiedliche Antwort- typen. Jeder einzelne bezieht sich darauf in welcher Form Fe edback erfolgt, bzw. was es beinhaltet. Es gibt: knowledge of result (KOR), knowledge of correct resul t (KCR), answer until correct (AUT) und elaborted feedback (EF). Der erste Typ gibt einzig und allei n wieder, ob eine Aufgabe richtig oder falsch gelöst wurde. Ein derartiger Feedback-Typ erscheint nicht nur für den Spielkontext ungeeignet (vor allem gibt es bei kreativen Aufgaben meist kein "richtig" und "fal sch", oder nur eine korrekte Lösung), sondern auch ineffektiv, weil weder feed back noch feed forward ausr eichend beantwortet werden. Der nächste Typ hat dagegen eine vergleichsweise gesteigerte Effektivität. Bei KCR wird nicht nur ein richtig oder falsch als Bewertung gegeben, sondern auch die richtige Ant wort. Das hilft zwar, die drei Aspekte von Feedback zu beantworten und erscheint auch für Faktenwisse n relativ gut geeignet. Aber bei kreativen Aufgaben kann es immer noch mehrere Lösungen geben, weshalb die Angabe einer bestimmten Lösung für einen Nutzer noch nicht ideal sein muss (vielleicht war s eine Lösung ausreichend, oder die eine Lö- sung ist soweit voraus, dass sie schon demotiviert). Auch de r dritte Typ ist bei Spielen je nach Genre relativ ungeeignet. Denn AUT gibt so lange eine Bewertung, bis der Spieler eine Aufgabe richtig gelöst hat. Bei Spielen, in denen es mehr um Fakten oder Regeln und we niger um Kreativität geht, klingt dies nach einer guten Möglichkeit, dem Spieler zu ermöglichen di e Lösung selbst zu finden. Aber in solchen Fällen wäre eine Nutzerbewertung nicht unbedingt nötig. De r letzte Feedbacktyp scheint hingegen sehr gut für den Kontext von Spielen mit kreativen Problemen geei gnet. EF beinhaltet neben der Antwort ob eine Lösung korrekt ist (was man bei kreativen Lösungen zumi ndest grob einschätzen kann) zusätzli- che Informationen. Hierbei wird erläutert, warum eine Lösu ng gut oder schlecht ist und was ein Spieler eventuell verbessern kann. Im Prinzip ist dies also die Form von Feedback von der in vorigen Kapiteln immer die Rede war. Es werden die Schlüsselfragen des Feedback aufgegriffen und auf den Spieler ein- gegangen. Für den Spiele-Kontext (besonders mit kreativer Problemlösung) ist dieser Typ also Mittel der Wahl, was nicht bedeutet, dass bei bestimmten Aufgaben die anderen Typen nicht auch genügen könnten (zum Beispiel bei der Vermittlung von Fachwissen). [3] Typen von Feedback:

• knowledge of result (KOR)

• knowledge of correct result (KCR)

• answer until correct (AUT)

• elaborated feedback (EF)

4 Generalisierung der Kriterien für Nutzerbewertung Wenn man das Kapitel 3 zusammenfasst, sieht man gleich,

4 Generalisierung der Kriterien für Nutzerbewertung

Wenn man das Kapitel 3 zusammenfasst, sieht man gleich, dass es Kriterien und Elemente von Feed- backs gibt, die für Spiele mit kreativer Problemlösung besonders geeignet sind. Für Effektivität sollte eine Bewertung feed up, feed back und feed forward bedienen, daher bietet es sich an, die Fragen entsprechend zu formulieren (damit ein Bewerter genau dies e Punkte anspricht). Dabei deckt man idea- lerweise qualitative und quantitative Elemente ab. Erster e werden ohnehin für die drei Aspekte (feed up, usw.) benötigt und letztere sind für die Vergleichbarkeit h ilfreich, erlauben es Spielern also zusätzlich sich zu orientieren. Der Zeitpunkt einer Bewertung sollte besonders nah sein [6], bei vielen Spielen ist aber eine Bewertung schon nach einigen Stunden unrealistis ch (vor allem wenn die Lösung erst über das Internet verbreitet werden muss). In Sachen Umgebung lassen sich ohne genaue Aufgabenstellung des Spiels und Situation der Spieler bzw. Bewerter keine Aus sagen treffen. Für die Form der Bewer- tungen erscheint ein elaborated feedback, das vor allem aufgaben- und prozessspezifisch ist und nicht personenspezifisch[1], geeignet. Ohne also die Art des Spie les zu kennen stehen die gröbsten Richtlinien nun fest. Wie geht man nun aber vor, wenn Spiel und Umgebung (also Situation der Spieler, Regeln für Bewertungen, etc.) bekannt sind?

4.1 Modell eines Bewertungsformulars

Es ist klar, dass unterschiedliche Spiele aus verschiedene n Domänen stammen (ob ein schulischer Kon- text, ein Bezug auf Unterhaltung oder etwas Anderes) und gan z andere Ziele verfolgen können und daher auch ganz andere Anforderungen an Feedback haben [6]. Man muss also die Form des Feedbacks genau an die Aufgabe anpassen[7], die ein Spiel stellt. Dahe r hilft ein Modell sich die Schritte klar zu machen, die abgearbeitet werden müssen, um einen Frageboge n für ein Spiel zu entwerfen. Folgende Schritte des Modells sind möglichst allgemein gehalten und es gelten natürlich die obigen Angaben für Feedback von Spielen.

Als erstes gilt es für ein Spiel die Ziele zu identifizieren un d daher auch festzustellen in welchem Kon- text es steht (also wie die Umgebung beschaffen ist). Bei ein em schulischen Spiel, das primär Kenntnisse vermitteln soll, bedeutet dies, dass alle zu erreichenden Lernziele einer aktuellen Aufgabe festgestellt werden müssen. Hat man die (Lern-)ziele erst einmal festges tellt, ist für den Ersteller eines Bewertungs- fragebogens auch klar, was das feed up aller Aufgaben ist und damit auch welche Punkte im feed back angesprochen werden müssen. Schließlich sucht man das feed up zu erreichen und feed back dient da- zu den aktuellen Stand auf dem Weg dahin zu markieren [1]. Sch ritt Nummer zwei ist für konkrete Aufgaben festzustellen, was erreicht werden muss, um diese Aufgabe zu erfüllen. Bei kreativen Aufga- ben erscheint es schwierig zu erkennen, wann eine Aufgabe er füllt ist, in diesem Fall sollte man von einem minimalen Maß ausgehen. Für das Zeichnen würde das als o bedeuten, die Aufgabe ist erfüllt und das Ziel erreicht, wenn man einen Baum erkennen kann und mögl icherweise auch wenn er ausreichende Qualität hat (dies würde man subjektiv mit quantitativen El ementen einen Bewerter entscheiden lassen). Wobei es bei einem Kontext, wie dem Lernen auch nicht unbedin gt wichtig ist jede Aufgabe zu erfüllen. Durch diesen Schritt hat man anstatt aller Ziele, ein konkre tes und hat eine erkennbare Grenze für das feed forward, so dass man einem Bewerter klarmachen kann an welcher Stelle die Aufgabe ausreichend bearbeitet ist, um sich einer neuen Aufgabe zu widmen (sofer n es diese gibt und eine Wiederholung der Aufgabe nicht zwecklos ist). Im dritten Schritt ist die Aufg abe zu analysieren, um festzustellen welches Wissen eventuell zum Lösen eines Problems nötig ist. Beim häufig erwähnten Beispiel, dem Zeichnen eines Baumes, könnte man in diesem Schritt feststellen, das s man nicht nur gewisse künstlerische Fä- higkeiten benötigt (wobei man diese ja auch erwerben möchte ), sondern auch das Verständnis vom Aussehen eines Baumes haben muss. Mit diesem Schritt kann man vorher erkennen, welche Fähigkeiten

ein Spieler eigentlich schon gemeistert haben müsste. Dies kann man im feed back Teil unterbringen,

ein Spieler eigentlich schon gemeistert haben müsste. Dies kann man im feed back Teil unterbringen, was klarstellt wie der jetzige Stand ist und kann bei Fehlern ein feed forward bedeuten (was man sich noch ansehen muss) [1]. Zum vierten Schritt gehört es, eine Aufgabe des Spiels auf häufig vorkommende Fehler zu analysieren. Mit einem Baum könnte ja auch ein Stam mbaum gemeint sein, was nicht komplett falsch ist, aber kein direkt erwartetes Ergebnis der Aufgabe "zeichne einen Baum". Durch die Fehlerana- lyse kann man in einem Fragebogen darauf hinweisen was der Spieler hätte beachten sollen und dem Bewerter so den feed back und feed forward Teil einfacher mac hen. Außerdem kann man in einem krea- tiven Problemlösungskontext angeben, dass eine nicht erwartete Lösung nicht zwangsläufig falsch oder schlecht sein muss. Der letzte Schritt dieses Modells ist sc hließlich relevante Informationen für den Fragebogen zu identifizieren und die eigentliche Struktur festzulegen. Hier kann man also erwähnen, dass auch ein Stammbaum ein Baum ist. Auch Hinweise, wie man e twas zu bewerten hat können hier einfließen, wodurch feed back genauer wird. Zusätzlich legt man in diesem letzten Schritt die eigentli- che Struktur fest und daher auch welche Fragen ein Frageboge n beinhalten soll. Die genaue Auswahl ist aufgaben- und genreabhängig, aber es gibt bestimmte Elemen te, die wie schon weiter oben erwähnt für jede Spielsituation herhalten könne. Zum Beispiel die (qualitative) Frage was man hätte besser machen können für das feed forward und eine (quantitative) Gesamtwertung für die Vergleichbarkeit. [7]

(quantitative) Gesamtwertung für die Vergleichbarkeit. [7] Abbildung 4.1: Modell für das Erstellen eines

Abbildung 4.1: Modell für das Erstellen eines Bewertungsfragebogens

4.2 Anwendung des Modells

Nun soll das obige Modell in seinen Schritten angewandt werd en. Betrachten wir hierzu ein Spiel, das in einem Lernkontext steht. Das Spiel gibt einem Spieler einen Begriff (die Begriffe sind auf keine spezifi- sche Domäne festgelegt, man kann hier also noch andere Aspekte wie Fremdsprachen oder Faktenwissen einbringen), den er in einer kurzen Geschichte vom Spieler s elber geschrieben, verständlich machen soll. Alle Begriffe sind im Voraus der Schwierigkeit nach geordne t. Ist eine Aufgabe beendet kann jeder ande- re Spieler einer Onlinecommunity die Geschichte sehen und bewerten. Nach der Bewertung werden die Spieler ähnlich einer Freundesliste verknüpft und sollen von diesem Zeitpunkt an in Kontakt stehen. Ein Spieler soll jetzt immer sehen, wenn einer seiner Bewerter r espektive Freunde einen neuen Begriff ab- solviert, um die Chance zu erhalten ihn, auch zu bewerten. Gl eichzeitig wird die Aktivität eines Spielers

mit der Anzahl seiner vergebenen Bewertungen und hochbewer teten Begriffserklärungen angegeben. Hier ist nun eindeutig,

mit der Anzahl seiner vergebenen Bewertungen und hochbewer teten Begriffserklärungen angegeben.

Hier ist nun eindeutig, dass diese Art von Lernspiel zum eine n das Verständnis von bestimmten Begrif- fen verstärken soll und zum anderen die Kompetenz im kreativen Schreiben fördert. Außerdem kommt noch eine soziale Komponente durch die Freundeslisten hinz u, obwohl dies eher nebensächlich und wie die Aktivitätswerte eher als Motivation erscheint. Die Zie le für dieses Spiel sind also die Vermittlung von Verständnis für Begriffe, die Steigerung von Kreativität s owie Schreibfähigkeiten. Im nächsten Schritt müssen diese groben und allgemeinen Ziele genauer werden. I n diesem Kontext erscheint es sinnvoll, ei- ne Aufgabe als erfüllt anzusehen, falls der Text verständli ch ist und die Erklärung des Begriffes treffend ist. Welche Fehler könnten in einer solchen Situation eintr eten? Zunächst könnte ein Begriff mehrere Synonyme haben, aber es ist auch möglich, dass der Spieler de n Begriff einfach falsch verstanden oder verwechselt hat. Generelle Fehler im Text, wie Syntax oder Grammatik können auch auftreten. Man muss dem Bewerter also direkt klarmachen, was der Begriff be deutet, da er unter Umständen sich selbst nicht darüber im Klaren ist. Es bietet sich also an neben den Text eines Spielers einen Wörterbucheintrag des Begriffes zu legen. Dieser kann auch auf Synonyme oder mögliche Missverständnisse aufmerksam machen und dem Bewerter so die Arbeit stark erleichtern. Bet rachtet man das Spiel genau gibt es einige Punkte, die sich für Inhalt und Form des Fragebogens anbiete n. Zunächst könnte man Verständlichkeit und Textinnovation (also Kreativität des Inhaltes) durch quantitative Elemente vergleichbar machen, ei- ne Skala von eins bis zehn erscheint nicht zu groß und nicht zu klein. Des Weiteren sollte man qualitativ darauf eingehen, was an dem Begriff gut getroffen wurde und was nicht (falls ein Begriff komplex genug ist mehrere Aspekte zu haben). Der Wörterbucheintrag dient hier als guter Vergleich. Synonyme sollte man ebenfalls ansprechen, falls ein Begriff ein Synonym hat te kann ein Bewerter wählen, ob die Aus- wahl der Bedeutung eines Begriffes für den Text Vorteile ode r Nachteile hatte. Der nächste Aspekt ist die Textqualität, hier bietet es sich an, zunächst mal nach gröberen Rechtschreib- oder Grammatikfehlern zu fragen. Als nächstes sollte man den Bewerter fragen, was er anders geschrieben hätte respektive ob er Verbesserungsvorschläge für diesen Text hat. Zuletzt gibt man dem Bewerter die Möglichkeit allgemeine Empfehlungen an den Spieler zu richten, dies können Hinweis e sein wie er diese Aufgabe hätte besser lösen können (zum Beispiel durch einen interessanteren Tex t) und welchen Begriffen sich der Spieler im nächsten Schritt widmen könnte.

Abbildung 4.2: Beispielhafter Fragebogen für das Begriffserklärungsspiel 18 4 Generalisierung der Kriterien für
Abbildung 4.2: Beispielhafter Fragebogen für das Begriffserklärungsspiel 18 4 Generalisierung der Kriterien für

Abbildung 4.2: Beispielhafter Fragebogen für das Begriffserklärungsspiel

5 Ausblick Der Vorteil von nutzergestützter Bewertung liegt für Spiel e mittlerweile klar auf der

5 Ausblick

Der Vorteil von nutzergestützter Bewertung liegt für Spiel e mittlerweile klar auf der Hand. Bei Spielen, die kreative Problemlösung ermöglichen ist es schwierig od er gar unmöglich einzuordnen, ob eine Lö- sung gut ist und wie erfolgreich sie war. Man ist zwangsläufig auf menschliche Bewerter angewiesen die schnell und problemlos entscheiden können was gelungen ist, selbst wenn Themen wie Ästhetik nur subjektive Meinungen zulassen. Eigentlich unvergleichbare Lösungen unterschiedlicher Spieler werden durch Nutzerbewertungen vergleichbar. Außerdem fördert Feedback soziale Kompetenzen und macht das Lernen effektiver. Trotz der offensichtlichen Vorteil e wird nutzerbasierte Bewertung bei Spielen kaum angewandt. Selbst solche Spiele, die Ansätze anwenden , tun dies meist ohne dem (Lern-)Vorteil, den Feedback bietet, große Beachtung zu schenken. Warum Nut zerbwertungen kaum wirklich verwendet werden bleibt ein Rätsel. Vermutlich wird bei kommerzielle n Spielen ein Lernaspekt nicht genug beach- tet oder die meisten Spiele, die sich rühmen kreative Proble mlösungsstrategien und non-lineare Wege zu ermöglichen, legen keinen Wert auf die Vergleichbarkeit von Lösungen unter den Spielern. Sicherlich wird aber in der Zukunft nutzergestützte Bewertung an Wicht igkeit gewinnen, da sie eindeutige Vorteile bietet. Es ist denkbar, dass mit der steigenden Komplexität des Aufbaus von Spielen auch immer mehr andere Fähigkeiten des Spielers, wie Kreativität, geforde rt werden. Man kann durchaus beobachten, dass bei Spielen mehr und mehr eine Tendenz zu Nonlinearität und kreativer Problemlösung besteht. So kann man einem Spieler mehr Möglichkeiten und Spielspaß ermögli chen. Erst recht in einem Spiel, das einen großen Wert auf Mehrspieler, Community der Spieler (dies ge ht immer mehr in Richtung Social Me- dia) und nutzererstellte Inhalte legt, werden auch Bewertu ngen durch Nutzer an Relevanz gewinnen. In anderen Domänen, wie der Lehre (damit muss nicht primär ei ne Schulklasse gemeint sein), in denen der Mehrwert durch Spiele offensichtlicher wird, ist es gen auso wahrscheinlich, dass Nutzerbewertun- gen Einzug halten werden. Möchte man Kenntnisse vermitteln , die nicht nur einfach richtig oder falsch sind, also kein primäres Faktenwissen sind, ist die Hilfe du rch andere Nutzer und Feedback essentiell. Dabei kann der Kontext künstlerisch, musikalisch, oder sportlich sein. Gibt es Spiele, die sich schwer durch einen Computer bewerten lassen, dann profitieren dies e auch von Nutzerbewertungen. Weitere Entwicklungen zu mehr Vernetztheit mit anderen Nutzern för dern auch Spiele, die die Meinung ande- rer Spieler wichtiger machen. Social Media Anwendungen, Sm artphone oder Tablet Apps fördern von sich aus immer mehr Nutzer-Kontakt und können auch untersch iedliche Problemlösungsstrategien und kreative Komponenten beinhalten. Auch diesen Spielen kann eine Bewertung durch Nutzer helfen. Man sieht also, dass nutzergestützte Bewertungen immer mehr an Wichtigkeit gewinnen wird. Die Tendenz zu Spielen, die schwieriger zu bewerten sind, besteht, so dass man immer mehr auf Nutzer angewiesen ist. Aber unabhängig davon bedeutet das Feedback durch ande re Nutzer einen eindeutigen Mehrwert für den Spieler an sich, da es ihm ermöglicht seine Kenntnisse zu verbessern, sich mit anderen Nutzern zu vergleichen und soziale Bindungen zu fördern.

Literaturverzeichnis [1] J. Hattie and H. Timperley. 77(1):81–112, March 2007. The power of feedback. ISSN

Literaturverzeichnis

[1] J. Hattie and H. Timperley. 77(1):81–112, March 2007.

The power of feedback.

ISSN 0034-6543.

Review

of

Educational

Research,

URL

doi: 10.3102/00 3465430298487.

[2] Wijnand IJsselsteijn, Yvonne de Kort, Karolien Poels, Audrius Jurgelionis, and Francesco Bellotti. Characterising and measuring user experiance in digital games. In ACE Conference , 2007.

[3] Bernhard Jacobs. Aufgaben stellen und feedback geben. I n Torsten Meyer, Wey-han Tan, Christina Schwalbe, and Ralf Appelt, editors, Medien & Bildung. Institutionelle Kontexte und kultureller Wandel, pages 1–38. VS Verlag, Wiesbaden, 2011.

[4] Stephens Japuis and Richard J. Stiggins. Classroom Asse ssment for Learning. Association for Super- vision and Curriculum Development, pages 40–43, 2002.

[5] Cen Li, Zhijiang Dong, Roland Untch, Michael Chasteen, and Nathan Reale. Peerspace - an online col- laborative learning environment for computer science stud ents. In Proceedings of the 2011 IEEE 11th International Conference on Advanced Learning Technologies , ICALT ’11, pages 409–411, Washington, DC, USA, 2011. IEEE Computer Society. ISBN 978-0-7695-4346 -8. doi: 10.1109/ICALT.2011.129. URL http://dx.doi.org/10.1109/ICALT.2011.129 .

[6] Jochen Musch. Die gestaltung von feedback in computerge stützten lernumgebun-

Zeitschrift für Pädagogische Psychologie , 13(3):148–160,

September 1999. ISSN 1010-0652. doi: 10.1024//1010-0652.13.3.148. URL

gen: Modelle und befunde.

[7] Susanne Narciss and Katja Huth. How to design informative tutoring feedback for multi-media learning. Design , pages 1–16, 2002.