Learning Analytics

3.24

Learning Analytics wie Datenanalyse helfen kann, das Lernen gezielt zu verbessern.
von Martin Ebner, Benedikt Neuhold und Martin Schn (Technische Universitt Graz)

Learning Analytics Educational Data Mining Analyse Mathematik Personal Learning Environment Lernfortschrittskontrolle Daten, Daten, Daten ... entstehen in der heutigen Welt durch das zunehmende Angebot an webbasierten Applikationen. Je mehr sich das Internet ffnet, je mehr Benutzer sich auf einer Plattform anmelden, desto mehr fllen sich die dahinterliegenden Datenbanken. Unter den Schlagwrtern Big Data und Data Mining versteht man die Analyse dieser Daten, deren Interpretation und einer oft automatisierten benutzerabhngigen Reaktion. Die Tragweite von solchem auf das Lehren und Lernen angewandten Vorgehen ist heute kaum abschtzbar. In diesem Beitrag geben wir mit Beispielen eine Einfhrung in das Forschungsgebiet Learning Analytics (LA). Die Darstellung soll auch helfen, LA vom konventionellen Bereich Educational Data Mining (EDM) abzugrenzen. Als Beispiele fr LA werden Anwendungen zum Erlernen der Arithmetik und zur Analyse von Aktivitten im Personal-Learning-(PLE)-Bereich der Technischen Universitt Graz vorgestellt und es wird dargelegt, wie Lehrpersonen von den Ergebnissen protieren knnen. Charakteristisch fr diese Anwendungen ist, dass dabei Unmengen von Daten erhoben, gespeichert und analysiert werden, wie das ohne Technikeinsatz nicht mglich wre. So erkennen wir Chancen fr eine wesentliche Qualittsverbesserung des Lehrens und Lernens durch individuelle, zeitnahe, przise, aber kompakte Feedbacks fr alle an Unterrichtsprozessen Beteiligten. Im Hinblick auf die Forschung zum Lehren und Lernenbetreten wir gerade einen Raum mit nur zu erahnenden Erkenntnismglichkeiten.

Schlagworte

berblick

Inhalt 1 2 3 3.1 3.2 3.3 4

Einleitung Was ist denn Learning Analytics jetzt genau? Praktische Umsetzung Der Einmaleins-Trainer Der PlusMinus-Trainer Der mehrstellige Multiplikations-Trainer Zusammenfassung

2 3 7 8 11 14 16 18 18

Web-Adressen Literaturhinweise

Handbuch E-Learning

48. Erg.-Lfg. August 2013

3.24

Learning Analytics

1
Alltgliche Datensammlung

Einleitung

In unserer hochtechnologischen Zeit hinterlassen wir fortlaufend Datenspuren. Ob wir nun im Supermarkt einkaufen und unsere Bonuskarte benutzen oder im Internet surfen Daten zu unserem persnlichen Verhalten werden immerwhrend gespeichert. Diese Art von Datensammlung und deren Analyse kennt man im kommerziellen Bereich unter den BegriffenBig Data oder Data Mining (HORIZON PROJECT 2013, S. 28) und existiert bereits seit einiger Zeit. In der Lehre wird diese Art von Analyse bisher noch sehr selten eingesetzt. Dies liegt natrlich vor allem auch daran, dass Informationen zu einzelnen Lernschritten und Details des Lernens nur begrenzt als Beobachtungen und Videos verfgbar sind und noch seltener als Daten, also als maschinenlesbare und digitalisierte Information. SIEMENS und LONG postulierten 2011, dass explizite Daten eines Lernenden quasi als ein Nebenprodukt aufgrund der Nutzung von Internet, Computer, Smartphones oder auch Lern-Management-Systeme (LMS) entstehen. Die Art der Daten ist dabei zweitrangig; egal ob es sich um einen Tweet, einen Eintrag auf Facebook oder die Ttigkeiten in einem Lern-Management-System handelt all dies hinterlsst einen digitalen Fingerabdruck (SIEMENS/ LONG 2011) und Spuren von Lernprozessen, die nachverfolgt werden knnen. Die Datenmenge, die man ber Lernende zur Verfgung hat, wird daher immer grer. Vor allem durch die Arbeit mit LMS oder Personal Learning Environments (EBNER/TARAGHI 2010) entstehen individuelle bzw. personalisierte Daten. Solche Systeme speichern die aufgerufenen Inhalte, welche Aufgaben begonnen und erledigt wurden, sogar mit wem kommuniziert wurde (LOCKYER/DAWSON 2012). Dadurch entstehen insbesondere in Mitteleuropa Datenschutzdiskussionen, die auch die Autoren als wichtig einschtzen. Whrend man im angloamerikanischen Raum von vielen Institutionen auch im Hochschulbereich hrt, dass sensibelste Datenbestnde verknpft und verwendet werden, um am Ende eines Kurses umfassend angelegte Evaluationen durchzufhren, ist dies in unseren Breitengraden so einfach nicht mglich. ber allen Datensammlungen hngt das virtuelle Schild mit dem Sprichwort der Informatiker, Alles, was mit Daten passieren kann, passiert auch. Es ist also auch fr uns wichtig, auf den Aspekt des Datenschutzes und sptere Verwendungsmglichkeiten der Datenbestnde zu achten. Dabei spielt Datensparsamkeit eine wichtige Rolle und steht in einem gewissen Gegensatz zu unserem wissenschaftlichen Erkenntnisinteresse. Das Forschungsfeld um LA grenzt sich von dieser Debatte etwas ab, indem es betont, dass es vor allem darum geht, dass Lehrende aktiv whrend eines Kurses in einen bestimmten Lernprozess eingreifen knnen (LOCKYER/DAWSON 2012), um das Lernen in einer Domne zu begnstigen, und weniger um die Identizierung und Charakterisierung einer natrlichen Person. In diesem Beitrag zeigen wir anhand von praktischen Beispielen, wie sich durch LA der Unterrichtsalltag verbessern und produktiver gestalten lsst und wir diskutieren einige der mit LA verbundenen Erfahrungen und Perspektiven.

Daten der Lernenden

48. Erg.-Lfg. August 2013

Handbuch E-Learning

Learning Analytics

3.24

Was ist denn Learning Analytics jetzt genau?

Das verstrkte Interesse an der Analyse von Daten hngt natrlich damit zusammen, dass erst durch heutige Web- und Rechnertechnologien die Aggregation und Analyse groer Datenmengen mglich wurde. Allerdings wird die Bedeutung dieses Prozesses sowohl in der pdagogischen Praxis als auch in der Wissenschaft noch gering geschtzt und wenig beachtet. Zurzeit gibt es zwei Forschungsfelder, die sich mit den Konsequenzen dieser Entwicklung auseinandersetzen. Zum einen ist das Learning Analytics and Knowledge (LAK) und zum anderen Educational Data Mining (EDM) (SIEMENS/ BAKER 2012). Durch das verstrkte Interesse an den neuen Mglichkeiten werden jhrliche Konferenzen in beiden Forschungsbereichen abgehalten. Die erste ofzielle Konferenz, die 1st International Conference on Educational Data Mining fand 2008 in Montreal, Kanada statt. Im Sommer 2011 wurde dann die International Educational Data Mining Society (IEDMS, siehe http://www.educationaldatamining.org) gegrndet. Ihre Aufgabe ist es, die Forschung auf dem Gebiet des Educational Data Mining zu frdern. Ein Jahr zuvor, im Jahr 2011, wurde auch im Bereich LAK die erste Konferenz in Banff, Kanada veranstaltet. Diese stand vor allem unter dem Motto, Technik, Pdagogik und soziale Bereiche in einen Dialog zu bringen, um so alle Bedrfnisse zu erfllen (SIEMENS/BAKER 2012). Seitdem gibt es Diskussionen, ob LAK und EDM ein und dasselbe sind oder das eine Gebiet eine Teilmenge des anderen. Geht man nach SIEMENS UND BAKER (2012) so haben die beiden Bereiche einen groen berlappenden Bereich, aber auch einige wichtige Unterschiede.
Forschungsfelder: Learning Analytics and Knowledge und Educational Data Mining

Abb. 1: Zusammenspiel von LA, LAK und EDM (gem SIEMENS 2013 ) Abbildung 1 zeigt das Zusammenspiel der drei verschiedenen Forschungsrichtungen und ihre berlappung nach SIEMENS. Beide Bereiche (LAK und EDM) haben einen sehr datenintensiven Ansatz und verwenden auch hug hnliche oder gleiche Methoden, um diese Daten zu analysieren. Ihr Ziel ist es, die Analysen von groen Datenmengen im Bildungsbereich zu
Handbuch E-Learning 48. Erg.-Lfg. August 2013

Vergleich der Forschungsfelder

3.24

Learning Analytics

verbessern, um so die Lehre, das Lernen sowie das Lehr- und Lernumfeld zu optimieren. Ihre Unterschiede kann man vor allem an ihren Zielen erkennen. Whrend LAK versucht, durch die Analyse und die Aufbereitung von Daten menschliche Entscheidungen zu erleichtern oder zu begrnden, wird in EDM groer Wert auf das automatische Erkennen gelegt, um daraus maschinell gesteuerte Folgeprozesse auszulsen. LAK mchte nicht nur automatisieren, sondern legt den grten Wert darauf, Informationen in einfachen visuellen Darstellungen an Lehrende und Lernende weiterzugeben (SIEMENS/BAKER 2012). Durch diese einfache Darstellung knnen auch Lehrende ohne Training damit etwas anfangen. Um einfache Darstellungen zu erreichen, verwendet man bei LAK nach DAVID WILEY (BAKER et al. 2012) Techniken der Datenvisualisierung und der Usability-Forschung. Merke: Sowohl das Forschungsfeld Educational Data Mining als auch Learning Analytics haben einen sehr datenintensiven Ansatz und verwenden auch hug hnliche oder gleiche Methoden, um diese Daten zu analysieren. Ihr Ziel ist es, die Analysen von groen Datenmengen im Bildungsbereich zu verbessern, um so die Lehre, das Lernen sowie das Lehrund Lernumfeld zu optimieren. JOHN STAMPER forscht im Bereich von EDM und Intelligent Tutoring Systems (IST) und ist auch technischer Direktor am Science of Learning Center DataShop in Pittsburgh. Er sieht dies hnlich und meint: For the most part, the goals of the EDM and LAK communities overlap extensively, but there are subtle differences that I see between the two communities (BAKER et al. 2012). Er ist er Meinung, dass EDM versucht, die gesammelten Daten zu nutzen um herauszunden, wie und wann Lernen geschieht, whrend im Gegensatz dazu LAK den Fokus auf den Lerner setzt und versucht, durch dessen persnliche Daten festzustellen, wie die Interaktion mit Technologie sein persnliches Lernen beeinusst. Beide Communities sind aber ein wichtiger Bestandteil der Forschung, um die Efzienz von Bildungssystemen zu verbessern (BAKER et al. 2012). ERIK DUVAL arbeitet mit seinem Team an Dashboards, um Daten zu visualisieren und einfach fr Lerner und Lehrende aufzubereiten (DUVAL 2010). Nach seiner Ansicht ist Learning Analytics [] about collecting traces that learners leave behind and using those traces to improve learning (BAKER et al. 2012). Fr ihn steht bei LAK ebenfalls der Lerner im Mittelpunkt, wohingegen EDM eher versucht, diese Spuren durch Algorithmen zu analysieren und Muster und Gesetzmigkeiten zu erkennen. Aus seiner Sicht ist es auch sehr wichtig, dass das Ergebnis der Analyse als Feedback an den Lerner und als Information an den Lehrenden weitergegeben wird. Bei der Weitergabe ist vor allem eine einfache Reprsentation der Daten sehr wichtig: Translating those traces into visual representations and feedback that support learning is another challenge: the danger of presenting meaningless eye candy or networks that confuse rather than help is all too real (BAKER et al. 2012).

48. Erg.-Lfg. August 2013

Handbuch E-Learning

Learning Analytics

3.24

Auch wenn es eine Vielzahl von Meinungen gibt und damit die Grenzen zwischen LA und EDM sehr verschwommen sind, so ndet sich doch in fast allen Quellen eine Aussage, die RYAN BAKER (2012) sehr schn zusammenfasst als: []I believe that in the future of EDM and LAK should be best friends [...]. Man kann aber erkennen, dass es nicht einfach ist, eine einheitliche Denition zu nden. Ein Versuch wurde auf der LAK-Konferenz 2011 in Banff (Kanada) erarbeitet. Diese deniert LA folgendermaen: Learning analytics is the measurement, collection, analysis and reporting of data about learners and their contexts, for purposes of understanding and optimizing learning and the environments in which it occurs (SIEMENS 2011). Das Feld von LA umfasst also das Sammeln, Analysieren und Visualisieren von Daten aus dem Bildungsbereich. Dies ist natrlich eine sehr breite Denition. Schn et al (2012) denieren LA etwas konkreter als: Learning Analytics ist die Interpretation von lernerspezischen Daten, um individuelle Lernprozesse gezielt zu verbessern. Merke: Learning Analytics ist die Interpretation von lernerspezischen Daten, um individuelle Lernprozesse zu verbessern. Es ist zu betonen, dass die Interpretation beziehungsweise die ntige Intervention in der Regel nicht automatisiert abluft, sondern auf die Erfahrung von Lehrenden zurckgreift. LAK versucht die Daten zu analysieren, sie in Verbindung mit dem eigentlichen Lernprozess zu bringen und wieder in das Unterrichtsgeschehen einieen zu lassen. Wichtig ist bei LAK auch die Rolle des Lehrers. Er nimmt eine berwachende Haltung ein und muss bei Problemen, die durch die Analyse von Daten entdeckt werden, aktiv in den Lernprozess eingreifen. Geschieht dies nicht, so kann dies zu Frustration oder Verwirrung bei den Lernenden fhren. Dies ist z.B. in vielen LMS nicht immer leicht, da diese nur eine Auswertung in Tabellenstruktur zur Verfgung stellen (GARCA-SOLRZANO et al. 2012). Mit einer solchen Struktur ist es fr den Lehrenden sehr schwer, schnell und effektiv aussagekrftige Informationen zum Lernerfolg des Schlers zu erhalten. Fr diesen Zweck werden im Forschungsbereich von LAK Tools entwickelt, die Lehrende bei dieser Aufgabe untersttzen (GARCA-SOLRZANO et al. 2012). Fr WebCT steht zum Beispiel CourseVis zur Verfgung und fr das LMS Moodle wurde GISMO entwickelt. Einen konkreten Prozess von LA knnen wir in Abbildung 2 sehen:

Handbuch E-Learning

48. Erg.-Lfg. August 2013

3.24

Learning Analytics

Abb. 2: Prozess von LA (SIEMENS 2010)

Datenspuren der User

Unter Learners off-put data versteht SIEMENS die Datenspuren, die der User hinterlsst. Diese Daten knnen von unterschiedlichen Quellen kommen (z.B. Facebook, Twitter, LMS,). Aus den Daten werden einerseits UserProle gewonnen, und andererseits werden sie auf Basis von Intelligent Data analysiert. Daraus versucht LA eine Vorhersage zu erstellen und die Lernumgebung, den Lern-Content und die Aufgaben fr den Benutzer zu adaptieren und anzupassen. Idealerweise ist das Ergebnis eine auf den User zugeschnittene Lernumgebung, die sich genau seinem Wissensstand und seinen Gewohnheiten anpasst. Auch hier knnte man sagen, der Unterschied zwischen EDM und LAK ist, dass bei EDM von der Analyse bis zur Adaption alles automatisiert abluft. LAK hingegen bezieht strker den Lehrenden und seine pdagogischen Interventionsmglichkeiten mit ein. So bleibt die eigentliche Interpretation der Daten bei der Lehrkraft, wird aber untersttzt von der intelligenten Datenaufbereitung. Auch die Adaption der Lernumgebung ist nicht mehr vollautomatisiert zu sehen, sondern vielmehr als wechselseitige Beziehung von pdagogischer Intervention, technischer Adaption und sozialen Interaktionen. Wir schtzen es bei mglichen Lernproblemen als fruchtbar ein,
48. Erg.-Lfg. August 2013 Handbuch E-Learning

Interpretation der Daten

Learning Analytics

3.24

wenn ein Medienwechsel vom Computer zum Lehrer oder anderen Medien und Sozialformen veranlasst wird. Einen hnlichen Ansatz ndet man in BADER-MATAL und LOTZE (2011). Diese beschreiben den Aufbau der Learning-Analytics-Plattform Grockit. Der Aufbau der Plattform wird in fnf Punkte unterteilt. 1. Data Collection In diesem Punkt muss das System so entwickelt sein, dass es Daten ber das User-Verhalten und dessen erledigte Aufgaben und erreichte Ziele speichert. In Grockit wurde dies direkt in den Programmcode implementiert. 2. Selection Hierbei ist es das Ziel, dass man Daten zusammenfhrt, die zur Beantwortung einer speziellen Frage notwendig sind. Dies geschieht in Grockit durch SQL Queries. 3. Analysis In dieser Phase werden die zuvor gelterten Daten zur Analyse verwendet, um auf eine spezielle Frage eine Antwort zu nden. Diese Phase wird auf der Plattform Grockit mit dem Statistik-Paket R umgesetzt. 4. Visualization Hier muss ein effektiver Weg gefunden werden, um die Daten reprsentativ, aber auf einfache Art und Weise auszudrcken. Wird im Fall Grockit ebenfalls mit R durchgefhrt. 5. Distribution Hierbei muss bedacht werden, welche Analysen an welche Stakeholder gehen und wie sie transportiert werden. In Grockit wird dies mit einem webbasierten System erledigt, in dem jeder Stakeholder seine Reports abonnieren kann. LAK und ihre Forschungsergebnisse haben das Potenzial, Bildung aus gnzlich neuen Blickwinkeln zu betrachten und vor allem das pdagogische Handeln gezielt zu untersttzen. Insbesondere fr die Optimierung der Lehre tun sich hier neue Bettigungsfelder auf. Lehrende knnen durch die stndige Verfgbarkeit von Echtzeitdaten den Lernprozess besser berschauen und Studierende in ihrem Vorankommen zeitnah und gezielt individuell untersttzen. Alle Beteiligten an Unterrichtsprozessen protieren von diesen verschiedenen Feedbacks. HATTIE et. al (2013) haben in ihrer groen Zusammenstellung der wesentlichen Wirkfaktoren zur Bestimmung guten Unterrichts auf die groe Bedeutung von allseitigen prozessbezogenen Feedbacks herausgestellt. Der Vergleich von aggregierten Statistiken von Lernerfolgen untereinander kann zudem zu einer Erhhung der Motivation aller Beteiligten fhren (SIEMENS/LONG 2011) und die Datensammlungen knnen eine Basis sein fr eine verbesserte Planung von Bildungsressourcen.
Aufbau einer Learning-Analytics-Plattform

LAK ermglicht zeitnahes Feedback

Praktische Umsetzung

In diesem Kapitel soll die praktische Umsetzung und das Potenzial von LA gezeigt werden, indem mehrere Beispiele besprochen werden. Hierbei wird auf konkrete Implementierungen an der Technischen Universitt Graz durch die Abteilung Vernetztes Lernen zurckgegriffen, die sich im Rahmen
Handbuch E-Learning 48. Erg.-Lfg. August 2013

3.24

Learning Analytics

von mehreren Projekten und Abschlussarbeiten bereits sehr frh dieses Themas angenommen hat. Im Folgenden besprechen wir kurz einige Applikation mit einem besonderen Fokus auf LA. Sie sind von http://mathe.tugraz.at nach einer einfachen Registrierung zu testen.

3.1
Ziele des Trainers

Der Einmaleins-Trainer

Der Einmaleins-Trainer wurde mit zwei Zielen entwickelt. Erstens einer automatischen Anpassung an die Leistungsfhigkeit der Lernenden, sodass Aufgaben weder als zu schwer noch als zu leicht empfunden werden. Zweitens sollte eine detaillierte Darstellung der bereits sicher gelsten Aufgaben den Lehrenden mglichst genaue Rckmeldung ber den Kompetenzgrad der Lernenden geben (SCHN et al 2012). Das Kernstck des Trainers ist ein Algorithmus, der das nchste Beispiel basierend auf dem individuellen Kompetenzgrad eines Lernenden und dessen Lernhistorie ermittelt. Hierzu ist jeder einzelnen Multiplikationsaufgabe des Einmaleins aufgrund empirischer Erfahrungswerte bzw. der typischen didaktischen Reihenfolge ein Schwierigkeitsgrad zugeordnet. Nach zwei Einstufungsaufgaben (mittelschwer und je nach Antwort leichter oder schwerer Folgeaufgabe) wird erstmalig der Kompetenzgrad geschtzt. Die nchste Aufgabenstellung erfolgt aus der Menge der Aufgaben, die maximal etwas schwieriger sind als der bis dahin erreichte Kompetenzgrad. Im Programm gilt ein Problem erst dann als gekonnt, wenn es zweimal hintereinander richtig beantwortet wurde. Bei einem Fehler wird dieser Wert auf 0 zurckgesetzt. Der Kompetenzgrad bzw. die Lernrate ist die Summe der bis dahin gut, also zweifach richtig gelsten Aufgaben.

Abb. 3: Screenshot des Einmaleins-Trainers (http://mathe.tugraz.at)

48. Erg.-Lfg. August 2013

Handbuch E-Learning

Learning Analytics

3.24

Abbildung 3 zeigt einen Screenshot des Trainers mit der zu lsenden Aufgabe (hier 9x7) sowie darunter einen Balken, der die verbleibende Reaktionszeit darstellt. Der Schler erhlt zweifach Feedback: Die Matrix links dokumentiert den Bearbeitungsstand fr alle Aufgaben, mit der Maus kann die entsprechende Aufgabe, also z.B. 5x8, zur Anzeige veranlasst werden, orange steht fr einmal richtig gelst und gelb fr zweimal hintereinander gelst. Der Hase zeigt den aktuellen Prozess an: Er wandert in dem Mae Richtung Karotte, wie kontinuierlich hintereinander richtige Lsungen produziert werden.

Setting des Trainers

Abb. 4: Verlauf einer Lernrate eines Lernenden Aus der Sicht von LA ist es natrlich interessant, wie sich die Lernraten der Lernenden entwickeln. Gibt es hier ein stetiges Wachstum, stagniert der Lernfortschritt oder ist der Prozess stark rcklug? Abbildung 4 zeigt beispielhaft die Entwicklung der Lernrate eines Lernenden als Kurve. Nach etwa 170 gerechneten Beispielen sind etwa 20 Beispiele als gut gekonnt eingestuft, danach tritt eine Phase ein, whrend der kaum ein Lernzuwachs zu beobachten ist. Erst nach insgesamt ca. 300 gerechneten Beispielen steigt die Lernrate stark/schnell an. Es erscheint generell sinnvoll, nach Erkennen einer Stagnationsphase eine pdagogische Intervention zu inszenieren. Dieses Vorgehen reprsentiert einen Ansatz von LA: Durch die systematische intelligente zeitnahe Analyse der Lernkurven kann der Lernprozess nicht nur insgesamt beschrieben werden, es knnen auch Alarme zur Veranlassung von Interventionen durch Lehrkrfte veranlasst werden. Durch das beschriebene Setting wird das Lernen begnstigt. Abbildung 5 zeigt den Leistungsstand einer Klasse (Namen wurden entfernt). Es wrde keinen Sinn ergeben, den Lehrer mit allen Daten von allen Schlern in Listen zu versorgen. Wir liefern dem Lehrer eine kompakte und zugleich differenzierte bersicht. Orientierung zu Problemfllen gibt die erste Spalte mit Ampelsignalen, hier nur einmal die gelbe Marke. Die Wahrnehmung der brigen Grak geschieht mit etwas bung als Ganzheit im Hinblick auf den Leistungsstand der Klasse.
Handbuch E-Learning 48. Erg.-Lfg. August 2013

Entwicklung der Lernrate

3.24

Learning Analytics

Abb. 5: bersicht ber den Lernfortschritt einer Schulklasse (Sicht des Lehrenden)
Darstellung der Lernergebnisse fr Lehrende

Die Zeilen dokumentieren jeweils die Ergebnisse der Lernenden, dunkelgrn markiert bedeutet dabei gut gekonnt, hellgrn ein gekonnt, grau ein noch nicht gerechnet und schlussendlich rot ein nicht gekonnt. Ganz links in der ersten Spalte kann die Lehrkraft mit einem Blick bersehen, wie aktuell die Entwicklung vorangeht und wo er Probleme hat: Die Spalte Skills zeigt den Lehrenden in den Ampelfarben, ob das Programm im Einzelfall eine Intervention empehlt: keine (grn), eventuell (gelb) oder dringend (rot). Im weiteren Verlauf der Zeile knnen die detaillierten Problemaufgaben betrachtet werden. Die Lehrenden knnen sich so schnell ein Eindruck bilden, wo die gesamte Klasse steht, ob sie vielleicht einen gemeinsamen Frderbedarf hat und wo die Probleme im Einzelnen liegen. Bei diesem Beispiel wird wohl auch deutlich, dass mit LA eine groe Menge Daten analysiert wird, welche die physiologischen Kapazitten einer Lehrkraft bezglich Wahrnehmung, Speicherung und Verarbeitung bersteigt. Das Computersystem bietet nicht nur eine Entlastung fr den Lehrer, sondern begrndet eine ganze neue Unterrichtsqualitt. Diese Einschtzung bezieht sich auf die fortwhrende, gezielte, individuell ausgerichtete Aufgabenauswahl, das przise individuelle, zweifache Feedback whrend der Aufgabenbearbeitung sowie fr die Lehrkraft die bersicht ber den Leistungsstand insgesamt und den Interventionsbedarf bei Einzelnen.

10

48. Erg.-Lfg. August 2013

Handbuch E-Learning

Learning Analytics

3.24

Merke: Learning Analytics am Beispiel des Einmaleins-Trainer bezieht sich auf die fortwhrende, gezielte, individuell ausgerichtete Aufgabenauswahl, das przise individuelle, zweifache Feedback whrend der Aufgabenbearbeitung sowie fr die Lehrkraft die bersicht ber den Leistungsstand insgesamt und den Interventionsbedarf bei Einzelnen.

3.2

Der PlusMinus-Trainer
Ziele und Setting des Trainers

Der PlusMinus-Trainer wird im Rahmen einer Diplomarbeit und im Zuge der E-Learning-Initiative im Forschungsgebiet LA erstellt. Er dient dazu, dass z.B. die Schulkinder an Grundschulen die schriftliche Addition und Subtraktion testen und trainieren knnen (hnlich dem Einmaleins-Trainer). Im Zuge der Aufgabenbearbeitung werden die Daten aufgezeichnet und analysiert. Jede neue Aufgabe wird unter Bercksichtigung der bisherigen Statistik generiert. Durch die Analyse der Lsungsschritte aller Zwischenergebnisse und der jeweiligen Lsungen wird versucht, typische, also huge fehlerhafte Vorgehensweisen in den Rechenverfahren zu entdecken und eine einfache, kompakte bersicht dazu an die Lehrkrfte weiterzugeben. Diese haben natrlich auch die Mglichkeit, genaue Statistiken der Schlerbearbeitungen einzusehen. Das Programm schtzt jeden Fall ein und signalisiert der Lehrperson, ob einzelne Kinder eher noch unsystematische Fehler wegen mangelnder Routine machen, oder ob bei systematischen, typischen Fehlern auf einzelne Problemflle eingewirkt werden sollte. Fr die Unterrichtsqualitt und die konomie der Lehrkrfte hat diese Anwendung einen enormen Mehrwert. Um an solche Daten auf traditionellem Wege zu kommen, msste man diagnostische Tests durchfhren und auswerten. Ein Beispiel fr so einen Test fr die schriftliche Subtraktion ist in Abbildung 6 dargestellt.

Handbuch E-Learning

48. Erg.-Lfg. August 2013

11

3.24

Learning Analytics

Abb. 6: Diagnostischer Test (GERSTER 1982, S. 49) Es ist hier kritisch zu allererst zu bemerken, dass ein solcher Test nicht einfach durchzufhren und zu korrigieren ist. Denn fr jeden Fehler, den ein Schler oder eine Schlerin macht, muss eine aufwendige Einzelanalyse des Beispiels durchgefhrt werden und dies ist immer mit viel Zeitaufwand verbunden. In Abbildung 7 sehen sie fnf Subtraktionen. Versuchen Sie, aus diesen Ergebnissen eine typische Hufung einer Fehlerart zu erkennen!

Abb. 7: Fehleranalyse Die Subtraktionen c und e wurden in diesem Beispiel richtig gelst. Dies sind die einzigen Beispiele, die keinen bertrag beinhalten. Daher ist es 12
48. Erg.-Lfg. August 2013 Handbuch E-Learning

Learning Analytics

3.24

naheliegend anzunehmen, dass die Testperson Probleme mit bertrgen hat. Bei genauerem Betrachten kann man erkennen, dass diese Beispiele auf einen der hugsten Fehler (PADBERG 2005) in der Subtraktion schlieen lassen. Bei diesem Fehlermuster wird in jeder Spalte die kleinere von der greren Zahl subtrahiert. Dadurch entstehen keine bertrge und die Rechenschritte sindleichter durchzufhren. Um einen solchen Test fr eine Klasse mit 20 Schlern zu korrigieren und auszuwerten, wird die Lehrperson einen Aufwand von 5 bis 10 Stunden haben. Mchte sie immer auf den neuesten Wissensstand der Schlerinnen und Schler eingehen, so msste ein solcher Test ein- bis zweimal wchentlich wiederholt werden und dies fr alle Klassen. Dies ist in der Praxis nicht umsetzbar. Auch ist die Fehleranalyse wegen der kleinen Aufgabenzahl oftmals nicht einfach und auch nicht immer eindeutig, es muss im Einzelfall jedenfalls nachgeprft werden. Der PlusMinus-Trainer ist adaptiv. Er sucht systematisch nach Aufgaben mit einer hnlichen logischen Schwierigkeitscharakteristik, also Stellenzahl, bertrag und bestimmten Ziffernanzahl, um Unentschiedenheit bei der Zuordnung zu Fehlertypen statistisch abklren zu knnen. Die Aufgaben werden passend zum Lernstand jeder einzelnen Testperson immer neu generiert. Wenn das Programm feststellt, dass im Einzelfall kein Fortschritt stattndet und immer wieder hnliche Fehler gemacht werden, kann eine Lehrkraft dies in einer Gesamtstatistik anhand der Ampelsymbolik sofort erkennen, also ob ein Eingriff dringend ntig ist, gelegentlich empfohlen wird oder der Lernprozess fortschreitet (siehe Abb. 8).
Fehleranalyse durch die Lehrkraft ist zu aufwendig

Systematische Fehleranalyse

Abb. 8: Statistische Auswertung der Schler fr den Lehrer Die Zahlen in den jeweiligen Feldern stehen fr die Anzahl der Versuche in dieser Kategorie. Wird der Mauszeiger ber ein Userlevel-Feld gefhrt, so erscheint ein Tooltip, welcher eine kurze Information zu diesem Level bereitstellt. Die Darstellung wurde so gewhlt, dass es auch fr mehrere Schler bzw. eine Klasse gut zu bersehen ist. Die Statistik aus Abb. 8 zeigt, dass dieses Kind bei der Addition bisher kein Problem hatte (kein rotes Feld). Bei der Subtraktion scheint es aber nun Schwierigkeiten zu geben, und zwar beim Schwierigkeitsgrad zweistellig minus einstellig mit bertrag, dabei keine Nullen. In diesem Fall sollten Lehrende erklrend oder durch Bereitstellen von alternativem Material in den Lernprozess eingreifen, da es sonst zu einer Demotivation der betroffenen Schler kommen knnte. Mchte die Lehrkraft noch mehr Informationen einsehen, so ist dies ber den Link Hier in der Spalte Details mglich. Hier kann sie sich die fehlerhaften Beispiele im Einzelnen ansehen und gegebenenfalls eine eigene Auswertung durchfhren. Auch der PlusMinus-Trainer leistet ein Ausma an Datenverarbeitung, wie es eine einzelne Lehrkraft nur in Einzelfllen erbringen knnte. Nur mit
Handbuch E-Learning 48. Erg.-Lfg. August 2013

13

3.24

Learning Analytics

Einsatz der IT-Kapazitt knnen solche przisen Frderhinweise entstehen. Dabei ist auch hier zu erwhnen, dass das adaptive, dynamische Diagnostizieren und Arbeiten am Programm fr viele Kinder offenbar auch Lernzuwachs bedeutet. Auch damit werden die Lehrkrfte entlastet und knnen sich so den Einzelfllen widmen, die vom System identiziert werden.

3.3
Setting des Trainers

Der mehrstellige Multiplikations-Trainer

Der Multiplikationstrainer zur schriftlichen Multiplikation basiert auf hnlichen berlegungen wie die andern beiden vorgestellten Programme. Auch hier erfolgt eine Adaption an unterschiedliche Levels. Der Schwierigkeitsgrad steigt an mit der Stellenzahl von der Multiplikation zweistellig * einstellig (nn*n) bis hin zu vierstellig * dreistellig (nnnn * nnn). Dazu kommen Varianten mit und ohne bertrge. Hier gingen auch Erfahrungen mit zahlreichen Vorabtests und aus der Bercksichtigung der Ergebnisse des Einmaleins-Trainers ein (EBNER et al 2013).

Abb. 9: Mehrstelliger Multiplikations-Trainer (http://mathe.tugraz.at) Abbildung 9 zeigt die Benutzeroberflche des Trainers nach einer Multiplikation und die identizierten Fehler bei dieser Rechnung. Es werden alle Teilschritte erfasst: sowohl jede einzelne Multiplikation, die einzelnen Additionen und auch die bertrge.
Analyse des Fehlertyps

hnlich dem PlusMinus-Trainer erfolgt dann nach Abschluss der Eingabe die eigentliche Evaluation des Ergebnisses. Es wird automatisch erhoben, wenn Fehler gemacht werden, und zugeordnet, um welchen Fehlertyp es sich handelt. Diese werden aggregiert und den Lehrkrften wird beim Aufruf der Klassenstatistik in den Ampelfarben signalisiert, ob eine pdagogische Intervention angeraten erscheint oder das Lernen quasi sich selbst berlassen werden kann.

Abb. 10: Auswertung des mehrstelligen Multiplikations-Trainers 14

48. Erg.-Lfg. August 2013 Handbuch E-Learning

Learning Analytics

3.24

In Abbildung 10 ist die Auswertung bei drei Usern angezeigt. Zu sehen ist die Anzahl der Beispiele und wie viele davon korrekt bzw. falsch gelst wurden. Durch die rote Farbe wird signalisiert dass die Erfolgsrate unter der festgesetzten Grenze ist und daher vorgeschlagen wird, dass eine Lehrkraft interveniert, also zustzliche Hinweise und alternative bungsmglichkeiten gibt. Das Programm nimmt im ersten Fall nur unspezische Fehler war, im zweiten Fall wird attestiert, dass richtig multipliziert wurde (1x1), aber beim bertrag Probleme auftreten. Im dritten Fall berwiegen Probleme beim kleinen Einmaleins. Nach Belieben kann die Lehrperson sich einzelne Lernende im Detail ansehen und genau nachvollziehen, welche Beispiele mit welchem Resultat gerechnet wurden.

3.4

Learning Analytics am Beispiel der PLE

Visualisierung von Aktivitten

Im letzten Beispiel wird gezeigt, welche Breite der Forschungsbereich LA hat. Es wurde eingangs erwhnt, dass insbesondere auch die Visualisierung von Aktivitten (Traces; Spuren) der Lernenden Rckschlssen auf deren Lernprozesse ermglicht. Dies kann z.B. erfolgen, indem man darstellt, welche Aktivitten oder Inhalte in sozialen Netzwerken gettigt wurden. Jedoch zeigen auch mehrere Forschungsarbeiten, dass die inhaltliche Analyse von z.B. Twitter-Aktivitten durchaus schwierig ist (DEVOCHT et al 2011; EBNER et al 2010). In diesem Beispiel wird demonstriert, wie man Lernttigkeiten im Rahmen einer Personal Learning Environment erfassen kann. Diese Umgebung wird an der Technischen Universitt Graz seit 2010 den Studierenden zur Verfgung gestellt und besteht aus einem Framework, welche eine hohe Anzahl an sogenannten Widgets enthlt (TARAGHI/EBNER 2012; TARAGHI et al 2012). Diese Widgets knnen innerhalb der Lernumgebung vom Lernenden beliebig verwendet und angeordnet werden, so wird eine sehr hohe Individualitt der Lernumgebung geschaffen (TARAGHI et al 2011). Jedes dieser Widgets erfllt einen bestimmten Zweck. Es gibt Widgets fr Twitter, Facebook, zum Abrufen der E-Mails oder auch verschiedene Lernobjekte, wie Taschenrechner und hnliches. Innerhalb dieser Umgebung entstehen im Verlauf einer Lehrveranstaltung eine Unmenge unterschiedlichster Aktivitten. Um hier eine bersicht ber innewohnende Zusammenhnge zu bekommen, entwickeln wir verschiedene Graken. Gerade in der Online-Lehre ist es essenziell, als Lehrender zu wissen, wie aktiv die Studierenden sind und vor allem auch frhzeitig Informationen zu bekommen, wenn die Aktivitt z.B. drastisch zurckgeht, um z.B. gezielt mgliche Probleme anzusprechen oder besondere Manahmen durchzufhren.

Einsatz von Widgets

Handbuch E-Learning

48. Erg.-Lfg. August 2013

15

3.24

Learning Analytics

Abb. 11: Aktivitt innerhalb der PLE (http://my.tugraz.at) Abbildung 11 stellt die Verwendung von Widgets im Zeitverlauf dar. Diese Statistik ist natrlich auch auf einen beliebigen Zeitrahmen und Personenkreis einzugrenzen und je Lernenden darstellbar. Mit dieser Visualisierungsfunktion knnen also die Aktivitten eines spezischen Adressatenkreises fr ein Lehrangebot unmittelbar eingesehen werden und es kann auch entsprechend interveniert werden.

4
LA verbessert die Lehr- und Lernqualitt

Zusammenfassung

LA ist ein Forschungsbereich, der noch sehr jung ist. Wir haben hier ber verschiedene Anwendungen und Verfahren berichtet, die Daten zum Lernverhalten von Schlern und Studenten produzieren, dokumentieren und analysieren. Manche Anwendungen knnen begleitend zum Lernen im Unterricht, aber auch mobil oder von zuhause am PC genutzt werden. Andere dokumentieren Nutzeraktivitten, wie An- und Abmeldezeitstempel, die Aktivitten, Umfang, Dauer und eventuell Intensitt der Kontakte, erledigte Aufgaben und vieles mehr. Es ist dabei herauszustellen, dass die Lehrkrfte mit Einsatz solcher Programme nicht nur entlastet werden. Die Programme leisten ein Ausma an Datenerfassung und Verarbeitung, wie sie Lehrende aufgrund physiologischer Kapazittsgrenzen gar nicht leisten knnten. Sie tragen somit zu einer entscheidenden Qualittsverbesserung
48. Erg.-Lfg. August 2013 Handbuch E-Learning

16

Learning Analytics

3.24

des Unterrichtes bei, wie sie allein durch ein Aufstocken von Lehrpersonal nicht erreicht werden knnte. Wir verstehen diese und weitere zu entwickelnde Anwendungen eingebettet in konventionelle Unterrichtsformen und nicht als Ersatz fr herkmmliche Unterrichtsangebote. Im Medienwechsel liegt eine spezische Wirksamkeit fr das Vorankommen mglichst vieler und die Zukunft von Learning Analytics. Deshalb alarmieren wir die Lehrperson, wenn die Auswertung der Daten ein Stagnieren der Lernentwicklung signalisiert. Wir starten also bei erkannten Problemen kein virtuelles Tutorenprogramm. Wo es allerdings darum geht, Lernangebote rund um die Uhr fr viele verfgbar zu machen, kommen wir ganz sicher zu anderen Entscheidungen. Durch die Kombination von Testen und ben sowie durch die zeitliche Verteilung solcher Aktionen ber das gesamte Semester, Schuljahr bzw. lngere Episoden entsteht auch eine ganz neue Sicht auf die Leistungsbeurteilung. Wir verfgen mit entsprechenden Anwendungen durch die Vielzahl an einzelnen Messungen ber viel zuverlssigere Einschtzungen der Kompetenz. Durch Aggregieren knnen sowohl Portfolios mit ausfhrlichen Sammlungen von Einzelleistungen erstellt werden, aber auch sehr kompakte Zusammenfassungen als Schulnote. Wir knnen heute noch nicht absehen, was wir langfristig aus den gerade entstehenden groen Datenmengen noch an Erkenntnissen gewinnen werden bzw. welche Hypothesen uns dadurch nahegelegt werden. Zum Beispiel berichten viele Lehrer, dass einzelne Leistungen erreicht werden, dann aber kurzfristig vergessen bzw. jedenfalls nicht stabil gezeigt werden und dann pltzlich und anhaltend wieder prsent sind. Wir knnen solche Prozesse jetzt erstmalig fr groe Gruppen darstellen, durch Einbezug weiterer Variablen lieen sich hier interessante Hypothesen testen, z.B. wie wirksam konkretes Unterrichtshandeln fr nachhaltiges Lernen ist oder der Frage nachgehen, wann (und wo) eigentlich was gelernt wird. Dabei stellen sich weiter Fragen danach, welche Gruppen und Typen unter welchen Bedingungen erfolgreich sind? Mit solchen Fragen kommen wir nach unserer Abgrenzung weg von der individuellen frderdiagnostischen Sicht der LA in den Bereich des Educational Data Mining. Wir knnen uns vorstellen, durch verschiedene zustzliche Sensoren und Speicherung deren Messwerte, Indikatoren fr Aufmerksamkeit, Umweltgerusche und Ablenkung zu erfassen, um diverse Probleme aufzuklren. Damit entstehen natrlich parallel und konkurrierend mit unserem Forschungs- und Aufklrungsinteresse auch Fragen und Eingrenzungen durch Schutzbedrfnisse und Persnlichkeitsrechte der betroffenen Schler- und Studentenschaft, wenn z.B. Umweltstrgerusche nicht nur als Lrmpegel, sondern als Unterhaltungen aufgezeichnet werden. Im User Management unserer Lern-Apps knnen Daten von Schulen, Lehrern und Schlern komplett mit Aliasnamen anonym angemeldet werden. Diese Anonymitt knnte bei Kombination mit weiteren persnlichen Daten und zum Umfeld unserer Lerner vermutlich nicht durchgehalten werden. Drei der beschriebenen Anwendungsbereiche beschftigten sich mit dem mathematischen Erlernen der Grundrechnungsarten und stehen frei zugnglich unter http://mathe.tugraz.at zur Verfgung. Weiters wurde auch eine Mglichkeit der Visualisierung am Beispiel der Personal Learning
Neue Mglichkeiten der Leistungsbeurteilung

Entstehende Forschungsmglichkeiten

Handbuch E-Learning

48. Erg.-Lfg. August 2013

17

3.24

Learning Analytics

Environment (http://my.tugraz.at) gezeigt und damit die Breite des Forschungsfeldes. Das Lernen wird dank der Technik individueller und persnlicher als je zuvor, dafr kann und wird LA ein Wegbereiter sein, wiewohl noch viel an weiteren Forschungsarbeiten und praktischen Einstzen notwendig ist.

Webadressen
Applikationen der Technischen Universitt Graz: http://mathe.tugraz.at International Educational Data Mining Society: http://www.educationaldatamining.org Grockit: https://grockit.com/ Personal Learning Environment der Technischen Universitt Graz: http://my.tugraz.at Science of Learning Center DataShop: https://pslcdatashop.web.cmu.edu/about StatistikPaket R: http://www.r-project.org/

Literaturhinweise
BADER-NATAL, A./LOTZE, T.: Evolving a learning analytics platform, in: Proceedings of the 1st International Conference on Learning Analytics and Knowledge (LAK '11), New York, USA 2011, S. 180-185. BAKER, R. S./DUVAL, D./STAMPER, J./WILEY, D./BUCKINGHAM SHUM, S.: Panel: Educational Data Mining meets Learning Analytics, in: Proceedings of 2nd International Conference on Learning Analytics & Knowledge (LAK '12), New York, USA 2012, S. 20. DE VOCHT, L./SELVER, S./EBNER, M./MHLBURGER, H.: Semantically driven Social Data Aggregation Interfaces for Research 2.0., in: 11th International Conference on Knowledge Management and Knowledge Technologies, 2011, Artikel 43. DUVAL, E.: Attention Please! Learning Analytics for Visualization and Recommendation, to appear in: Proceedings of the 1st International Conference on Learning Analytics and Knowledge (LAK '11), New York, USA 2011. EBNER, M./TARAGHI, B.: Personal Learning Environment for Higher Education A First Prototype, in: Proceedings of World Conference on Educational Multimedia, Hypermedia and Telecommunications 2010, S. 1158-1166, Chesapeake, VA, USA 2010. EBNER, M./MHLBURGER, H./SCHAFFERT, S./SCHIEFNER, M./REINHARDT, W./WHEELER, S.: Get Granular on Twitter Tweets from a Conference and their Limited Usefulness for Non-Participants, in: Key competences in the knowledge society 2010, S. 102-113. 18
48. Erg.-Lfg. August 2013 Handbuch E-Learning

Learning Analytics

3.24

EBNER, M./SCHN, M./TARAGHI, B./STEYRER, M.: Teachers Little Helper: Multi Math Coach, IADIS conference, Prague, acceptet in print. GARCA-SOLRZANO, D./COBO, G./SANTAMARA, E./MORN, J.A./MONZO, C./ MELENCHN, J.: Educational Monitoring Tool Based on Faceted Browsing and Data Portraits, in: Proceedings of 2nd International Conference on Learning Analytics & Knowledge (LAK '12), New York, USA 2012, S. 170-178. GERSTER, H.-D.: Schlerfehler bei schriftlichen Rechenverfahren Diagnose und Therapie, Freiburg 1982. HATTIE, J./BEYWL, W./ZIERER, K.: Lernen sichtbar machen, Baltmannsweiler 2013. HORIZON PROJECT: Horizon Report. http://www.nmc.org/horizon-project, letzter Abruf Mai 2013. LOCKYER, L./DAWSON, S.: Where Learning Analytics Meets Learning Design, in: Proceedings of the 2nd International Conference on Learning Analytics and Knowledge (LAK '12), New York, USA 2012, S. 14-15. PADBERG, F.: Didaktik der Arithmetik: Fr Lehrerausbildung und Lehrerfortbildung: Mathematik Primar- und Sekundarstufe, 3. Au.,Heidelberg 2005. SCHN, M./EBNER, M./KOTHMEIER, G.: It's Just About Learning the Multiplication Table, in: Proceedings of the 2nd International Conference on Learning Analytics and Knowledge (LAK '12), New York, USA 2012, S. 73-81. SIEMENS, G.: Elearnspace, 2010, abrufbar unter:http://www.elearnspace.org/ blog/2010/08/25/what-are-learning-analytics/(letzter Abruf Mai 2013). SIEMENS, G.: LAK 11, 2011, abrufbar unter: https://tekri.athabascau.ca/analytics/about (letzter Abruf Mai 2013). SIEMENS, G.: Slideshare, 2013, abrufbar unter: http://de.slideshare.net/gsiemens/columbia-tc (letzter Abruf Mai 2013). SIEMENS, G./BAKER, R. S. J.: Learning Analytics and Educational Data Mining: Towards Communication and Collaboration, in: Proceedings of the 2nd International Conference on Learning Analytics and Knowledge (LAK '12), New York, USA 2012, S. 252-254. SIEMENS, G./LONG, P.: Penetrating the Fog: Analytics in Learning and Education. EDUCAUSE Review, vol. 46, no. 5, 2011. TARAGHI, B./ALTMANN, T./EBNER, M.: The World of Widgets An Important Step towards a Personalized Learning Environment, in: Proceedings of the The PLE Conference 2011, S. 1-8. TARAGHI, B./EBNER, M./KROELL, C.: Personal Learning Environment Generation 2.0, in: Proceedings of World Conference on Educational Multimedia, Hypermedia and Telecommunications 2012, S. 1828-1835, Chesapeake, VA, USA 2012.

Handbuch E-Learning

48. Erg.-Lfg. August 2013

19

3.24

Learning Analytics

TARAGHI, B./EBNER, M.: Personal Learning Environment, in: HOHENSTEIN, A./WILBERS, K. (Hrsg.): Handbuch E-Learning, 43. Erg.-Lfg., Kln: 2012, Beitrag 5.16.1. VATRAPU, R./TEPLOVS, C./FUJITA, N./BULL, S.: Towards Visual Analytics for Teachers' Dynamic Diagnostic Pedagogical Decision-Making, in: Proceedings of the 1st International Conference on Learning Analytics and Knowledge (LAK '11), New York, USA 2011, S. 93-98.

20

48. Erg.-Lfg. August 2013

Handbuch E-Learning