Pädagogische Hochschule des Kantons St.

Gallen Kompetenzzentrum Bildungsinformatik und Medienpädagogik (ICT-Zentrum)/ Studienbereich Berufs- und Studienkompetenzen Seminarstrasse 27 9400 Rorschach Tel. +41 71 845 13 76 Fax +41 71 845 13 62

Portfolioarbeit mit einem E-Portfolio- Blog mit Studierenden im 1. Semester an der Pädagogischen Hochschule des Kantons St. Gallen:

Teilprojekt E-Assessment: Prozessbeurteilung 06/07

lic. phil. A. Christen & lic. phil. M. Hofmann Juli 2007

1

1. Einleitung Im Studienbereich BSK (Berufsund Studienkompetenzen) der Pädagogischen Hochschule St.Gallen dokumentieren die Studierenden im 1. Semester Aspekte des eigenen Lernens und Lehrens im Halbtagespraktikum und im Modul Berufs- und Studienkompetenzen in einem Portofolio. Bislang wurde das Portfolio vorwiegend in Papierform geführt. Ergänzend und neu zu dieser Form wurde es im Studienjahr 2005/06 im Rahmen einer Vorstudie von einer Pilotgruppe auch elektronisch auf einem Blog realisiert (E-Portfolio). Aufgrund der positiven Resultate dieser Vorarbeiten (Christen, Hofmann & Obendrauf, 2006) konnten zusätzlich Lehrende des Studienbereichs BSK für die Arbeit mit einem E-Portfolio im 1. Studiensemester gewonnen werden. Auch die Ergebnisse der Folgestudie 2006/07 zeigten im Vergleich zur herkömmlichen Portfolioarbeit auf Papier positivere Einschätzungen in den von den Studierenden berichteten und empirisch ausgewerteten Bereichen Einstellung, Interesse, Lernfortschritt, Anstrengungsbereitschaft und Motivation (Christen, Hofmann & Brassel, 2007). Ungeklärt hingegeben blieb, inwiefern sich die mit der E-Portfolioarbeit verbundene, herkömmlich produktorientierte Beurteilungspraxis zu Ende des Semesters in Richtung einer prozessorientierten Beurteilung während des gesamten Semesters realisieren lässt. Ziel dieses Berichtes ist es deshalb, die im Wintersemester 2006/07 realisierten ersten Schritte auf dem Weg zum E-Assessment bzw. der prozessorientierten Beurteilung von EPortfolios an der Pädagogischen Hochschule des Kantons St.Gallen zu dokumentieren. 2. E-Assessment Hornung-Prähauser, Geser, Hilzenhauser und Schaffert (2007) fassen unter dem Begriff EAssessment alle diejenigen Verfahren zusammen, die sich auf die Beurteilung und Rückmeldung von Lernvoraussetzungen, aktuellem Lernstand und dem erreichten Lernergebnis bei der Arbeit mit E-Portfolios beziehen. Sie unterscheiden grundsätzlich zwischen Portfolios als Lehr- und Entwicklungsinstrument (Portfolio im weiteren Sinne) und Portfolios im Sinne eines alternativen Beurteilungsinstrumentes (Portfolio im engeren Sinne). Die Auswahl der Inhalte muss für beide Formen von den Studierenden selbstständig getroffen und organisiert sein und bezüglich der Einsehbarkeit vollständig unter ihrer Kontrolle stehen (wer darf wann, wie viel Information auf dem E-Portfolio einsehen). Wenn grundsätzlich davon ausgegangen wird, dass nicht nur das Produkt, sondern auch die Sichtbarkeit des Lernprozesses innerhalb einer bestimmten Zeitspanne oder des

1

2

gesamten

Studiums

unter

Berücksichtigung

von

entsprechender

Schulung

der

Studierenden von Bedeutung ist, so stellt sich erstens die Frage, aufgrund welcher übergeordneter, formaler Aspekte E-Portfolios beurteilt werden sollen. Hornung-Prähauser et al. (2007) identifizieren in diesem Zusammenhang unter dem Begriff E-Assessment die Aspekte Portfolioformen (z.Bsp. projektbezogenes E-Portfolio) Art und Weise der bewerteten Materialien (z.Bsp. Materialien oder Reflexionen), Bewertungskriterien (operationalisierte Raster oder Blick auf die Kompetenzen), Probleme im Zusammenhang mit der Prüfungsbewertung (Aufwand, Subjektivität), Mitbeteiligung an der Bewertungsphase (Selbstevaluation) sowie die Form der Beurteilung (formativ, summativ). Mit Bezug auf die Form der Beurteilung weist Schiefner (2007) in ihrer Übersicht darauf hin, dass im Zusammenhang mit E-Assessment vorallem standardisierte Prüfungsformen wie zum Beispiel Multiple-choice Aufgaben oder Short-answer-Essays gewählt werden, offenere Beurteilungsformen jedoch übersehen oder aus Angst vor Mehraufwand nicht berücksichtigt werden. Im Zusammenhang mit der Wahl der entsprechenden formalen Kriterien stellt sich zweitens die Frage, welchen inhaltlichen Kriterien ein gutes E-Portfolio überhaupt entsprechen soll. Challis (2005) schlägt dafür sechs Katgeorien vor. Das Material soll erstens in Bezug zum gewählten Zweck stehen und spezielle Aspekte des gewählten Themas verdeutlichen bzw. frei von trivialen Inhalten sein. Der Reflexionsgrad soll zweitens ein vertieftes Verständnis der Materie aufweisen, Veränderungen der Reflexionsqualität sichtbar machen und auf Rückmeldungen anderer reagieren und diese auch miteinbeziehen. Die Inhalte sollen drittens über einen bestimmten Zeitraum hinweg inhaltsbezogen Tiefe und auch Breite aufweisen und in einer angemessenen Sprache verfasst sein. Mit Bezug auf den Einsatz von Mulimedia soll viertens der Inhalt mit Audios oder Videos zweckmässig unterstützt werden. Für das Design des E-Portfolios fordert er fünftens eine klar durchschaubare Ordnung und zu den Inhalten passende Abbildungen. Als letzten wesentlichen Punkt schlägt er sechstens eine für jeden Nutzer klare Navigation sowie eine umfassende Verlinkung vor. Die Frage nach übergeordneten, formalen Aspekten einerseits und den in einem EPortfolio zu beurteilenden inhaltlichen Kriterien andererseits lässt sich damit in Anlehnung an Hornung-Prähauser et al. (2007) sowie Challis (2005) wie folgt in einer Übersicht zusammenfassen:

2

3

Tabelle 1: Zusammenfassung übergeordneter formaler und inhaltlicher Kriterien E-Assessment

Formale Kriterien Hornung-Prähauser, Geser, Hilzenhauser und Schaffert (2007) Bewertungskriterien Challis (2005) Auswahl des Materials Reflexionsgrad Inhalte Einsatz von Multimedia Design Navigation Beurteilungs -form (formativ; summativ, offen, standardisiert ) E-PortfolioForm (z.Bsp. EPortfolio zur Studienplanu ng; projektbezog enes EPortfolio) Art und Weise der bewerteten Materialen (z.Bsp. Lernziele; Materialien; Kommentare Anderer) Probleme der Bewertung (z.Bsp. Zeitaufwand; Objektivität) Mitbeteilung der Lernenden (Fremd- bzw. Selbstevaluation)

Die Übersicht verdeutlicht die Vielfalt an möglichen Zugangsweisen in Bezug auf die Beurteilung von E-Portfolios und zeigt auf, dass die an einer Hochschule zu wählende Form des E-Assessments unter Berücksichtigung spezifischer Probleme der Bewertung zudem abhängig ist von den gewählten Bewertungskriterien, der Beurteilungs- bzw. EPortfolioform, Für das der Art und Weise der in bewerteten einem Materialen Schritt sowie die den Mitbeteiligungsmöglichkeiten der Studierenden. vorliegende Teilprojekt wurden ersten Aspekte Beurteilungskriterien (inhaltlicher Aspekt) und Probleme der Bewertung (formaler Aspekt) gewichtet und mit dem Anspruch verbunden, die in einem E-Portfolio sichtbar werdende Konstruktion von Wissensprozessen bzw. die je unterschiedlichen Entwicklungsstadien der Studierenden (Baumgartner, 2004) durch eine prozessorientierte Beurteilung zu würdigen. 3. Fragestellungen Für die E-Portfolioarbeit müssen neben der institutionellen bzw. curricularen Verankerung, der technischen Implementierung sowie der Beteiligung der Studierenden auch die Lehrenden gewonnen werden. Im Zusammenhang womöglich auch längerdauernd, mit zeitlichem mit E-Assessment bzw. der (z.Bsp. erhöhter Prozessbeurteilung von E-Portfolios ist vor allem im Rahmen der Einarbeitungsphase, Mehraufwand Korrekturaufwand; Schiefner, 2007) sowie einer grundlegenden Veränderung der Beurteilungsmethodik zu rechnen. Ausgehend von diesen Überlegungen wurden im Rahmen dieses Teilprojekts insbesondere zwei Fragestellungen verfolgt. Im Zentrum stand erstens die Frage, welcher zeitliche Mehraufwand für die Lehrenden zu erwarten ist, wenn davon ausgegangen wird,

3

4

dass pro Semesterwoche pro Studierender ein E-Portfoliobeitrag beurteilt werden muss (12-14 Studierende pro Lehrender; Aspekt: Bewertungsprobleme). An zweiter Stelle stand das Anliegen, einen eigens zu diesem Zweck entwickelten Beurteilungsraster zu testen (Aspekt: Beurteilungskriterien). Bezüglich der Aspekte Beurteilungsform bzw. Mitbeteiligung der Studierenden war die Richtung aufgrund der institutionellen

Rahmenbedingungen vorgegeben. Die Beurteilung musste im Rahmen einer summativen Form ohne Mitbeteiligung der Studierenden erfolgen, da mit dem E-Portfolio im ersten Semester gleichzeitig der Modulnachweis des Moduls Berufs- und Studienkompetenzen I erarbeitet werden konnte (formale Anerkennung: 2 ECTS). 4. Methode In den folgenden Abschnitten werden der Projektverlauf (4.1.), die Situierung der Stichprobe im Kontext des Studienbereichs BSK an der Pädagogischen Hochschule des Kantons St.Gallen (4.2.) sowie die verwendeten Erhebungsinstrumente (4.3.-4.6.) beschrieben. 4.1. Projektverlauf Aufgrund der Ergebnisse der Vorstudie 05/06 (Christen, Hofmann & Obendrauf, 2006) konnten für die Weiterarbeit im Wintersemester 06/07 vier Lehrende (2 Lerngruppen) für das weiterführende Teilprojekt E-Assessment: Prozessbeurteilung sowie neu fünf Lehrende für die Arbeit mit E-Portfolios auf einem Blog (vgl. Abschnitt 4.2.) gewonnen werden. Der zeitliche Verlauf des Teilprojekts E-Assessment: Prozessbeurteilung dabei wie folgt angelegt (Tab. 2):
Tabelle 2: Zeitlicher Ablauf Prozessbeurteilung E-Portfolio; Schulung; Rückmeldung an die Studierenden WS06/07, Pädagogische Hochschule des Kantons des Kantons St.Gallen Woche 42 43 44 45 46 47 Beginn der Arbeiten Prozessbeurteilung anhand Kriterienraster (12-14 Studierende pro Lehrende) Prozessbeurteilung anhand Kriterienraster (12-14 Studierende pro ) Prozessbeurteilung anhand Kriterienraster (12-14 Studierende pro Lehrende) Kognitive Modellierung 1: 2 gute Beiträge Kognitive Modellierung 2: 2 gute Beiträge Punktestand Gesamtgruppe W46 Punktestand Gesamtgruppe W45 Beurteilung Beginn Wintersemester 06/07 Instruktion E-Portfolio auf einem Blog Instruktion E-Portfolio auf einem Blog Punktestand Gesamtgruppe W44 Schulung Rückmeldung Studierende

war

4

5

48 49

Prozessbeurteilung anhand Kriterienraster (12-14 Studierende pro Lehrende) Prozessbeurteilung anhand Kriterienraster (12-14 Studierende pro Lehrende)

Kognitive Modellierung 3: 2 gute Beiträge Kognitive Modellierung 4: 2 gute Beiträge

Punktestand Gesamtgruppe W47 Punktestand Gesamtgruppe W48 Abgabe individueller Printscreen 01 Punktestand Gesamtgruppe W49 Punktestand Gesamtgruppe W50

50 51 52 01 02 03 04 05 06 07 08 09 10

Prozessbeurteilung anhand Kriterienraster (12-14 Studierende pro Lehrende) Prozessbeurteilung anhand Kriterienraster (12-14 Studierende pro Lehrende) Ferienwoche Prozessbeurteilung anhand Kriterienraster (12-14 Studierende pro Lehrende) Prozessbeurteilung anhand Kriterienraster (12-14 Studierende pro Lehrende) Prozessbeurteilung anhand Kriterienraster (12-14 Studierende pro Lehrende) Prozessbeurteilung anhand Kriterienraster (12-14 Studierende pro Lehrende) Ferienwoche

Punktestand Gesamtgruppe W51 Gespräche Studium: Abgabe individueller Printscreen 02 Interdisziplinäre Blockwoche Standortbestimmung

(Blockpraktikum: keine Rückmeldung) Prozessbeurteilung anhand Kriterienraster (12-14 Studierende pro Lehrende) Prozessbeurteilung anhand Kriterienraster (12-14 Studierende pro Lehrende) Prozessbeurteilung anhand Kriterienraster (12-14 Studierende pro Lehrende) Prozessbeurteilung anhand Kriterienraster (12-14 Studierende pro Lehrende); letzter Beitrag (Blockpraktikum: keine Rückmeldung) (Blockpraktikum: keine Rückmeldung) (Blockpraktikum: keine Rückmeldung) (Blockpraktikum: keine Rückmeldung)

11 12 16 Endbeurteilung: bestanden/nicht bestanden Beginn Sommersemester 07: Abgabe Endbeurteilung bestanden/nicht bestanden (2 ECTS)

Im Verlauf der insgesamt 21 Versuchswochen (WS06/07) wurden in jedem E-Portfolio 16 Beiträge beurteilt (pro Lehrende 12-14 E-Portfolios). Dabei wurden im Sinne einer kognitiven Modellierung während vier Wochen jeweils zwei sehr gute, den vorgelegten Kriterien entsprechende Beiträge in den jeweiligen Lerngruppen vorgelegt und besprochen (Woche 46-49). Die Rückmeldung an die Studierenden erfolgte bis zum Beginn des Blockpraktikums (Woche 06) wöchentlich in Form einer anonymen Gesamtrückmeldung Punktestand Gesamtgruppe (vgl. 4.5.) sowie zu zwei Zeitpunkten in Form eines individuell abgegebenen Printscreens des individuellen Punktestandes (Woche 49; Woche 02, vgl.

5

6

4.5.). Die Endbeurteilung (Gesamttotal aller erreichten Punkte) erfolgte nach Eingang des letzten Beitrages in den Wochen 20 und 21 und wurde bis zu Beginn des Sommersemesters 07 (W16) mitgeteilt. 4.2. Stichprobe Am Teilprojekt E-Assessment: Prozessbeurteilung nahmen 28 Studierende der Lerngruppe A (LG06A) sowie 25 Studierende der Lerngruppe D (LG06D) teil. Die Gruppenzusammenstellung erfolgte aufgrund der Zusage zur Mitarbeit am Teilprojekt EAssessment: Prozessbeurteilung durch die betreuenden vier Lehrenden. Dabei wurden die Studierenden der beiden Gruppen zum Führen des E-Portfolios verpflichtet, während sich die Studierenden der Lerngruppen LG06B, LG06E sowie LG06G sowohl für ein E-Portfolio auf Papier oder ein E-Portfolio auf einem Blog entscheiden konnten (herkömmliche Beurteilungsform, vgl. Christen, Hofmann & Brassel, 2007). Die Studierenden der Lerngruppen LG06C sowie LG06F nahmen aufgrund der Absagen der betreuenden Lehrenden weder an teil der und Studie führten 06/07 das noch Portfolio am Teilprojekt in der E-Assessment: herkömmlichen Prozessbeurteilung damit

produktbeurteilten Form auf Papier. Die Situierung des Teilprojektes E-Assessment: Prozessbeurteilung im Rahmen des Gesamtprojektes Portfolioarbeit mit einem E-Portfolio- Blog mit Studierenden im 1. Semester an der Pädagogischen Hochschule des Kantons St.Gallen sieht damit in Bezug auf die Stichprobenzusammensetzung im Gesamtkontext wie folgt aus (Tab.3):
Tabelle 3: Verteilung der Studierenden WS 06/07 auf die unterschiedlichen Teilprojekte Prozessbeurteilung; E-Portfolio auf einem Blog; Portfolio auf Papier

Anzahl EPortfolios LG06A LG06D LG06B LG06E LG06G (E-Portfolio auf einem Blog, Teilprojekt E-Assessment: Prozessbeurteilung; Studie 06/07) (E-Portfolio auf einem Blog, Teilprojekt E-Assessment: Prozessbeurteilung; Studie 06/07) (E-Portfolio auf einem Blog oder Portfolio auf Papier; produktorientierte Beurteilung; Teilnahme Studie 06/07) (E-Portfolio auf einem Blog oder Portfolio auf Papier; produktorientierte Beurteilung; Teilnahme Studie 06/07) (E-Portfolio auf einem Blog oder Portfolio auf Papier; produktorientierte Beurteilung; Teilnahme Studie 06/07) n=20 5 n=24 7 n=21 6 n=25 25 n=28 28

6

7

LG06C LG06F

produktorientierte Beurteilung; Portfolio auf Papier produktorientierte Beurteilung; Portfolio auf Papier

n=25 n=21

0 0

Im Rahmen des Teilprojektes E-Assessment: Prozessbeurteilung konnten damit insgesamt mit 53 Studierenden bzw. 53 E-Portfolios erste Erfahrungen in Bezug auf die in Abschnitt 3 formulierten Fragestellungen gesammelt werden. Daneben führten 18 Studierende neu ein E-Portfolio auf einem Blog (produktorientierte Beurteilungspraxis). 4.3. Zeitlicher Aufwand E-Assessment: Prozessbeurteilung Die Lehrenden des Teilprojektes E-Assessment: Prozessbeurteilung erfassten die wöchentlich anfallenden Lese- und Bewertungszeiten der E-Portfolios in einer Tabelle (Woche 45- Woche 10). Von den Lehrenden der nicht am Teilprojekt beteiligten Lerngruppen wurde die Gesamtkorrekturzeit für alle beurteilten Portfolios zu Ende des Semesters erfasst (produktorientierte Beurteilung). 4.4. Technische Instrumente Allen Studierenden des Teilprojekts E-Assessment: Prozessbeurteilung wurde ein Blog der Firma Kaywa AG (http://www.kaywa.ch) zur Verfügung gestellt. Der Vorteil dieses Konvergenz-Blogs besteht darin, dass er sich via Internet und vom Mobiltelefon oder PDA aus benützen lässt. Zudem können einzelne Posts (Beiträge) passwortgeschützt in der admin-Ansicht und somit nicht öffentlich sichtbar im eigenen Blog erfasst werden. Damit wird sichergestellt, dass die Studierenden auch Beiträge mit privatem Charakter auf dem eigenen Blog erfassen können und die Kontrolle darüber haben, wer wann wie viel Information auf dem E-Portfolio einsehen darf (Aspekt Kontrolle des Eigners, Abb.1):
E-Portfolio /Blog (http://petra.phrblog.kaywa.ch

publish Ansicht

admin Ansicht

Abbildung 1: Grundstruktur eines PHR-Blogs in publish und admin Ansicht

7

8

Den Studierenden war es also zu jedem Zeitpunkt möglich, private Beiträge und/oder öffentliche Beiträge zu verfassen, wobei der Zugang von eingeladenen Gästen auch für private Beiträge jederzeit möglich war. Mit Hilfe eines Aggregators werden zudem die aktuellsten Feeds der einzelnen E-Portfolios zusammengezogen und auf dem Portal PHRBLOG http://phrblog.kaywa.ch abgebildet. Somit konnten sich interessierte Leserinnen bzw. Leser von einem zentralen Einstiegspunkt aus einen raschen Überblick über die Aktivitäten in den einzelnen EPortfolios der Studierenden machen. Das Portal PHRBLOG enthält ausserdem neben einer kurzen Projektbeschreibung auch Links zu den E-Portfolios der nicht an diesem Teilprojekt beteiligten Studierenden wie zum Beispiel zu jenen der beteiligten Lehrenden. Das technische publiziert. Alle mit diesem Teilprojekt verbundenen Kosten wurden vollumfänglich von der Pädagogischen Hochschule des Kantons St.Gallen übernommen. Das technische Knowhow und den 2th Level- Support zum mobilen Bloggen wurde kostenlos von der Firma KAYWA AG (http://www.kaywa.ch) zur Verfügung gestellt. 4.5. E-Portfolios an der Pädagogischen Hochschule des Kantons St.Gallen Gemäss der Definition von Hornung-Prähauser et. al. (2007) umfasst ein E-Portfolio auf übergeordneter Ebene folgende acht Aspekte:
1. 2. 3. 4. 5. 6. 7. 8. Digitale Sammlung von Artefakten Sichtbarkeit von Lernergebnissen Sichtbarkeit von Lernprozess Begrenzung auf eine bestimmte Zeitspanne Bindung an einen Zweck Selbstständige Auswahl durch den Eigner Selbstständige Organisation durch den Eigner Kontrolle des Eigners über den Zeitpunkt und das Ausmass der Einsicht durch Andere

Know-how

zum

Bloggen

wurde

über

einen

Support-

Blog

(http://support.phrblog.kaywa.ch) zusätzlich zu den angebotenen Schulungen (W 43/44)

Im vorliegenden Teilprojekt wurde der Aspekt digitale Sammlung von Artefakten in Form eines Blogs für jeden Für Studierenden die Aspekte umgesetzt Sichtbarkeit (vgl. von Portal PHRBLOG und http://phrblog.kaywa.ch). Lernergebnissen

Lernprozessen bzw. selbstständige Auswahl und Organisation waren die Studierenden angehalten, für sie bedeutsame Leitfragen oder Themen aus den Lernfeldern des Moduls Berufs- und Studienkompetenzen (BSK) auszuwählen und diesbezüglich ihre Erkenntnisse

8

9

und Erfahrungen sichtbar zu machen. Die Zeitspanne (Woche 43/06-07 bis Woche 10/07) sowie die Mindestanzahl Beiträge pro Woche (1) wurde vorgegeben. Die Beiträge sollten sich an Themenfeldern der BSK orientieren und in den Kategorien Mein Lernen; Berufsmotivation; Der Lehrberuf sowie Aufbau von berufsrelevanten personalen und sozialen Kompetenzen eingeordnet werden (Zweckgebundenheit). Mit der Wahl dieser Themen strebt die Pädagogische Hochschule des Kantons St.Gallen in Zusammenhang mit den ergänzenden drei Lernfeldern BSK-Unterricht, BSKLerngruppe sowie Erfahrungen im Praktikum die Auseinandersetzung der Studierenden mit berufs- und studienrelevanten Fragestellungen bereits im 1. Studiensemester an. Das den E-Portolios zugrunde liegende Bezugssystem weist demzufolge folgende Themen- bzw. Lernfelder auf (Tab.4):
Tabelle 4: Themenfelder und Lernfelder im Modul Berufs und Studienkompetenzen I an der Pädagogischen Hochschule des Kantons St.Gallen (Sonderegger, 2006)

Themenfelder

Mein Lernen (Lernbiografie; Lernkonzepte; Lernverhalten)

Berufsmotivation Erfahrungen Berufsvorstellungen Stufenwahl BSK-Lerngruppe

Der Lehrberuf Berufsleitbild Berufsauftrag Einbettung lokale Schule Arbeit im in die

Aufbau von berufsrelevanten und personalen Kompetenzen

Lernfelder

BSK-Unterricht

Praktikum

(Tandem)

Der Unterricht im Modul BSK I wird pro Lerngruppe von zwei Lehrenden der Pädagogischen Hochschule des Kantons St.Gallen geleitet und umfasst im 1. Semester 4 Wochenlektionen. Für die Arbeit am E-Portfolio wurde den Studierenden pro Unterrichtsblock 20-30 Minuten zur Verfügung gestellt. 4.6. Beurteilungskriterien und Rückmeldung Im Rahmen des vorliegenden Teilprojektes E-Assessment: Prozessbeurteilung wurde ein an das bereits bestehende Bezugssystem BSK I angepasster Beurteilungsraster entwickelt und getestet. Der Beurteilungsraster orientierte sich dabei in dieser ersten Fassung teilweise an den von Challis (2005) vorgeschlagenen Beurteilungskriterien Auswahl des Materials (Bezug zu BSK-Inhalten und/oder den theoretischen Grundlagentexten; Verbindung mit dem Berufsfeld der Lehrperson), Reflexionsgrad (sachlogischer Aufbau, Verständlichkeit, Resonanz/Wirksamkeit: Beitrag erhält Kommentare; Integration von Gedanken/Inhalten anderer Blogs), Inhalt (Prägnanz; sprachlich und orthografisch korrekt),

9

10

Design (passende Illustrationen und Abbildungen) sowie Navigation (Integration von Links im Text oder in Blogrolls; Tabelle 5):
Tabelle 5: Beurteilungskriterien Prozessbeurteilung E-Portfolio Pädagogische Hochschule des Kantons St.Gallen WS06/07

Beurteilungskriterien pro Beurteilungszeitpunkt Sprache • sprachlich und orthografisch korrekt Inhalt • • • • • • •

Punkte

1

sachlogischer Aufbau Verständlichkeit Prägnanz Bezug zu BSK-Inhalten und/oder den theoretischen Grundlagentexten passende Illustrationen/Abbildungen Verbindung mit dem Berufsfeld der Lehrperson Resonanz/Wirksamkeit (Beitrag enthält Kommentare)

7

Vernetzung • Integration von Gedanken/ Inhalten etc. anderer Blogs • Integration von Links im Text oder in Blogrolls Total

2 10

Für die Erreichung des Lernzieles musste während des gesamten Projektverlaufs eine Gesamtpunktzahl von 119 Punkten (70%) erbracht werden. Die entlang dieser Kriterien vorgenommene Punkteverteilung wurde von den Lehrenden wöchentlich in einer eigens dafür programmierten Excel-Tabelle (Microsoft Office Excel; Abb.2) festgehalten:

10

11

BSK 1. Studienjahr7 WS06/07 Beurteilung E-Portfolio 11.10.06-10.03.07 Name: Petra Woche Sprache Inhalt Vernetzung W44 W45 W46 W47 W48 W49 W50 W51 W01 W02 W03 W04 W06 W07 W08 W09 W10 Total 1 0 1 1 12 5 6 6 6 98 1 1 1 1 17 1 0 1 0 1 1 1 1 1 0 1 1 3 4 7 7 7 7 7 7 7 7 6 6 1 1 2 2 1 1 2 0 1 1 1 0 Total 5 5 10 9 9 9 10
Punkte 10 9 8 7 6 5 4 3 2 1 0

Blogbeurteilung Petra

8 9 8 8 7 7 7 7 8 8 134

Sprache Inhalt Vernetzung Total

134/170
Abbildung. 2: Princtscreen Beurteilung E-Portfolio, WS06/07

Die Rückmeldung an die Studierenden erfolgte einerseits anonymisiert auf der Lerngruppenebene in Form eines im BSK Unterricht gezeigten wöchentlichen Überblicks zur Verteilung des Gesamtpunktestandes für je 12-14 E-Portfolios (Woche 45-01; vgl. Tab. 6):

W 44 W 46 W 48 W 50 W 01 W 03 W 06 W 08 W 10
Woche

11

12

Tabelle 6: Anonymisierte Rückmeldung Lerngruppe D (W50)

Anzahl Punkte 0 1 0 1 2 3 4 5 6 7 0 1 2

Sprache 3 10

Inhalt

Vernetzung

1 4 1 5 1 1 4 9

Andererseits erhielten die Studierenden zweimal einen Ausdruck ihres individuellen Punktestandes (W 49, 02; vgl. Tab.2, Abb.2). 5. Ergebnisse Nach der Beschreibung der unterschiedlichen am Teilprojekt berücksichtigten Anwendungs- bzw. Beurteilungsinstrumente werden im Anschluss die Ergebnisse in Bezug auf den zeitlichen Mehraufwand (4.3.) sowie erste Rückmeldungen zur Handhabung der getesteten Beurteilungskriterien (4.6.) vorgelegt. 5.1. Zeitlicher Aufwand Der gesamte Zeitaufwand verteilt sich auf die vier Lehrenden E-Assessment: Prozessbeurteilung bzw. die neun Lehrenden-Produktbeurteilung bei einer Beurteilung von je 12 E-Portfolios (wöchentlich) bzw. 12 Portfolios (zu Ende des Semesters) wie folgt (Mdoz.prozess= 28.25; Mdoz.produkt=13):

12

13

40 Anzahl h/ Bewertung (12) 30 20 10 0 1 2 3 4 5 6 7 8 9 10 11 12 13

20 28 36 29 DozProzessbeurteilung DozProduktbeurteilung 10 9 24 25 10 9 Doz.-Nr.
Abbildung 3: Zeitaufwand Prozessbeurteilung- Produktbeurteilung WS06/07 E-Portfolio BSK, Pädagogische Hochschule des Kantons St.Gallen

9 11 10

Dabei ist zu berücksichtigen, dass die Lehrenden Nr. 3 und 4 zusätzlich zu den im Teilprojekt vorgesehenen Punktebewertungen teilweise das Verfassen zusätzlicher Notizen berichteten bzw. schriftliche Rückmeldungen an die Studierenden in Form von Kurztexten abgaben. Die Lehrenden 7 bzw. 8 nahmen die Beurteilung von mehreren Portfolios im Gegensatz zu den anderen Lehrenden zum ersten Mal vor. 5.2. Beurteilungskriterien Aufgrund von offenen Befragungen bei den vier Lehrenden des Teilprojektes EAssessment: Prozessbeurteilung lassen sich im WS06/07 für den getesteten Beurteilungsraster auf den Ebenen Auswahl des Materials, Reflexionsgrad, Resonanz und Navigation die in den folgenden Abschnitten beschriebenen Rückmeldungen identifizieren. 5.2.1. Auswahl des Materials Aufgrund der tiefen Punktzahlen im Feld Inhalt (7) konnten Leistungssteigerungen bzw. Stagnationen nach Ablauf der ersten Startschwierigkeiten kaum mehr entsprechend durch die Beurteilungskriterien erfasst und insbesondere gewürdigt werden. 5.2.2. Reflexionsgrad: Resonanz Das Kriterium erhält Kommentare wurde von den Studierenden teilweise als ungerecht wahrgenommen. Die erreichte Punktzahl wird ohne Kommentare anderer um einen Punkt reduziert, ohne dass dies durch Eigenleistung kompensiert werden kann. Dies führte dazu,

13

14

dass aufgrund von internen Übereinkünften Kommentare geschrieben wurden, ohne dass ein tatsächlicher Bedarf dazu bestand. Studierende, die ihre Beiträge früh in der Woche bwz. lange vor dem Beurteilungszeitpunkt Ende der Woche publizierten, hatten grössere Chancen, Kommentare anderer Studierender zu erhalten. Das Aufzeigen von positiven Beispielen (kognitives Modellieren; Woche 46-49) erhöhte die Wahrnehmung einer von den Studierenden als eher negativ beurteilten Konkurrenzsituation. 5.2.3. Navigation Das Verlinken der einzelnen Beiträge bereitete in den ersten drei Wochen Schwierigkeiten und schlug sich dementsprechend deutlich in den Beurteilungen nieder. Unklar blieb, inwiefern sich das Kriterium Integration von Links im Text oder in Blogrolls auf die Verlinkung mit den Beiträgen anderer Studierenden oder auf die Verlinkung mit einer Website bezog. Ebenfalls nicht klar blieb aufgrund desselben Kriteriums, ob die inhaltliche Qualität eines vernetzten Beitrags mitbewertet werden sollte.

5.2.4. Verbindung E-Portfolio-Halbtagespraktikum Die Studierenden des Moduls Berufs- und Studienkompetenzen I absolvierten während des Projektverlaufs E-Assessment: Prozessbeurteilung einmal wöchentlich ein

Halbtagespraktikum in einer Schulklasse. Die dort gemachten Erfahrungen wurden häufig auf den E-Portfolios publiziert und standen damit zwar deutlich in Verbindung zum Zweck des E-Portfolios (Auseinandersetzung mit dem Lehrberuf; Aufbau von personalen und sozialen Kompetenzen, vgl. Abschnitt 4.5), konnten dessenungeachtet jedoch kaum mit den Kriterien des vorliegenden Beurteilungsraster bewertet werden. 6. Diskussion Die Einführung der Arbeit mit E-Portfolios an Hochschulen kann nach Hornung-Prähauser, Geser, Hilzenhauser und Schaffert (2007) sowie Schiefner (2007) an Herausforderungen in Bezug auf die Lernenden, die Lerninhalte oder die Lehrenden scheitern. Dabei wird in Bezug auf die Herausforderungen an die Lehrenden deutlich darauf hingewiesen, dass der zu erwartende Mehraufwand an Zeit und anderen Ressourcen ein Hinderungsfaktor sein kann, der durch eine hohe Motivation der Lehrenden, Überzeugung bezüglich des Mehrwertes der neuen Lehrform und/oder aufgrund von institutioneller Anerkennung der zusätzlich geleisteten Arbeit gemildert werden kann.

14

15

In Zentrum des Teilprojekts E-Assessment: Prozessbeurteilung stand deshalb erstens die Frage, mit welchem zeitlichen Mehraufwand für die Lehrenden von E-Portfolios gerechnet werden muss, wenn davon ausgegangen wird, das die herkömmliche, produkorientierte Beurteilungspraxis eines E-Portfolios zu Ende des Semesters zugunsten einer prozessorientierten, wöchentlichen Beurteilungsmethodik verändert wird. An zweiter Stelle stand damit verbunden die Erprobung eines eigens entwickelten Beurteilungsrasters zur wöchentlichen Beurteilung der Beiträge auf den E-Portfolio-Blogs der Studierenden. Im Rahmen des vorliegenden Teilprojektes wurde der zeitliche Mehraufwand für die Beurteilung von E-Portfolios auf einem Blog bei wöchentlicher, summativer Beurteilung anhand einer einfachen Zeittabelle (h/ Woche) erfasst. Die Zusammenstellung der durch die Lehrenden angegebenen Beurteilungszeiten zeigt vorläufig im Überblick auf, dass in der Einführungsphase mit einer Verdoppelung des Zeitaufwandes gerechnet werden muss. Dies entspricht den Angaben von Schiefner (2007), die den zeitlichen Beurteilungsaufwand bei offenen E-Assessmentformen mit dem Aufwand der Beurteilung von Hausarbeiten und Referaten gleichsetzt. Der zeitliche Aufwand erhöht sich zudem deutlich, wenn zusätzlich zu den Punktevergaben der Anspruch gestellt wird, den Studierenden auch Rückmeldungen in Form von schriftlichen Kurzkommentaren abzugeben. Inwiefern sich dieser Mehraufwand nur in der Einführungsphase ergibt, kann zur Zeit nicht beurteilt werden. Soll die Arbeit mit E-Portfolios jedoch längerfristig institutionalisiert werden, ist ausserdem mit zusätzlichen Mehraufwendungen für die Lehrenden auf der Ebene der Weiterbildung (unterschiedliche theoretische Konzeptionen von E-Portfolios) und auf der Ebene Schulung bezüglich der gewählten Werkzeuge (Softwareprodukte) zu rechnen (Hornung-Prähauser et. al., 2007). Die Erprobung des eigenen Beurteilungsrasters weist deutliche

Verbesserungsmöglichkeiten auf. Der Beurteilungsraster muss sich in den übergeordneten Kategorien stringenter an den von Challis (2005) vorgelegten Kriterien orientieren. Dabei ist die Anzahl der zu vergebenden Punkte insgesamt und vor allem in Verbindung mit der Kategorie Auswahl des Materials deutlich zu erhöhen, um unterschiedliche Leistungen bezüglich der noch aufzunehmenden Teilkriterien Verdeutlichung spezieller Aspekte bzw. Trivialisierungen adäquat beurteilen zu können. Das Teilkriterium Bezug zu BSK-Inhalten und/oder den theoretischen Grundlagentexten hat sich bewährt, präzisiert werden muss hingegen in einem weiteren Schritt das Teilkriterium Verbindung mit dem Berufsfeld der Lehrperson, um die aus den Halbtagespraktika berichteten Erfahrungen und Erkenntnisse

15

16

angemessen gewichten zu können oder sie womöglich in einer anderen Form zu beurteilen. Es zeigt sich an dieser Schnittstelle deutlich, dass der verwendete Beurteilungsraster von den Studierenden berichtete, in der Praxis sich entwickelnde Kompetenzen aufgrund der Kriterien und der gewählten summativen Beurteilungsform nicht zu erfassen vermag. Hinsichtlich der Kategorie Reflexionsgrad muss neben der Beibehaltung der Teilkriterien sachlogischer Aufbau und Verständlichkeit in Bezug auf das Teilkriterium Resonanz/Wirksamkeit deutlicher unterschieden werden zwischen der Integration von und der Reaktion auf Rückmeldungen Anderer durch den Eigner einerseits und der Anzahl von eingegangenen Reaktionen andererseits. Die für die Kategorien Inhalt und Design eingesetzten Teilkriterien können beibehalten werden (Prägnanz bzw. sprachliche und orthografische Korrektheit; passende Illustrationen und Abbildungen). Bezüglich der Kategorie Navigation ist einerseits zu diskutieren, ob die Beurteilung erst nach einer bestimmten Einführungs- und Übungsphase einzusetzen hat und andererseits ist zu klären, worauf sich die vergebenen Punkte beziehen sollen (Beiträge anderer Studierender; Websites; einwandfreie technische Bedienbarkeit und/oder inhaltliche Qualität der verlinkten Beiträge oder Websites). Werden die vorliegenden Teilergebnisse mit Bezug auf E-Portfolios in der

Studieneingangsphase gemäss Hornung-Prähauser, Geser, Hilzenhauser und Schaffert (2007) vor allem auf der Ebene der Implementierungsstrategien interpretiert, so wäre für die Weiterentwicklung des Einsatzes der E-Portfolios erstens eine Erweiterung der technologischen Instrumente angezeigt (Verbindung E-Portfolio-Tool mit E-AssessmentTool). Diesem Anspruch steht entgegen, dass die zur Zeit verfügbaren E-AssessmentTools wie zum Beispiel Blackboard/WebCT (Hornung-Prähauser, Geser, Hilzenhauser & Schaffert; 2007) erhebliche Nachteile sowie eine tiefe Akzeptanz bei den Nutzern oder einen zur Zeit zu hohen Komplexitätsgrad bezüglich der Bedienbarkeit und nicht zuletzt erschwerte Adapationsmöglichkeiten der Vorlagen bzw. Beurteilungskriterien aufweisen. Zweitens ist auf der Kompetenzebene die Gewinnung von weiteren Lehrenden zur Teilnahme drittens an den in entsprechenden Teilprojekt Projekten und Schulungen Ergebnisse unter Einsatz der entsprechender Anreizsysteme wünschenswert. Auf der Beurteilungsebene müssen die diesem gewonnenen bezüglich Beurteilungskriterien aufgenommen und für die zukünftige Arbeit integriert werden.

16

17

6. Literaturverzeichnis Baumgartner, P. (2005). Eine neue Lernkultur entwickeln: Kompetenzbasierte Ausbildung mit Blogs und E-Portfolios [On-line]. Available: http://www.educa.ch/dyn/9.asp?url=131141%2Easp , 8.9.2005. Christen, A., Obendrauf, M. & Hofmann, M. (2006). Portfolioarbeit mit einem eLernreisebuch und einem ePortfolio auf einem Blog mit Studierenden im 1. Semester an der Pädagogischen Hochschule Rorschach. [On-line]. Available: http://ping.phrblog.kaywa.ch. Christen, A., Hofmann, M. & Brassel, T. (2007). Portfolioarbeit mit einem E-Portfolio auf einem Blog mit Studierenden im 1. Semester an der Pädagogischen Hochschule. St.Gallen. Unveröffentlichtes Manuskript. Challis, D. (2005). Towards the mature ePortfolio: Some implications for higher education. In: Candian Journal of learning and Technology, 31 (3). [On-line]. Available: http://www.cjlt.ca/content/vol31.3/challis.html. Accessed: 23.07.07. Hornung-Prähauser, V., Geser, G., Hilzenhauser,W. & Schaffert, S. (2007). Vorstudie zu didaktischen, organisatorischen und technologischen Grundlagen von E-Portfolios und Analyse internationaler Beispiele und Erfahrungen mit E-Portfolio-Implementierungen an der Hochschule. [On-line]. Available: http://edumedia.salzburgresearch.at. Accessed: 10.07.07. Schiefner, M. (2007). E-Assessment in der Lehrerinnen- und Lehrerbildung: What’s new with the „E“? Beiträge zur Lehrerbildung, 25 (1), 59-70. Sonderegger, J. (2006). Eignungsabklärung im Spannungsfeld professioneller Ansprüche am Beispiel der Pädagogischen Hochschule Rorschach. Beiträge zur Lehrerbildung, 24(1), S. 82- 88.

17