Sie sind auf Seite 1von 3

PFLEGE PÄDAGOGIK

Valide Leistungstests
in der Pflegeausbildung
„Methodenkoffer Pflegebildung“ (1): Einführung  Die Konstruktion von
aussagekräftigen Lernzielerfolgskontrollen bzw. Leistungstests ist für Pflege-
pädagogen ein zentraler Aufgabenbereich und vor allem für Berufsanfänger in
der Pflegebildung eine große Herausforderung. Wie erstellt man valide Leis-
tungstests? Diese Artikelserie greift verschiedene methodische Ansätze aus der
Statistik auf, die wir Ihnen hier und den folgenden Ausgaben vorstellen.
   Thomas Knappich

liert: Kann ich mit einem beispielsweise dichotomen oder ordina-


ZUSAMMENFASSUNG len Antwortschema unterschiedliche Fähigkeitsniveaus abbilden?

Valide Leistungstests bzw. Lernzielerfolgskontrollen zur Fest- Strukturmodell vor Messmodell


stellung der Fachkompetenz zu erstellen, ist ein komplexer Am Beginn der Entwicklung eines Leistungstests steht die Überle-
und zeitaufwändiger Prozess. Er stellt nicht nur Berufsanfän- gung, was überhaupt gemessen werden soll. Der Testkonstrukteur
ger, sondern auch berufserfahrene Pflegepädagogen vor muss sich vergegenwärtigen, welches latente Konstrukt er mit Hil-
große Herausforderungen. Leistungstests müssen über ein fe des Testinstrumentes erfassen will. In der theoretischen Ausbil-
plausibles Struktur- und Messmodell verfügen sowie den dung von Gesundheits- und Krankenpfleger/innen geht es insbe-
gängigen wissenschaftlichen Gütekriterien für psychometri- sondere um die Erreichung und Überprüfung von sogenannten
sche Tests genügen. Jeweils anhand eines praxisorientierten kompetenzorientierten Lernzielen in den verschiedenen Bereichen
Beispiels soll die Umsetzung dieser Qualitätsstandards in den der Handlungskompetenz (Fachkompetenz, Methodenkompetenz,
Beiträgen dieser Serie demonstriert werden. ­Damit entsteht personale Kompetenz und Sozialkompetenz). Unter Handlungs-
ein „Methodenkoffer“, der ein Instrumentarium für die Ein- kompetenz wird „die Fähigkeit und Bereitschaft des Einzelnen,
schätzung von Fachkompetenz in der Pflege bereithält. Kenntnisse und Fertigkeiten sowie persönliche, soziale und metho-
dische Fähigkeiten zu nutzen und sich durchdacht sowie individu-
Schlüsselwörter: Klausurerstellung, Pflegebildung, ell und sozial verantwortlich zu verhalten (…)“ verstanden (Arbeits-
Lernzielerfolgskontrolle, Leistungstests, Fachkom- kreis Deutscher Qualifikationsrahmen 2011, S. 4).
petenz, Gütekriterien Für Pflegepädagogen „sind Kompetenzen (…) zentraler Aus-
gangspunkt und Zielgröße für inhaltliche und methodische Über-
legungen in der Lehre. Die im Lehr‐/Lernkontext zu erwerbenden
Kompetenzen werden dabei über Lernziele beschrieben und geplant

I
n der pflegebildungswissenschaftlichen Literatur finden sich ei- (...). Kompetenzorientiert formulierte Lernziele unterstützen die
nige Ansätze, wie Leistungstests inhaltlich, also in Bezug auf [Auszubildenden] dabei, ihr eigenes Lernen zu bewerten und da-
das Strukturmodell, erarbeitet und ausgewertet werden können mit Verantwortung für ihr eigenes Lernen zu übernehmen.“ (Cur-
(Schendel 2006; Schewior-Popp 2005). Allen Ansätzen gleich ist, sio & Jahn 2013, S. 1)
dass nicht beschrieben ist, wie die Konstruktvalidität eines Leis- Kompetenzorientierte Lernziele dienen aber nicht nur den Aus-
tungstests statistisch überprüft werden kann – es fehlen Hand- zubildenden als Orientierung, um ihren eigenen Lernstand einzu-
lungsempfehlungen zur Überprüfung des Messmodells, welches schätzen, sondern auch den Lehrenden, um die individuellen Kom-
angenommen wird, um das zugrundeliegende Konstrukt (Struk- petenzniveaus der Auszubildenden abzubilden. Für die Dimension
turmodell) zu erfassen. Im Rahmen der Konstruktion eines Leis- der Fachkompetenz bedienen sich Lehrpersonen hierfür oftmals
tungstests muss also die Frage beantwortet werden, ob das gewähl- an standardisierten Klausuren beziehungsweise Leistungstests.
te Messmodell meine Daten adäquat abbildet. Oder anders formu- Standardisierte Leistungstests eignen sich gut, um Aussagen zu in-

PFLEGE  Zeitschrift  7.2019 / 72 45


PFLEGE PÄDAGOGIK

sen als nächstes adäquate Lernziele formuliert und mit Hilfe von
Abb. 1: Diese Gütekriterien muss ein wissenschaftlich fundierter Leis- validen Instrumenten zur Überprüfung des individuellen Lerner-
tungs- und Kompetenztest erfüllen (nach Moosbrugger & Kelava 2012) folges, wie Klausuren und Leistungstests, evaluiert werden.
Für die Systematisierung von kompetenzorientierten Lernzie-
Validität len existieren unterschiedliche Modelle. Die bekanntesten sind die
von Bloom (1976) und Anderson und Krathwohl (2001) (vgl. Cur-
sio & Jahn 2013, S. 4). Nach Cursio und Jahn sind Lernziele opera-
Reliabilität Skalierung tionalisierte Kompetenzen mit einer Inhalts- und Handlungskom-
petente, die in einem Lehr-Lern-Kontext angestrebt werden. Die
Inhaltskomponente wird mit einem Substantiv beschrieben und
gibt den fachlichen Inhalt wieder. Die Handlungskomponente wird
Normierung
Objektivität mit einem Verb benannt und zeigt auf, was der Auszubildende mit
(Eichung)
dem Inhalt machen soll (ebd., S. 3). Denn eine „Kompetenz lässt
sich nur an den Handlungen ablesen, die die betreffende Person
ausführt. Ein Lernziel muss daher konkret, handlungsbezogen und
Fairness Testökonomie überprüfbar formuliert werden.“ (ebd., S. 3). Tabelle 1 (e-only auf
springerpflege.de und im eMag) stellt im Überblick die Taxono-
miestufen nach Bloom für den kognitiven Bereich dar.
Unverfälsch-
Nützlichkeit Qualitätskriterien für die Erstellung von Leistungstests
barkeit
Die Erstellung einer Klausur oder eines Leistungs- bzw. Kompe-
Zumutbarkeit tenztests in der Pflegebildung sollte sich an den Qualitätsstandards
für Kompetenztests orientieren (vgl. Döring 2016, Bühner 2011, Eid
& Schmidt 2014, Moosbrugger & Kelava 2012a). Die Qualitätsan-
forderungen an einen Test, welcher unter anderem theoretische
Konstrukte erfassen soll, umfassen mehrere Gütekriterien (Abb. 1).
SERIE „METHODENKOFFER“ Ein Test muss diesen Gütekriterien Rechnung tragen, „um wissen-
schaftlichen Ansprüchen zu genügen“ (vgl. Moosbrugger & Kelava
PFLEGEBILDUNG
2012a, S. 2 f.). Von besonderer Bedeutung sind die drei Testgütekri-
In diesem und zwei weiteren Heften stellen wir Ihnen terien: Objektivität, Reliabilität und Validität.
Instrumente zur Erstellung von Leistungstests vor:
Objektivität: „Ein Test ist dann objektiv, wenn er dasjenige Merk-
mal, das er misst, unabhängig von Testleiter und Testauswerter
__ Einführung Instrumentenentwicklung
misst. Außerdem müssen klare und anwenderunabhängige Regeln
__ Statistische Verfahren 1: Facettentheorie für die Ergebnisinterpretation vorliegen“ (Moosbrugger & Kelava
(anhand eines Beispiels erläutert) 2012b, S. 8).
__ Statistische Verfahren 2: Multidimensionale Skalierung
(anhand eines Beispiels erläutert) Reliabilität: Moosbrugger und Kelava sprechen bei dem Begriff Re-
liabilität auch von der „Messgenauigkeit des Tests“ (ebd., S. 11). Ein
Test ist reliabel – also zuverlässig –, „wenn er das Merkmal, das er
dividuellen kognitiven Leistungsdispositionen zu treffen, sofern misst, exakt, d. h. ohne Messfehler, misst.“ (ebd., S. 11) Schermel-
diese auf einem fundierten Kompetenzstrukturmodell basieren leh-Engel und Werner verstehen unter Reliabilität „die Genauigkeit
und wissenschaftlichen Testgütekriterien entsprechen (vgl. Knap- einer Messung … Ein Testverfahren ist perfekt reliabel, wenn die
pich 2018c). Kompetenzmodelle sind hilfreich, um den abstrakten damit erhaltenen Testwerte frei von zufälligen Messfehlern sind.
Begriff der Handlungskompetenz genauer strukturieren und ope- Das Testverfahren ist umso weniger reliabel, je größer die Einflüs-
rationalisieren zu können (vgl. Cursio & Jahn 2013, S. 2). Als Bei- se von zufälligen Messfehlern sind“ (Schermelleh & Werner 2012,
spiele sind hier das Modell des Deutschen Qualifikationsrahmens S. 120). Im Zusammenhang mit der Reliabilität eines Tests stellt die
für lebenslanges Lernen (Arbeitskreis Deutscher Qualifikations- Objektivität eine Voraussetzung für die Reliabilität dar. Die Relia-
rahmen 2011) und der Qualifikationsrahmen für Deutsche Hoch- bilität hingegen ist Voraussetzung für die Validität eines Tests (vgl.
schulabschlüsse (KMK 2005) zu erwähnen. Angelehnt an diese Mo- ebd., S. 120).
delle wird unter Fachkompetenz die Fähigkeit und Bereitschaft ver-
standen, berufsbezogene Aufgaben- und Problemstellungen eigen- Validität: Im Rahmen der Validitätsanalyse wird untersucht, ob der
ständig und fachlich angemessen zu bearbeiten und das Outcome Test oder die Klausur das Merkmal misst, das es erfassen zu wol-
beurteilen zu können (vgl. Cursio & Jahn 2013, S. S. 6). Um valide len vorgibt (vgl. Moosbrugger & Kelava 2012b, S. 13). „Ein Test gilt
Aussagen treffen zu können, auf welchem Fachkompetenz-Niveau dann als valide (‚gültig‘), wenn er das Merkmal, das er messen soll,
sich Auszubildende in Bezug auf einen Lehrinhalt befinden, müs- auch wirklich misst und nicht irgendein anderes“ (ebd., S. 13).

46 PFLEGE  Zeitschrift  7.2019 / 72


PFLEGE PÄDAGOGIK

Facettenreiches Hauptkriterium Validität


Die Validität ist das wichtigste Gütekriterium und wird daher im FAZIT
Folgenden näher betrachtet. Erreicht ein Test eine hohe Validität,
lassen sich die Ergebnisse auf die Gesamtpopulation verallgemei- Kompetenzorientierte Lernziele dienen gleichermaßen
nern (vgl. ebd., S. 13 f.). Die Validität eines Tests kann in vier un- Lehrenden und Auszubildenden als Orientierung.
terschiedlichen Bereichen betrachtet werden: Leistungs- bzw. Kompetenztests in der Pflegebildung sollten
sich an den Qualitätsstandards für Kompetenztests orientie-
Inhaltsvalidität: „Unter Inhaltsvalidität versteht man, inwieweit ein
ren und die entsprechenden Gütekriterien erfüllen.
Test oder ein Testitem das zu messende Merkmal repräsentativ er-
fasst“ (Moosbrugger & Kelava 2012b, S. 15). So sollen die Testitems
eine repräsentative Auswahl aus dem Itemuniversum darstellen,
um das entsprechende theoretische Konstrukt adäquat erfassen zu
können. Die Inhaltsvalidität wird nicht über eine Kennzahl ange- Literatur
geben, sondern eher durch Expertenwissen festgelegt, das heißt, __ Anderson LW, et al. (2001) A Taxonomy for Learning, Teaching,
dass Experten aufgrund ihrer Fachexpertise entsprechende Items and Assessing. Longman, New York
auswählen, welche das zu untersuchende theoretische Konstrukt __ Arbeitskreis Deutscher Qualifikationsrahmen (2011) Deutscher
erfassen könnten (vgl. ebd., S. 15). Qualifikationsrahmen für lebenslanges Lernen. https://www.dqr.
de/media/content/Der_Deutsche_Qualifikationsrahmen_fue_le-
benslanges_Lernen.pdf (letzter Zugriff am 26.03.2019)
Augenscheinvalidität: Die „Augenscheinvalidität gibt an, inwieweit
__ Bloom BS (1976) Taxonomie von Lernzielen im kognitiven Bereich.
der Validitätsanspruch eines Tests, vom bloßen Augenschein her
Beltz, Weinheim
einem Laien gerechtfertigt erscheint“ (Moosbrugger & Kelava
__ Bühner M (2011) Einführung in die Test- und Fragebogenkonstruk-
2012b, S. 15). Auch die Augenscheinvalidität kann nicht durch em- tion. 3. Aufl. Pearson Studium (PS Psychologie), München
pirisch ermittelte Kennwerte angegeben werden (vgl. ebd., S. 15 f.). __ Cursio M, Jahn D (2013) Leitfaden zur Formulierung kompetenzo-
rientierter Lernziele auf Modulebene. https://www.med.fau.de/
Konstruktvalidität: „Ein Test weist Konstruktvalidität auf, wenn der files/2015/09/31072014_leitfaeden_fbzhl_1_2013_lernziele.pdf
Rückschluss vom Verhalten der Testperson innerhalb der Testsitu- (letzter Zugriff am 26.03.2019)
ation auf zugrunde liegende psychologische Persönlichkeitsmerk- __ Eid M, Schmidt K (2014) Testtheorie und Testkonstruktion. Hogre-
male («Konstrukte», «latente Variablen», «Traits») wie Fähigkeiten, fe, Göttingen
Dispositionen, Charakterzüge, Einstellungen wissenschaftlich fun- __ Knappich T (2018c) Personalmanagement und Ausbildung: Kosten-
diert ist. Die Enge dieser Beziehung wird aufgrund von testtheore- Nutzen im Blick. Pflegezeitschrift (71)8, S. 16 – 18
tischen Annahmen und Modellen überprüft“. Es wird somit über- __ Kultusministerkonferenz (2017) Qualifikationsrahmen für Deut-
prüft, ob mittels der verwendeten Testaufgaben auf das theoretische sche Hochschulabschlüsse. https://www.kmk.org/fileadmin/Datei-
en/veroeffentlichungen_beschluesse/2017/2017_02_16-Qualifikati-
Konstrukt geschlossen werden kann (Moosbrugger & Kelava 2012b,
onsrahmen.pdf (letzter Zugriff am 26.03.2019)
S. 16).
__ Moosbrugger H, Kelava A (Hrsg.) (2012a) Testtheorie und Fragebo-
genkonstruktion. Springer, Berlin, Heidelberg
Kriteriumsvalidität: „Ein Test weist Kriteriumsvalidität auf, wenn __ Moosbrugger H, Kelava A (2012b) Qualitätsanforderungen an
vom Verhalten der Testperson innerhalb der Testsituation erfolg- einen psychologischen Test. In: Moosbrugger H, Kelava A (Hrsg.)
reich auf ein ‚Kriterium‘, nämlich auf ein Verhalten außerhalb der Testtheorie und Fragebogenkonstruktion. Springer, Berlin, S. 7-26
Testsituation, geschlossen werden kann. Die Enge dieser Beziehung __ Schendel M (2006) Klausuren erstellen – Examen gestalten.
ist das Ausmaß an Kriteriumsvalidität (Korrelationsschluss)“ Fallbasierte Leistungsmessung in der Pflegeausbildung. Thieme,
(Moosbrugger & Kelava 2012b, S. 18). Stuttgart
__ Schermelleh-Engel K, Werner C (2012) Methoden der Reliabilitäts-
Die Ausführungen zeigen: Leistungstests bzw. Lernzielerfolgskon- bestimmung. In: Moosbrugger H, Kelava A. (Hrsg.) Testtheorie und
trollen sind ein geeignetes Instrument, um die Fachkompetenz von Fragebogenkonstruktion. Springer Berlin Heidelberg, S. 119-141
Pflegenden festzustellen. Sie zu entwickeln ist ein komplexer und __ Schewior-Popp S (2005) Lernsituationen planen und gestalten.
Handlungsorientierter Unterricht im Lernfeldkontext. Thieme,
zeitaufwändiger Prozess, der vor allem Berufsanfänger, aber auch
Stuttgart
berufserfahrene Pflegepädagogen vor große Herausforderungen
stellt. Sollen Leistungstests valide sein, muss ihnen ein plausibles
Struktur- und Messmodell zugrunde liegen und sie müssen den
gängigen wissenschaftlichen Gütekriterien für psychometrische Autorenkontakt:
Tests genügen. Für die erfolgreiche Umsetzung der beschriebenen
Qualitätsstandards soll der „Methodenkoffer Pflegebildung“ als Dr. Thomas Knappich, Krankenpfleger, Dipl.-Pflegewirt (FH), MScN, ist
Pflegewissenschaftler an den ViDia Kliniken Karlsruhe, Lehrbeauftragter an
Unterstützung dienen. 
Hochschulen und forscht am Institut für angewandte Pflegeforschung
Nordbaden e.V. schwerpunktmäßig im Bereich Pflegebildungsforschung.
E-Mail: Thomas.Knappich@Ifap-Nordbaden.de

PFLEGE  Zeitschrift  7.2019 / 72 47