1.

INLEIDING

In deze syllabus worden methoden en technieken voor empirisch sociaalwetenschappelijk onderzoek behandeld. Hoe doe je wetenschappelijk onderzoek, en welke technieken heb je tot je beschikking? Hoewel algemeen geformuleerd, kunnen
we in deze syllabus natuurlijk niet het hele scala aan typen, vormen en mogelijke
technieken van wetenschappelijk onderzoek de revue laten passeren. Inperking is
noodzakelijk. Vandaar dat we vooral aandacht besteden aan experimenteel empirisch onderzoek.
De eerste vraag die beantwoord dient te worden is: wat is wetenschappelijk onderzoek nu eigenlijk? Wat is bijvoorbeeld het verschil tussen een onderzoek van journalisten en van wetenschappers? Onderzoek dat een wetenschapper uitvoert,
hoeft nog geen wetenschappelijk onderzoek te zijn louter en alleen omdat het door
een wetenschapper wordt gedaan. Evenmin is journalistiek onderzoek per definitie
onwetenschappelijk omdat het door een journalist wordt uitgevoerd. Een formele
definitie van (sociaal-)wetenschappelijk onderzoek luidt: onderzoek is een systematische, gecontroleerde, empirische en kritische benadering van veronderstelde
constructen en van de veronderstelde relaties tussen deze constructen (Kerlinger,
1966).
Hieronder lichten we drie aspecten uit deze beknopte definitie toe. Allereerst
verwijst het begrip construct naar een niet direct waarneembaar concept. Een
hypothetisch construct is bijvoorbeeld leesvaardigheid. Leesvaardigheid is niet direct waarneembaar; pas als proefpersonen een toets hebben gemaakt die hun
leesvaardigheid meet, kunnen we iets over dit construct te weten komen. Maar
ook de lengte van een persoon kan als construct een rol spelen in diverse meer
medisch georinteerde soorten onderzoek.
Ten tweede: onderzoek is systematisch en gecontroleerd. Hiermee wordt aangegeven dat wetenschappelijk onderzoek z is opgezet dat er staat kan worden
gemaakt op de resultaten en dat het onderzoek door anderen kan worden herhaald en daarbij (hopelijk) dezelfde resultaten oplevert; onderzoek moet repliceerbaar zijn. Dit houdt in dat wetenschappelijk onderzoek in hoge mate gedisciplineerd verloopt; mogelijke (alternatieve) verklaringen voor onderzochte fenomenen
worden n voor n onderzocht en wanneer mogelijk uitgesloten, zodat tenslotte
n verklaring overblijft.
Ten slotte wordt in de definitie gesteld dat sociaalwetenschappelijk onderzoek
empirisch van aard is. Als een onderzoeker iets veronderstelt, dan moet hij dit ook
aantonen. Hij moet zijn vooronderstellingen toetsen aan de werkelijkheid. De onderzoeker moet nagaan of zijn noties overeenkomen met de werkelijkheid. Zolang
dat ideen niet aan de werkelijkheid zijn getoetst, blijven het vooroordelen.

1
.

2
Het doel van wetenschappelijk onderzoek is te komen tot een theorie over een
deel van de werkelijkheid. Een onderzoeker definieert in een theorie niet alleen
verschillende constructen, maar ook specificeert hij de relaties tussen deze constructen. In een schrijfprocestheorie, bijvoorbeeld, moet een onderzoeker de te
onderscheiden schrijfprocessen (zoals: planning, evaluatie en revisie) definiren.
Daarnaast dient hij ook de relaties tussen deze processen uiteen te zetten en moet
hij aangeven welke concepten al dan niet gerelateerd zijn. Pas wanneer zowel de
constructen gedefinieerd zijn als de relaties tussen de constructen geduid zijn, kan
een onderzoeker tot een systematische beschrijving van de werkelijkheid (i.c. het
schrijfproces) komen. Het uiteindelijke doel van een theorie is het doen van een
voorspelling over het fenomeen in kwestie. Samengevat is een theorie dus: een
verzameling van gerelateerde constructen (concepten), definities en proposities die
door de specificatie van de relaties tussen de constructen een gesystematiseerde
kijk op fenomenen (of de werkelijkheid) bieden, met als uiteindelijk doel het verklaren en voorspellen van (aspecten van) de werkelijkheid (Kerlinger, 1966).
Een theorie stelt de onderzoeker in staat bepaalde fenomenen of aspecten van
de werkelijkheid te voorspellen. Zo zouden we een theorie op kunnen stellen over
schrijfvaardigheid. In deze theorie kunnen verschillende aspecten van schrijfvaardigheid aan de orde komen, bijvoorbeeld:

algemene kennis;
kennis van het onderwerp;
kennis van het teksttype (bijvoorbeeld: amuserend of argumentatief);
grammaticale kennis;
kennis van de spellingsregels;
formuleervaardigheden;
vaardigheden in het organiseren van teksten;
revisievaardigheden.

Het fenomeen dat in deze theorie verklaard moet worden is natuurlijk schrijfvaardigheid, of meer precies: de mate van schrijfvaardigheid. Schrijfvaardigheid wordt
in deze theorie verklaard door de specificatie van de onderlinge relaties tussen de
acht (genoemde) aspecten, of door een combinatie van de afzonderlijke aspecten.
Als de onderzoeker met behulp van deze acht concepten het begrip schrijfvaardigheid (tot op zekere hoogte) kan verklaren, dan is hij succesvol; dan heeft hij meer
inzicht in het fenomeen schrijfvaardigheid.
Elk onderzoek start met de formulering van een probleem, vaak in de vorm van
een vraag. Vandaar dat de formulering van het probleem meestal de vraagstelling
wordt genoemd. Aan deze vraagstelling wordt slechts n algemene eis gesteld: zij
moet te beantwoorden zijn, dat wil zeggen: te beantwoorden met de middelen die
de onderzoeker tot zijn beschikking heeft staan. Rekening houdend met deze eis
van beantwoordbaarheid kan de vraag- of probleemstelling betrekking hebben op
elk aspect van het menselijk gedrag, ongeacht of dit aspect nu irrelevant of belang-

HOOFDSTUK 1: INLEIDING

rijk wordt geacht. Als we uit de geschiedenis van de wetenschap n les kunnen
leren dan is het wel dat probleemstellingen niet te snel als irrelevant mogen worden afgedaan. Het is maar al te vaak gebeurd dat onderzoeken die eerst als irrelevant beschouwd werden, later van groot belang bleken te zijn. Denk maar aan
Watt, die de nutteloze stoommachine uitvond. Ook bleken ideen die eerst als
pertinent onjuist werden afgedaan later te kloppen met de werkelijkheid. Zo beweerde Galilei ten onrechte dat de aarde om de zon draaide. Kortom, vraagstellingen moeten niet te snel verworpen worden omdat zij nutteloos, een open
deur, irrelevant of triviaal zouden zijn.
Sociaalwetenschappelijk onderzoek is er in vele soorten en maten en kan op verschillende manieren geclassificeerd worden. In sectie 1.1 bespreken we een indeling op basis van paradigma, de manier waarop de onderzoeker tegen de werkelijkheid aankijkt.
Zo maakt men onderscheid tussen verschillende disciplines of onderzoeksterreinen: psychologisch onderzoek, pedagogisch onderzoek, sociologisch onderzoek,
onderzoek naar leesvaardigheid, onderzoek naar de invloed van situationele factoren op schrijfprestaties et cetera.
Ook kan een dichotomie toegepast of praktisch onderzoek versus theoretisch onderzoek gebruikt worden. Opgemerkt zij dat deze benamingen twee uitersten van een continum zijn. Er is zeer weinig onderzoek wij kennen gn voorbeelden dat volledig in een theoretisch vacum uitgevoerd is. Ook schaars is theoretisch onderzoek dat geen enkele maatschappelijke implicatie heeft, al komt het
regelmatig voor dat de directe afstand tot maatschappelijke relevantie groot is. In
dit verband is het wel aardig om een uitspraak van Lewin aan te halen: niets is zo
praktisch als een goede theorie.
Een vierde manier om onderzoek te classificeren is gericht op het type onderzoek, bijvoorbeeld: experimenteel onderzoek, beschrijvend onderzoek en instrumentatieonderzoek. Deze laatste drie typen onderzoek zullen wij kort toelichten in
sectie 1.2-1.4.
1.1 Paradigmata
En criterium om typen onderzoek te onderscheiden is de manier waarop de onderzoeker tegen de werkelijkheid aankijkt. Verschillende onderzoekers werken in
verschillende zogenaamde paradigmata. Een eerste paradigma is de fenomenologie. Fenomenologie betekent leer der verschijnselen. Hiermee trachtte men aan te
geven dat het de fenomenologen gaat om het wezen der dingen en niet om de
schijn. Dit wezen van de fenomenologie is echter niet eenvoudig te kennen. Allereerst moet een onderscheid gemaakt worden tussen methode en systeem. De fenomenologische methode wil zich richten op de dingen zoals zij zijn, en tracht dit te
bewerkstelligen door de fenomenologische reductie. In de fenomenologische traditie wordt van een bestudeerd verschijnsel niets genegeerd, maar wordt elk oordeel

4
over de realiteit, de eigen persoon, of wat dan ook ingehouden; dit alles wordt als
het ware tussen haakjes gezet, om de objecten te ervaren. Het object staat centraal
in zijn Selbstgegebenheit, zoals het zich in werkelijkheid voordoet. Pas in een
tweede fase wordt overgegaan tot een volgende reductiestap, de zogenaamde eidetische reductie; het schouwen van het wezen. Het is de fenomenoloog namelijk
niet begonnen om het individuele object of een op zichzelf staande gebeurtenis.
Het gaat om kennis omtrent het wezen van het object en het wezen van de gebeurtenis; de wezenlijke eigenschappen en relaties met andere objecten of met het
bewustzijn. De fenomenoloog hoort de toon, en wil op grond daarvan weten wat
een toon is. Tot wezenlijke kennis komt de fenomenoloog, uitgaande van het ervarene, al beschrijvend, onderzoekend, speurend en analyserend uiteindelijk tot het
schouwen van het wezen. Volgens de fenomenologen kunnen we niet tot de kern
van verschijnselen doordringen met behulp van vooraf gevormde theorien of ge1
postuleerde modellen. Alleen op basis van intutie en begrijpend inleven, kunnen
we tot de kern van verschijnselen doordringen (Reuling, 1986). Fenomenologie als
methodologische stroming refereert aan een (waarde)vrije en objectieve beschrijving van de werkelijkheid, precies zoals deze de onderzoeker voor ogen komt. Fenomenologen zoeken naar ongecorrigeerde waarnemingen, zoals ze zich voordoen, zonder enige a priori analyse in elementen, deelvaardigheden of andere abstracties. In het onderstaande fragment wordt een voorbeeld van een fenomenologische observatie gegeven.
Stel je voor dat je kijkt naar een biljartspel. Een biljarter stoot met zijn
keu tegen een witte bal, waarna deze wegrolt. De witte bal rolt verder gedurende een bepaald tijdsinterval. Na enige tijd raakt deze bal
een rode bal die gelijktijdig verder rolt. Fenomenologen zullen geen
oorzaak-gevolg-conclusie verbinden aan een dergelijke observatie; zij
zullen niet direct de conclusie trekken dat de witte bal beweegt omdat de biljarter deze bal met zijn keu beroerde, en evenmin dat de rode bal verder rolt omdat de witte bal er tegen aan botste. Dergelijke
conclusies in termen van oorzaak en gevolg worden pas getrokken
nadat een groot aantal soortgelijke fenomenen ervaren zijn, en er
eventueel gexperimenteerd is met diverse effecten, waarna in alle
rust conclusies getrokken en abstracties over het wezen van de botsingen (tussen keu en bal, en tussen beide ballen) geformuleerd kunnen worden.
Het zal uit bovenstaand voorbeeld duidelijk zijn dat het in eerste instantie verwerpen van een niet-observeerbare oorzaak-gevolg-relatie leidt tot andere verklarin1

Modellen waarvan de waarheid aangenomen moet worden zonder dat dit bewezen kan
worden. Deze praktijk komt op het eerste gezicht misschien vreemd over, maar wordt alom
toegepast. Zo zijn we niet in staat om te bewijzen dat n en n twee is. Dat is een kwestie
van afspraken; er wordt gepostuleerd dat n en n twee is.

HOOFDSTUK 1: INLEIDING

gen en een ander type onderzoek dan wanneer de onderzoeker wel ongeobserveerde relaties als oorzaak en gevolg accepteert.
Een tweede paradigma of onderzoeksopvatting is de kritische benadering. Het kritische paradigma onderscheidt zich van andere paradigmas in de nadruk op maatschappelijke bepaaldheden; de werkelijkheid is een voorlopige, door maatschappelijke oorzaken bepaalde werkelijkheid. Ware kennis onthult maatschappelijke verordeningen, waardoor deze kennis bijdraagt aan een verandering van de werkelijkheid. Een wetenschapsopvatting zoals verwoord in onze definities van onderzoek
en theorien wordt hier afgewezen. Kritische onderzoekers menen dan ook dat
onderzoeksprocessen niet los gezien kunnen worden van de maatschappelijke context waarin het onderzoek is verricht. Dit uitgangspunt wordt overigens door
steeds meer wetenschappers overgenomen.
De standaardopvatting over het tijdloze en universele karakter van
kennis leidt naar hun mening tot kennisproducten die niet alleen vaak
veraf staan van degenen voor wie ze bedoeld zijn maar die bovendien
misbruikt kunnen worden. Geen wonder dat sommige kritische onderzoekers het idee van onderzoek doen helemaal lieten vallen. Anderen
waren minder somber en namen hun toevlucht tot de benadering die
onder namen als actie-onderzoek, handelings- of praktijkonderzoek,
operational research e.d. bekendheid heeft gekregen. (Reuling, 1986,
p. 106)
Een voorbeeld van kritisch onderzoek is het innovatieproject in Amsterdam (Van
Calcar, 1977). Daarin wordt gedemonstreerd dat onderzoek direct toepasbaar is in
de klas, hoewel velen slechts een schamper lachje over hebben voor de wetenschappelijke kwaliteiten van dit project.
In het innovatieproject had men zich ten doel gesteld de onderwijsprestaties van leerlingen op de basisschool in Amsterdam Oud-West
te verbeteren. Dit kon niet gebeuren zonder ingrijpen in de buitenschoolse omgeving van de leerlingen. In vele opzichten stond niet het
onderwijs aan de leerlingen centraal, maar de maatschappelijke achterstanden van leerlingen in dergelijke 19e-eeuwse stadswijken. Vandaar dat verklaringen gezocht werden (en beproefd werden) die in
eerste instantie weinig met het onderwijs te maken hebben. De bibliotheek werd in de school gehaald, de ouders werden in de school gehaald, de leerlingen kregen op andere plaatsen dan in het klaslokaal
les et cetera.
Een derde onderzoeksparadigma is het empirisch-analytische. De empirischanalytische onderzoekstraditie gaat ver terug. Waarschijnlijk is Comte (1789-1857)
de grondlegger. Binnen de empirisch-analytische stroming onderscheiden we twee
varianten: het positivisme en het kritisch-rationalisme. Beide stromingen hebben

6
gemeen dat er aangenomen wordt dat er wetmatigheden zijn die ontdekt kunnen
worden; fenomenen kunnen geanalyseerd worden in abstracties. Het verschil tussen beide stromingen binnen de empirisch-analytische traditie is gelegen in de pretentie van de uitspraken die gedaan worden. Volgens de positivisten is het mogelijk
om uitspraken te doen vanuit feitelijke waarnemingen naar een theorie; redeneringen waarbij het bijzondere (de observatie) veralgemeend wordt (inductie). Dit
standpunt is onhoudbaar. Kijk maar naar het volgende (enigszins gechargeerde)
voorbeeld:
Iemand stelt een theorie op over de relatie tussen aantallen poten en
staarten. Hij ziet een kat voorbij lopen: vier poten en een staart, en
nog een dier met vier poten en een staart, en nog eentje. Dus: dieren
met vier poten hebben een staart. Het idee van de positivisten is: vind
de regel die deze conclusie rechtvaardigt (het inductieprincipe). Er
wordt gegeneraliseerd op basis van observaties.
De tweede stroming is het kritisch-rationalisme. De aanhangers van het kritischrationalisme hebben zich voornamelijk tegen het inductieprincipe gekeerd: hoeveel
dieren met vier poten en een staart je ook voorbij ziet komen, op basis daarvan kun
je geen zekerheid verkrijgen over het verband tussen aantallen poten en staarten.
Je kunt ook meteen een verband postuleren, en dan gaan kijken of dat standhoudt.
Inductie is niet alleen overbodig, het leidt ook tot logische tegenstrijdigheden. In de
woorden van Popper, de belangrijkste vertegenwoordiger en de grondlegger van
het kritisch-rationalisme (1968):
Das Induktionprinzip kann natrlich nur ein allgemeiner Satz sein.
Versucht man es als einen empirisch gltigen Satz aufzufassen, so
tauchen sofort dieselbe Fragen nochmals auf, die zu seiner Einfhrung
Anlass gegeben haben. Wir mssten ja, um das Induktionprinzip zu
rechtfertigen, induktive Schlsse anwenden, fr die wir also ein Induktionprinzip hheren Ordnung voraussetzen mssten, usw. Eine empirische Auffassung des Induktionprinzips scheitert also daran, dass sie
zu einen unendlichen Regress fhrt (Popper, 1968, p. 5).
In feite kan men aan dit dilemma, van een oneindige herhaling van hetzelfde probleem of cirkelredeneringen, alleen ontkomen door de logische wetenschappelijke
redenering vanuit een ander punt te laten vertrekken. Popper stelt deductie in de
plaats van inductie: volgens hem moet je redeneren van het algemene naar het
bijzondere. Door deductie (afleiding) van voorspellingen uit algemene uitspraken
en confrontatie daarvan met de werkelijkheid kun je nagaan welke algemene uitspraak onjuist is. Kritisch-rationalisten zijn uit op het doen van falsifieerbare (weerlegbare) uitspraken. Volgens de kritisch-rationalisten kun je niet aantonen dat een
algemene uitspraak juist is, maar wel dat een algemene uitspraak onjuist is.
Op deze wijze wordt toch vooruitgang in kennis geboekt, doordat alleen de beste theorien zich kunnen handhaven, dat wil zeggen: niet gefalsifieerd worden.

HOOFDSTUK 1: INLEIDING

Deze theorien zullen volgens Popper de werkelijkheid uiteindelijk steeds dichter

benaderen. Volgens de aanhangers van deze stroming kunnen we nooit en te nimmer aantonen dat een theorie of hypothese waar is. Theorien en hypothesen
kunnen alleen de oncomfortabele status hebben van aan de werkelijkheid getoetst
en (vooralsnog) niet als onjuist verworpen te zijn.
Ook aan het kritisch-rationalisme lijken echter bezwaren te kleven. We noemen er
twee. Met het falsificatieprincipe van Popper kunnen waarnemingsuitkomsten
(empirische feiten, observaties, onderzoeksresultaten) gebruikt worden om theoretische uitspraken (met betrekking tot hypothesen, vraagstellingen) te doen. Er zijn
echter verschillende waarnemingsuitkomsten; om te komen tot een waarnemingsuitkomst moeten vele keuzen gemaakt worden. Om bijvoorbeeld iets te zeggen
over iemands leesvaardigheid moet een leestoets geconstrueerd worden; er moet
een bepaalde tekst gekozen worden waarbij vragen bedacht worden. En hoe weet
je nu zeker dat het een goede tekst is waarin geen vreemde gedachtesprongen
gemaakt worden? Of dat alle vragen goede vragen zijn en dat iemand ze alleen
maar kan beantwoorden op grond van de tekst en niet op grond van zijn kennis
over het onderwerp? Met andere woorden; hoe weet je dat die leesvaardigheidstoets alleen maar leesvaardigheid en niets, maar dan ook niets anders meet? Gezien de enorme hoeveelheid vaak moeilijke keuzen kan men met een andere
leesvaardigheidstoets makkelijk tot andere conclusies komen. In het algemeen
geldt dus dat we terdege moeten beseffen dat de geldigheid van onderzoeksresultaten onzeker is. Er kan het een en ander mis zijn met de waarnemingen. Een conclusie formuleren, al dan niet op basis van (niet-gefalsificeerde) hypothesen, kan
dus een onzekere stap zijn (Reuling, 1986). Strikt genomen moet een hypothese
binnen het falsificatie-paradigma eigenlijk meteen uit het kennisbestand gehaald
worden na n enkele geslaagde falsificatie. Wanneer theorie en onderzoeksresultaten niet overeenstemmen, dan ligt dit altijd aan de theorie. Gezien de vaak problematische relatie tussen construct (leesvaardigheid) en de specifieke waarnemingen (met een specifieke leesvaardigheidstoets) hoeft dit echter lang niet altijd het
geval te zijn; er kan ook iets mis zijn met de waarnemingen!
Een tweede probleem is dat er in de praktijk eigenlijk zeer weinig theorien zijn
die werkelijk iets verbieden. Wanneer er discrepanties waargenomen worden tussen theorie en onderzoeksuitkomsten, dan wordt de theorie bijgeschaafd, zodat de
nieuwe feiten weer binnen de theorie passen. Theorien worden dan ook zelden
volledig verworpen (gefalsifieerd).
In deze syllabus beperken we ons voornamelijk tot een empirisch-analytisch paradigma, omdat dit het meest uitgewerkte en meest invloedrijke paradigma is. In
feite kan deze benadering zelfs opgevat worden als de standaardopvatting, waar
andere paradigmas zich min of meer tegen afzetten.

8
1.2 Instrumentatie-onderzoek
Onderzoek is, zoals gezegd, een gesystematiseerde wijze van bestudering en analyse. Een vraagstelling over verschijnselen in de werkelijkheid moet beantwoord
worden. Een wetenschappelijk onderzoeker wil dus zaken die in de ons omringende werkelijkheid (de empirie) met elkaar samenhangen, begrijpen, verklaren en
uiteindelijk kunnen voorspellen. Een voorwaarde hiervoor is dat de onderzoeker
deze zaken meetbaar kan maken. Instrumentatieonderzoek is voornamelijk gericht
op de constructie van instrumenten of methoden om fenomenen, gedrag, kennis,
houdingen, et cetera meetbaar te maken. De ontwikkeling van goede meetinstrumenten is geen sinecure; het is ambachtelijk handwerk, waarbij de constructeur
vele valkuilen moet zien te vermijden. Het meetbaar maken van fenomenen, gedrag of constructen noemen we operationaliseren. Een leestoets wordt bijvoorbeeld opgevat als een operationalisering van het begrip leesvaardigheid. Om het
construct schrijfvaardigheid te meten, ontwikkelen we een schrijfvaardigheidsopdracht; de schrijfvaardigheid wordt geoperationaliseerd door middel van de ontwikkelde opdracht.
We kunnen een onderscheid maken tussen het theoretische construct en het
gemeten construct, ofwel een onderscheid tussen: het begrip-zoals-bedoeld en het
begrip-zoals-bepaald. Het is uiteraard de bedoeling dat het begrip-zoals-bepaald
(de toets, de vragenlijst) het begrip-zoals-bedoeld (het theoretische construct) zo
goed mogelijk benadert. Wanneer het theoretische construct goed benaderd
wordt, spreken we van een adequate meting, of in vakjargon: van een valide operationalisatie. Wanneer er een grote discrepantie is tussen het begrip-zoals-gemeten
en het begrip- zoals-bedoeld spreken we van een invalide meting.
Bij operationalisering van een begrip-zoals-bedoeld moeten talloze keuzen gemaakt worden. Zo moet het Cito (Centraal instituut voor toetsontwikkeling) elk jaar
tekstbegriptoetsen construeren om de leesvaardigheid van eindexamenkandidaten
te meten. Daarvoor moet allereerst een tekst gekozen of geschreven worden. Deze
tekst mag niet te moeilijk, maar ook niet te makkelijk zijn voor de doelgroep.
Voorts mag het onderwerp van de tekst niet al te bekend zijn, omdat anders de bij
sommige leerlingen aanwezige kennis kan interfereren met de meningen en standpunten die in de tekst naar voren gebracht worden. Vervolgens moeten de vragen
z ontworpen worden dat de verschillende passages in de tekst aan bod komen.
Ook moeten de vragen z samengesteld zijn dat het theoretische construct leesvaardigheid adequaat geoperationaliseerd wordt. Leesvaardigheid is een zeer complex begrip; vele factoren zijn van invloed op de leesvaardigheid. Er moeten dan
ook verschillende soorten vragen gesteld worden: vragen naar de hoofdgedachte,
vragen naar het antecedent van verwijswoorden, vragen naar de betekenis van
passages, vragen naar de bedoeling van de schrijver, et cetera. Allemaal vragen die
evenzoveel aspecten van het theoretische construct leesvaardigheid vormen. Tot
slot moet ook nog rekening gehouden worden met de examens uit voorafgaande

HOOFDSTUK 1: INLEIDING

jaren; het te construeren examen mag immers niet al te veel afwijken van oude
examens.
Gegeven de vele problemen die inherent zijn aan de constructie van adequate
toetsen, is het niet verwonderlijk dat er bij het Cito jaarlijks een grote stroom aan
technische bulletins verschijnt waarin de constructie van instrumenten toegelicht
en verantwoord wordt. Desalniettemin is er jaarlijks veel kritiek van docenten op
de geconstrueerde examentoetsen: de tekst was verkeerd gekozen, de vragen
deugden niet, met meerkeuzevragen meet je geen leesvaardigheid, maar gokvaardigheid, et cetera. Kortom, hoe goed men ook tracht een construct te operationaliseren, er is wel kritiek mogelijk, en ook noodzakelijk. Kritiek, of die nu komt van
anderen of van de onderzoeker zelf, zorgt ervoor dat operationaliseringen nader
aangescherpt worden, zodat het concept-zoals-gemeten een betere benadering
wordt van het concept-zoals-bedoeld.
Vanuit een theorie, met de definities van de begrippen-zoals-bedoeld, wordt
dus gekozen voor een specifieke operationalisering. Zon operationalisering, of begrip-zoals-bepaald, kan ook weer zijn weerslag hebben op het begrip-zoalsbedoeld. Onderzoeksresultaten op zich kunnen namelijk weer aanleiding vormen
voor het heroverwegen en herdefiniren van het begrip-zoals-bedoeld. Een mooi
voorbeeld van dit laatste zijn de ideen omtrent attitudes in het onderwijs. Vroeger
werden attitudes veelal gelijk geschakeld met het leuk vinden van een vak; leerlingen die een vak leuk vinden hebben een hogere attitude dan degenen die dat
vak niet leuk vinden. Omdat in veel onderzoek nauwelijks een relatie tussen deze
opvatting van attitude en de leerprestaties aangetoond kon worden, is de opvatting van attitude veranderd. Tegenwoordig worden attituden vaak veel nauwer
gedefinieerd; er wordt bijvoorbeeld niet zozeer gesproken over attituden ten opzichte van het vak Nederlands, maar over schrijfattitude. Daarnaast worden aan
attituden verschillende aspecten onderscheiden; in het geval van schrijfattituden:
schrijfplezier, beoordelingsangst en faalangst (Rijlaarsdam, 1986), die elk op een
andere manier een schrijfprestatie kunnen benvloeden (Kuhlemeier & Van den
Bergh, 1990).
Naast validiteit neemt ook de betrouwbaarheid een belangrijke plaats in de bulletins van het Cito in. Met betrouwbaarheid wordt gerefereerd aan de mate waarin
een meting stabiel is; wanneer een meting varieert van moment tot moment
terwijl het te meten construct niet verandert is deze meting instabiel en dus onbetrouwbaar. Wanneer daarentegen een meting weinig varieert van moment tot
moment, noemen we de meting betrouwbaar. Als je bijvoorbeeld een leesvaardigsheidtoets maakt en je zou na enige tijd die toets nogmaals maken, dan heb je
bij een betrouwbare toets een (min of meer) zelfde score voor de leesvaardigheid.
Heb je echter twee duidelijk verschillende scores bijvoorbeeld eerst een hele hoge, en vervolgens een hele lage dan is die toets onbetrouwbaar.
In instrumentatieonderzoek speelt deze problematiek met betrekking tot de validiteit en de betrouwbaarheid van een meting een essentile rol. Dit type onder-

10
zoek beoogt immers valide en betrouwbare instrumenten te leveren. Overigens zijn
de begrippen betrouwbaarheid en validiteit cruciaal in elk onderzoek waarin iets
gemeten wordt.
1.3 Experimenteel onderzoek
Experimenteel onderzoek wordt gekenmerkt doordat de onderzoeker een bepaald
aspect van de onderzoeksomstandigheden manipuleert. Het effect van deze manipulatie staat dan centraal in het onderzoek. Een onderzoeker denkt bijvoorbeeld
dat een bepaalde schrijfdidactiek waarbij de leerlingen elkaars schrijfproducten
beoordelen, zeer effectief is: leerlingen die op deze wijze schrijfonderwijs krijgen
leveren betere schrijfprestaties dan leerlingen die op een andere wijze schrijfonderwijs krijgen. De onderzoeker wil een experiment uitvoeren om deze veronderstelling te toetsen. Hij manipuleert het type schrijfonderwijs: n groep krijgt les
volgens de nieuwe experimentele cursus en n groep krijgt op de traditionele wijze les. Het effect van de experimentele cursus wordt na afloop van de cursus geevalueerd aan de hand van de prestaties op een schrijftoets.
Experimenteel onderzoek heeft als voordeel dat men de onderzoeksresultaten
doorgaans mag interpreteren als gevolg van de experimentele manipulatie. Omdat
de onderzoeker het onderzoek controleert en slechts n aspect (i.c. het schrijfonderwijs) verandert, kunnen verschillen tussen de twee onderzoeksgroepen genterpreteerd worden als het directe gevolg van het veranderde aspect (i.c. het type
schrijfonderwijs); dit is de oorzaak van de verschillen. Experimenteel onderzoek is
dus gericht op de evaluatie van oorzakelijke verbanden.
Om een empirische vraagstelling te kunnen beantwoorden, met de werkelijkheid te vergelijken, moeten dus empirische gegevens verzameld worden. Welke
gegevens dat zijn en bij wie deze gegevens verzameld worden, is natuurlijk afhankelijk van de onderzoeker en van de vraagstelling: de taalbeheerser zal bijvoorbeeld gegevens verzamelen over het effect van een cursus argumenteren, of over
het effect van een bepaalde voorlichtingscampagne, de psychotherapeut over
zwakzinnigen, de orthopedagoog over leerlingen met leerproblemen et cetera.
Binnen het experimentele onderzoek kunnen we een verdere nuance aanbrengen.
Zo onderscheiden we laboratoriumonderzoek van veldonderzoek. In deze beide
typen experimenteel onderzoek wordt een aspect van de werkelijkheid gemanipuleerd. Het verschil tussen beide typen onderzoek is gelegen in de mate waarin de
onderzoeker in staat is om allerlei storende aspecten van de werkelijkheid onder
controle te houden. In laboratoriumonderzoek kan de onderzoeker nagenoeg exact
bepalen onder welke omgevingscondities een toets gemaakt wordt, of welke aspecten van de omgeving van invloed kunnen zijn op de proefpersoon. In veldonderzoek is dit niet het geval. De onderzoeker is niet in staat om alle (eventueel relevante) aspecten van de werkelijkheid onder controle te houden.

HOOFDSTUK 1: INLEIDING

11

Een voorbeeld van de onverwachte verrassingen waarmee een veldonderzoeker geconfronteerd kan worden vinden we in een onderzoek naar de effecten van
een voorlichtingscampagne over het rijden onder invloed.
De onderzoekster ging als volgt te werk: zij verzamelde gegevens over
het aantal ongelukken vr de reclamecampagne en gegevens over
het aantal ongelukken n de reclamecampagne. De veronderstelde
afname van het aantal ongelukken geldt hier dus als de operationalisatie van het effect van de campagne. Een eenvoudige vergelijking
van beide aantallen ongelukken zou het effect van de reclamecampagne zichtbaar moeten maken. Overeenkomstig de verwachtingen
bleken er na de reclamecampagne minder ongelukken te zijn gebeurd
dan in de periode voor de campagne. De reclamecampagne had dus
succes.
De onderzoekster in dit voorbeeld had echter over tenminste twee aspecten van de
werkelijkheid geen controle. Zij had noch controle over het weer, noch controle
over de politieke besluitvorming. Het bleek namelijk dat het weer gedurende de
maanden voorafgaande aan de reclamecampagne extreem slecht was geweest:
veel regen, ijzel en mist, terwijl het weer in de periode van en na de campagne extreem mooi was: veel zon en geen regen, ijzel of mist. Voorts werd achteraf geconstateerd dat tijdens de reclamecampagne de accijnzen op alcohol verhoogd waren.
Het gevonden verschil tussen het aantal ongelukken voor en na de reclamecampagne kan derhalve op verschillende manieren verklaard worden; het zou een effect van het weer kunnen zijn, onder de aanname dat beter weer tot minder ongelukken leidt. Ook zou het gevonden verschil geweten kunnen worden aan de
accijnsverhoging. De redenering is dan: omdat alcoholische dranken duurder zijn
geworden, zijn autobestuurders minder gaan drinken. Uiteraard is de door de onderzoekster naar voren gebrachte verklaring ook een mogelijkheid: het verschil kan
een gevolg zijn van de reclamecampagne. Ten slotte is ook nog een combinatie van
deze drie verklaringen mogelijk; zij sluiten elkaar immers niet uit.
Een mooi voorbeeld van laboratoriumonderzoek ontlenen we aan Asch (1951); een
onderzoek dat niet alleen mooi opgezet is, maar waarvan ook de maatschappelijke
implicaties groot zijn.
Studenten werden onderverdeeld in groepjes van acht. Elke student in
elke groep moest een aantal keren de vraag beantwoorden of twee
lijnen even lang waren. De studenten zaten om een tafel en elke student gaf om de beurt zijn mening. Dat wil zeggen: zo kwam het onderzoek over op de student die als proefpersoon fungeerde. In feite
was slechts n van de acht studenten een echte, naeve proefpersoon, de anderen waren proefpersonen die door de onderzoeker ge-

12
instrueerd waren tot het geven van onjuiste antwoorden. Het verschil
in lengte tussen beide lijnen was zo groot dat vrijwel geen van de echte proefpersonen een fout maakte toen zij de vraag zonder de aanwezigheid van anderen moesten beantwoorden: hebben de lijnen een
gelijke lengte? Wanneer de zeven genstrueerde proefpersonen echter een fout antwoord gegeven hadden, dan gaf de echte proefpersoon meestal ook dit foute antwoord; van de vijftig echte proefpersonen gaven er 37 tenminste n van de twaalf keer het foute antwoord; zij zwichtten voor de groepsdruk.
Het voorbeeld van Asch maakt duidelijk dat hij alle belangrijke invloeden van de
omgeving onder controle kon houden. Hij kon zelf de zeven studenten die een fout
antwoord moesten geven instrueren en ook het lengteverschil in de te beoordelen
lijnen kon hij zelf bepalen. Andere externe factoren konden gecontroleerd worden
in de beschreven opzet.
Deze voorbeelden moeten zeker niet opgevat worden als een pleidooi voor laboratoriumonderzoek. Beide typen onderzoek hebben zo hun voor- en nadelen. Het
grote voordeel van laboratoriumonderzoek is natuurlijk de mate waarin de onderzoeker allerlei externe zaken onder controle kan houden. In een laboratorium zal
het experiment niet vaak verstoord worden doordat er bijvoorbeeld plotseling iemand binnen komt of dat ergens een telefoon gaat. Het nadeel van laboratoriumonderzoek is dat het onderzoek plaatsvindt in een min of meer kunstmatige omgeving. Het is nog maar de vraag in hoeverre resultaten die onder kunstmatige omstandigheden verkregen zijn ook gelden in het leven van alledag. Dit laatste is natuurlijk meteen de kracht van veldonderzoek. Daar wordt het onderzoek onder
natuurlijke omstandigheden verricht. Het voordeel van laboratoriumonderzoek is
echter tegelijk het nadeel van veldonderzoek. In het veld kunnen allerlei dingen
gebeuren die de onderzoeksresultaten benvloeden, maar waar de onderzoeker
geen controle over kan houden.
De keuze die een onderzoeker maakt tussen beide typen experimenteel onderzoek wordt ook bepaald door de vraagstelling van het onderzoek in kwestie. Sommige vraagstellingen laten zich beter in laboratoriumsituaties onderzoeken, terwijl
andere alleen in veldsituaties onderzocht kunnen worden (zoals het eerste voorbeeld duidelijk maakt).
1.4 Beschrijvend onderzoek
Met beschrijvend onderzoek bedoelen we onderzoek waarin men voornamelijk
genteresseerd is in een beschrijving van een bepaald aspect van de werkelijkheid.
In dit type onderzoek is men dus niet genteresseerd in effecten van manipulaties,
zoals bij experimenteel onderzoek. Men richt zich op een beschrijving van het
vaardigheidsniveau, het verloop van een proces of een discussie, de wijze waarop

HOOFDSTUK 1: INLEIDING

13

de lessen Nederlands in het voortgezet onderwijs vorm worden gegeven, de politieke voorkeur van het Nederlandse volk vlak voor verkiezingen, het koopgedrag
van tieners, de samenhang tussen het aantal uren dat besteed is aan taalbeheersingsonderzoek en de score op een IQ-test, et cetera. Kortom, ook de onderwerpen
voor beschrijvend onderzoek kunnen zeer divers zijn.
Een voorbeeld van beschrijvend onderzoek is peilingonderzoek in het onderwijs. Peilingonderzoek zou men stand-van-zaken-onderzoek kunnen noemen: hoe
goed kunnen leerlingen op een bepaald moment in het onderwijs lezen, schrijven,
spreken, luisteren, rekenen, et cetera. De reden om peilingonderzoek of ander beschrijvend onderzoek uit te voeren is dat er bijzonder weinig informatie is over de
vaardigheden van leerlingen op een bepaald moment in het onderwijs. Er wordt
vaak over geklaagd: vmboers zouden geen hamer meer vast kunnen houden, studenten zouden geen briefje meer kunnen schrijven. Dergelijke klachten zijn echter
vaak meer gebaseerd op intuties, meningen en vooroordelen dan op harde gegevens over de prestaties van leerlingen. In 1988 is daarom een peiling gehouden
naar de taalvaardigheid in de derde klas van het voorgezet onderwijs (Van den
Bergh & Kuhlemeier, 1989). Uit dit peilingonderzoek bleek onder andere dat derdeklassers relatief weinig spelfouten maken, maar dat de inhoud van de schrijfproducten vaak nog te wensen overliet.
Met het bovenstaande wordt niet gesuggereerd dat beschrijvend onderzoek
ophoudt wanneer de gegevens plat beschreven zijn. Vaak zijn verbanden tussen de
bepaalde gegevens zeer interessant. Zo wordt in opiniepeilingen naar het stemgedrag vaak een onderscheid gemaakt naar stemgedrag en leeftijd; naar welke partijen gaat de voorkeur van jongeren uit? Of wordt er, om bij het voorbeeld van peilingonderzoek te blijven, een onderscheid gemaakt op basis van schooltype.
Het essentile verschil tussen beschrijvend en experimenteel onderzoek is gelegen in de vraag naar oorzaak en gevolg. Deze kan op basis van beschrijvend onderzoek vaak niet eenduidig beantwoord worden. Experimenteel onderzoek wordt
daarentegen juist opgezet om deze vraag te kunnen beantwoorden.
1.5 Inhoud van de syllabus
Deze syllabus bestaat uit twee delen. Deel I van deze syllabus (Hoofdstuk 2-7) behandelt methoden van onderzoek en geeft een toelichting op allerlei termen die
van belang zijn bij het karakteriseren van onderzoek. Dit deel van de syllabus is als
volgt opgebouwd. In Hoofdstuk 2 zetten we een algemeen verloop van onderzoek
uiteen: van het ontstaan van een onderzoeksvraag, via de uitvoering van het onderzoek tot de beantwoording van de vraagstelling. In Hoofdstuk 3 gaan we in op
het belangrijkste methodologische onderzoekaspect: de vraag naar de geldigheid
van de conclusies of, in n woord: de validiteit van het onderzoek. In Hoofdstuk 4
komt een concept aan de orde dat nauw samenhangt met de validiteit: de betrouwbaarheid. Aan de hand van de validiteitbedreigende factoren uit Hoofdstuk 3
worden in Hoofdstuk 5 verschillende manieren behandeld om gegevens te verza-

14
melen. Hoofdstukken 6 en 7 gaan in op respectievelijk instrumenteel en beschrijvend onderzoek.
In Deel II van de syllabus behandelen we enkele statistische toetsen die belangrijk
zijn voor het analyseren van onderzoeksgegevens. Met dit deel streven we drie
doelen na. Allereerst willen we je in staat stellen om onderzoeksverslagen waarin
statistische verwerking- en toetsingstechnieken zijn gebruikt kritisch op hun merites te beoordelen. Daarvoor is het noodzakelijk dat je en dat is ons tweede doel
begrip verwerft van statistische procedures. Ten derde willen we met dit deel bereiken dat je in staat bent zelfstandig statistische bewerkingen uit te voeren voor
eigen onderzoek (bijvoorbeeld voor je scriptie-onderzoek).
De volgorde waarin we deze doelen noemen is niet toevallig. We hebben ze geordend in volgorde van belangrijkheid. Wij menen dat een adequate en kritische
interpretatie van statistische resultaten en de conclusies die daaraan verbonden
kunnen worden van groot belang is voor iedereen die het wetenschappelijk onderzoek een warm hart toedraagt. Om die reden besteden we in deze syllabus ook
veel aandacht aan de filosofie achter de toetsen en technieken die we aan de orde
stellen. En om je zelfredzaamheid te vergroten, geven we niet alleen aan hoe je
statistische berekeningen kunt uitvoeren met SPSS (Statistical Package for the Social Sciences het frequentst gebruikte softwarepakket voor statistische berekeningen), maar proberen we ook duidelijk te maken wat dit programma precies doet als
je het inschakelt en hoe je de uitkomsten moet interpreteren.
Deel II van de syllabus bestaat uit zes hoofdstukken. In Hoofdstuk 8 gaan we in
op de wijze waarop verzamelde gegevens in getallen gepresenteerd kunnen worden. Hoofdstuk 9 is gewijd aan beschrijvende grootheden, zoals het gemiddelde.
Ook verschillen tussen scores en de samenhang tussen scores komen aan de orde.
In Hoofdstuk 10 gaan we in op enkele dataverwerking- en reductietechnieken. Dat
is voorwerk dat de onderzoeker uitvoert bij beschrijvend en experimenteeltoetsend onderzoek. In dit hoofdstuk bespreken we ook enkele technieken om de
toetsbetrouwbaarheid in te schatten. We zullen aannemelijk maken dat de betrouwbaarheid van een toets bepalend is voor de kwaliteit van een onderzoek. Hypothesetoetsing kun je gevoeglijk achterwege laten wanneer de gehanteerde toetsen (je dataverzamelingstechniek) onbetrouwbaar blijken te zijn. Waar hoofdstuk
8, 9, en 10 gericht waren op de beschrijving van onderzoeksgegevens, staan in de
laatste drie hoofdstukken toetsingstechnieken centraal. Dat zijn de instrumenten
die je samen met je gegevens in staat stellen een beslissing te nemen over het
al dan niet verwerpen van de nulhypothese. In Hoofdstuk 11 en 12 gaat het om
twee zogenaamde parametrische toetsen: de t-toets en de variantieanalyse.
Hoofdstuk 13 bespreekt een aantal non-parametrische toetsen, waaronder de Chikwadraat.