Waarom onderwijskundig adviseur Winifred Paulis een gesprek over toetsing zo belangrijk vindt
Ik ben onderwijskundig adviseur, maar voor een onderwijskundig adviseur heb ik een atypische achtergrond als docent, toetsdeskundige en oorspronkelijk ben ik opgeleid als wetenschapper. Daar wil ik jullie nu wat over vertellen. Ik heb jaren aan een universiteit gewerkt waar ik les gaf bij een opleiding en intensief samenwerkte met hoogleraren om onderzoek te doen naar kinderen met overgewicht.
Nuance
Deze hoogleraren hebben mij heel erg veel geleerd over het belang van valide en betrouwbare metingen en het doen van genuanceerde uitspraken. De weegschalen die ik gebruikte om kinderen te meten, moesten geijkt en ik moest meerdere metingen doen en daar een gemiddelde van nemen om zeker te zijn dat we het gewicht van een kind goed gemeten hadden. Vervolgens moesten artsen de klachten van kinderen op meerdere manieren vaststellen en moest ik dat ook aan ouders en kinderen zelf vragen. Dit alles om zeer zeker te zijn dat de data die we verzamelden zo valide en betrouwbaar mogelijk waren. En zelfs met deze data moest ik nog zeer voorzichtig zijn met mijn uitspraken.
Toen ik de statistische analyse van een onderzoek had verricht en in mijn artikel schreef dat de kans op rugklachten bij kinderen met overgewicht 42% hoger was dan bij kinderen zonder overgewicht stonden mijn begeleiders erop dat ik een onzekerheidsmarge rapporteerde; een 95% betrouwbaarheidsinterval. Ik moest zeggen dat ik met 95% zekerheid wist dat kinderen met overgewicht een 3 tot 97% hogere kans op rugklachten hadden. Zo zijn wetenschappers; buitengewoon voorzichtig. Maar deze nuance is natuurlijk terecht, want ik baseerde me op momentopnames bij een steekproef.
“In deze zelfde universitaire wereld is onderwijs een ondergeschoven kindje“
Alle universitair docenten en hoogleraren moeten weliswaar hun basiskwalificatie onderwijs behalen, maar omdat wetenschappers worden beoordeeld op hun wetenschappelijke output, wordt onderwijs vaak als een last ervaren. Fijn als een jonge promovendus lessen over kan nemen. Een tentamen wordt soms snel op een vrijdagavond met wat sheets uit de lessen en wetenschappelijke artikelen als achtergrondliteratuur in elkaar gedraaid. Vervolgens zijn er studenten die een 5 halen en hun studiepunten net mislopen of een 6 en net wel kunnen afstuderen. Wanneer ik in een dergelijk geval vroeg waarom er voor bepaalde tentamenvragen was gekozen, en of die vragen wel representatief waren voor de stof uit de cursus, kreeg ik vaak als antwoord dat dat gewoon zeer belangrijke kennis betrof en dat studenten dat echt moesten weten.
Betrouwbare meting
Als docent en toetsdeskundige zat deze houding mij dwars. Ik ging het gesprek met één van hen aan en probeerde deze hoogleraar duidelijk te maken dat een tentamen net als de weegschaal of vragenlijsten uit mijn onderzoek een meetinstrument is. Een meting van de kennis van een student op een zeker moment en dat die meting dus zo valide en betrouwbaar mogelijk moest zijn. De hoogleraar in kwestie ging de uitdaging met mij aan en heeft bij de tentamenresultaten van studenten niet alleen het cijfer maar ook het 95% betrouwbaarheidsinterval berekend. Dat leverde het volgende op: van de student met de 5 konden we met 95% zekerheid zeggen dat het cijfer tussen de 3,5 en de 6,5 lag en van de student met de 6 konden we met 95% zekerheid zeggen dat het cijfer tussen de 4,5 en de 7,5 lag. En dit bij een tentamen met een redelijk hoge betrouwbaarheid (voor de nerds: Cronbach’s α = 0,79).
In de wetenschap zouden we met deze onzekerheidsmarges nooit een harde uitspraak durven doen, maar in het onderwijs hebben we er geen moeite mee om op basis hiervan studiepunten toe te kennen of niet en daarmee studenten te laten slagen of zakken. Dat zou toch te denken moeten geven.
Wat is de moraal van dit verhaal en wat neem ik hier als onderwijskundig adviseur van mee?
- Je kan nog zoveel weten over validiteit en betrouwbaarheid, en toetsbekwaam zijn op papier, maar in de waan van de dag is toetsing vaak een ondergeschoven kindje. Ik denk dat het belangrijk is elkaar te blijven attenderen op het belang van zo valide en betrouwbaar mogelijk toetsen
- Zelfs een betrouwbare toets heeft een onzekerheidsmarge, denk daarom heel erg goed na over de consequenties van het resultaat op de toets (low stakes, alleen feedback, of high stakes, een oordeel over studievoortgang) en wat voor onzekerheidsmarge je moreel acceptabel vindt om een oordeel te vellen
- Durf met betrekking tot toetsing in een opleiding verder te kijken dan één vak. Wat wil je nu werkelijk dat de student aan het eind van de opleiding weet en kan? Wat is beroepsbekwaam? Hoe kan je een zo’n goed mogelijk beeld verkrijgen of dat is bereikt? Wat is je visie op het beroep en op leren en toetsen? Ga daar als docenten het gesprek met elkaar over aan.
