Manifest: de beoordeling van scripties in het hoger onderwijs.

Manifest: de beoordeling van scripties in het hoger onderwijs.

24 maart 2017 Blog 0

23/04/2012

dr. Paul Delnooz en dr. Paul van Deursen [1]

Welke factoren spelen een rol bij de beoordeling van afstudeerscripties binnen het hoger onderwijs? In dit artikel wordt gepoogd om een antwoord te geven op deze vraag. Dit gebeurt vanuit het perspectief dat de hogescholen “universities of applied sciences” zijn en derhalve worden geacht om wetenschappelijke kennis te ontwikkelen. Maar wat is wetenschappelijke kennis? In dit artikel wordt gepoogd om óók op deze laatste vraag een antwoord te formuleren. De antwoorden op deze vragen zijn gebaseerd op literatuur en onze ervaringen als trainers en organisatieveranderaars in het hoger onderwijs om binnen opleidingen tot een hoger afstudeerniveau te komen (zie www.mindmanagement-academy.nl en www.deursenonderwijsgroep.nl). De conclusie? De beoordelingen van scripties en het wetenschappelijk niveau van opleidingen moet beter.  In die zin is dit artikel dan ook een manifest, dat oproept om de huidige situatie te verbeteren. 

Het niveau van de scripties van een opleiding beoordelen, blijkt in de praktijk lastig te zijn. De een geeft een acht voor een bepaalde scriptie terwijl de ander een vier geeft. Om dat probleem op te lossen heeft Delnooz in 2011 op basis van zijn proefschrift de scriptiebarometer ontworpen: een instrument om het niveau van een scriptie vast te stellen. Ook heeft hij in 2011 een landelijke beoordelingsgroep opgericht: de Commissie Onafhankelijke Beoordeling Opleidingen. Deze commissie beoordeelde tot nu toe 9 opleidingen in het hoger onderwijs met behulp van de scriptiebarometer, waarvan er niet één een voldoende scoorde. Is dat terecht? De betreffende opleidingen vinden van wél en zijn nu hard bezig om onder deskundige begeleiding het niveau te verhogen [2].

Wie zitten in deze commissie? Hoe komen deze mensen tot een oordeel? De leden van de COBO zijn mensen die her en der in Nederland wonen. Ze kennen elkaar niet en zijn allemaal opgeleid in wetenschapsfilosofie en methoden en technieken van onderzoek. Ze krijgen de scripties van een bepaalde opleiding toegezonden, die zij vervolgens onafhankelijk van elkaar beoordelen. Deze oordelen worden verzameld, waarna het gemiddelde wordt berekend.

Zoals gezegd, worden deze oordelen gevormd met behulp van de scriptiebarometer, waarin beoordelingscriteria staan opgenomen. Het is kenmerkend voor deze barometer dat hierin  niet zo zeer de formele eisen centraal staan (zoals een correcte bronvermelding of een logische structuur). De kritische, creatieve en innovatieve vermogens die de student ten toon spreidt staan hierin vooral centraal, alsook de praktische relevantie van de scriptie.

De scriptiebarometer wordt overigens niet alleen gebruikt door de leden van de COBO, maar ook door studenten en docenten. Het voorziet blijkbaar in een behoefte, want hoewel de barometer pas sinds kort op het internet staat (zie www.mindmanagement-academy.nl), zijn er reeds duizenden hits. Dat is begrijpelijk, want studenten die reeds tijdens het schrijven van hun scriptie de barometer invullen krijgen hierdoor een beter beeld van de punten waarop deze verbeterd kan worden. Dat is bovendien begrijpelijk, omdat onder docenten nogal wat verwarring bestaat over de criteria waarop een scriptie beoordeeld moet worden. Zij hebben met andere woorden houvast aan deze lijst.

Maar hoe moet een scriptie worden beoordeeld? Daarbij staan twee kwesties centraal. Ten eerste het doel van de wetenschap. Dat doel is: “het vergaren van nieuwe kennis”. Als iemand bijvoorbeeld stelt onderzoek te hebben gedaan door de literatuur te bestuderen of het internet te raadplegen, dan kan niet gesproken worden over wetenschap. Het betreft “slechts” het inventariseren van de reeds bestaande kennis. Niettemin is het gebruikelijk dat in scripties en proefschriften een samenvatting wordt gegeven van de bestaande kennis op een bepaald gebied. Er wordt een overzicht gegeven van de bestaande theorieën en modellen, alsook de onderzoeken die reeds hebben plaatsgevonden. Door deze kennis in kaart te brengen kan de onderzoeker uitleggen waarom het eigen idee vernieuwend is, zodat duidelijk wordt dat er sprake is van wetenschap. Deze werkwijze wordt aangeduid als “weten voort te bouwen op de bestaande wetenschappelijke kennis”. Strikt genomen is deze werkwijze echter niet nodig. Zodra iemand op creatieve wijze een nieuw idee formuleert is er sprake van wetenschap. Als iemand bijvoorbeeld in bad ligt en plotseling een nieuw idee heeft om kindermishandeling tegen te gaan of een bepaalde productiemethode te verbeteren, dan is er sprake van wetenschap. Overigens wordt dit idee in de wetenschap aangeduid als de “probleemstelling” of “hypothese”.

De tweede kwestie die in ogenschouw moet worden genomen betreft het begrip kennis. Wat wordt hiermee bedoeld? Er zijn drie opvattingen te onderscheiden. Ten eerste is er de empirisch analytische traditie. In deze traditie wordt een theorie geformuleerd, waaruit voorspellingen worden afgeleid, welke vervolgens worden getoetst. Zo kan een onderzoeker het idee hebben dat macht leidt tot corruptie. Op basis van deze theorie kan worden voorspeld dat regeringsleiders corrupter zijn dan ambtenaren, waarna kan worden getoetst of dit klopt. Ten tweede is er de interpretatieve traditie. In deze traditie staat de gedachte centraal dat mensen hun eigen interpretatie van de werkelijkheid maken, die vervolgens hun gedrag bepaalt. Hierbij kan bijvoorbeeld worden gedacht aan onderzoek naar het geloof. Sommigen zien de paus als de rechtstreekse vertegenwoordiger van hun God. Voor hen is de paus deze vertegenwoordiger en dus volgen ze de richtlijnen die hij formuleert. Anderen zien de paus louter als een machtige partij, waarbij ze rekening moeten houden met hun gedrag. Ten derde is er het actie- of handelingsonderzoek. In deze traditie wordt gepoogd om na te gaan welke acties kunnen worden ondernomen om een bepaald resultaat te bereiken. Dat gebeurt bij voorkeur in democratisch overleg met de onderzochten. Deze werkwijze wordt aangeduid met de term Diskurs.

Er wordt gesproken van wetenschap als het nieuwe idee betrekking heeft op één van deze drie vormen van kennis. Als bijvoorbeeld iemand een nieuwe theorie formuleert of hieruit nog niet eerder bedachte voorspellingen uit afleidt. Of als iemand ons duidelijk maakt dat sommige mensen bepaalde aspecten van de samenleving heel anders bekijken, dan tot nu werd aangenomen. Of wanneer iemand een actie of maatregel bedenkt, welke nog niet eerder is getest. Daarbij moet het begrip nieuw overigens breed worden opgevat. Het kan bijvoorbeeld een kleine wijziging betreffen in een bestaande theorie of het lichtelijk bijstellen van onze visie op de wijze waarop de kiezers naar een bepaalde politieke partij kijken, of het uitvoeren van een actie in een context waarin deze nog niet eerder is getoetst. Dit laatste betekent dat het efficiënter of effectiever maken van productie- of werkprocessen óók als wetenschappelijk onderzoek kan worden aangeduid. Al dit soort kleine vernieuwingen dragen namelijk bij aan het verkrijgen van een andere kijk op de samenleving, beroepenveld of bedrijf en dragen dus bij aan de wetenschap. En daarmee heeft elke school voor hoger onderwijs de kans om zich te profileren als een kennisinstituut. Namelijk, door na te gaan op welke terreinen nieuwe kennis nodig is en daar het onderwijs- en onderzoekprogramma op af te stemmen.

Het bovenstaande laat zien dat het voor beoordelen van de wetenschappelijkheid van een scriptie of rapport slechts antwoord hoeft te worden gegeven op één vraag: levert het nieuwe kennis op? Waarbij moet worden gerealiseerd dat er drie verschillende vormen van kennis zijn, die als wetenschappelijk worden betiteld. Dat zijn: (1) theoretische kennis, (2) interpretatieve kennis en (3) actie- of handelingsgerichte kennis. Overigens wordt deze laatste vorm in sommige  literatuur ook wel aangeduid als engineering of ontwerpen, omdat hierin het veranderen van de samenleving centraal staat.

De praktijk van het beoordelen van een scriptie of rapport blijkt echter een stuk weerbarstiger te zijn. Ten eerste is de empirisch analytische traditie dominant in ons onderwijsstelsel. De studieboeken op de hogescholen universiteiten schenken amper of geen aandacht aan onderzoek dat interpretatief van aard is of actiegericht. Deze onbekendheid leidt ertoe dat interpretatief en actiegericht onderzoek vaak niet worden herkend (en dus erkend) als wetenschap. Zo leidde een niet representatieve inventarisatie onder wetenschappers tot de conclusie dat slechts een enkele “verdwaalde” wetenschapper binnen de universiteiten en hogescholen inhoudelijk op de hoogte is van deze drie vormen van onderzoek. En zo kan het gebeuren dat een accreditatiecommissie verzoekt om de ontwerpen van studenten uit het lokaal te verwijderen (lees: de acties die ze hebben bedacht en getest), omdat ze deze niet relevant vinden.

Ten tweede zijn er beoordelaars die dogmatisch hun eigen methodologische werkwijze blijven voorstaan. Zo wilde iemand van een hogeschool met behulp van interpretatief onderzoek gaan promoveren op een onderwerp in de zorgsector. Dit onderzoeksvoorstel werd echter afgewezen door een commissie van deskundigen, omdat de door haar gekozen interpretatieve benadering niet wetenschappelijk zou zijn. Vervolgens stuurde ze hetzelfde voorstel naar een universiteit in Engeland, waar het zonder meer werd geaccepteerd als wetenschappelijk.

Ten derde zijn er opleidingen die hun eigen aanvullende eisen gaan stellen. Zo zijn er opleidingen aan universiteiten en hogescholen die eisen dat in een scriptie of promotie wordt ingegaan op bepaalde theorieën. Van sommige hoogleraren wordt in dit verband gezegd dat ze promovendi als “hun eigen pen” gebruiken. Zo zijn er ook opleidingen binnen universiteiten en hogescholen die eisen dat voor het vermelden van de geraadpleegde bronnen die in een rapport staan opgenomen gebruik moet wordt gemaakt van de systematiek van de APA (American Psychological Association).

De hiervoor genoemde zaken maken duidelijk waarom het zeer regelmatig gebeurt dat een wetenschappelijk rapport door de ene commissie wordt gezien als een goed stuk werk, terwijl een andere hier een negatief oordeel over geeft. Deze zaken maken bovendien duidelijk dat moet worden gewaakt voor eigengereidheid. Dat universiteiten en hogescholen met andere woorden niet zelf de regels van het wetenschappelijke spel gaan bepalen, zoals: (1) alleen onderzoek accepteren als het binnen een bepaalde kennistraditie is uitgevoerd; (2) studenten alleen binnen de eigen kennistraditie opleiden;  (3) het vastleggen van de theorieën die aan de orde moeten komen in een rapport; (4) of eisen dat op een bepaalde manier naar de geraadpleegde bronnen moet worden verwezen. Dergelijke eigengereidheid belemmert de wetenschap. Het beperkt de mogelijkheden van aanstaande wetenschappers om te kiezen voor een eigen kennistraditie en daarbinnen creatief op zoek te gaan naar nieuwe ideeën.

Stel, dat iemand heeft geprobeerd om nieuwe kennis te ontwikkelen, maar daarin niet is geslaagd. Hoe kan een rapport in dat geval worden beoordeeld? In dat geval kan worden teruggegrepen op de vraag: heeft de auteur een werkwijze gevolgd die de kans vergroot dat er nieuwe kennis wordt ontdekt? Aan deze vraag gaat echter een andere vooraf. Namelijk de vraag: waardoor ontstaat nieuwe kennis? In dat verband kan een onderscheid worden gemaakt tussen de empirische kennis, de theoretische kennis en het analytisch vermogen waarover iemand beschikt. Met empirische kennis wordt bedoeld dat iemand kennis heeft van de bestaande gegevens over het te bestuderen onderwerp . Is iemand bijvoorbeeld op de hoogte van de statistieken, de partijen die bij dit onderwerp betrokken zijn, het beleid dat door hen wordt gevoerd? Met theoretische kennis wordt bedoeld dat iemand kennis heeft van de visies die anderen op het te bestuderen onderwerp hebben. Weet iemand bijvoorbeeld de bestaande theorieën te noemen die verklaren waarom op een bepaalde politieke partij wordt gestemd? Met het analytisch vermogen wordt bedoeld dat iemand in staat is om vraagtekens te stellen bij de empirische en theoretische kennis. Is iemand bijvoorbeeld in staat om vraagtekens te zetten bij een statistiek waaruit blijkt dat het opleidingsniveau van de Nederlander toeneemt, of bij het beleid van een organisatie dat volgens het jaarverslag gericht is op duurzaam ondernemen, of bij de theorie dat mensen vanuit rationele overwegingen op een bepaalde politieke stemmen. Daarbij staat de gedachte centraal dat iemand die de zwakke plekken weet aan te wijzen in de huidige empirische en theoretische kennis op zoek kan gaan naar een nieuwe visie. Of andersom geredeneerd: iemand die geen kanttekeningen weet te zetten en alles gelooft, die zal niet proberen om een nieuwe visie te ontwikkelen. Overigens kan het plaatsen van kanttekeningen op zichzelf al wetenschap zijn. Namelijk: als hierdoor nieuwe kennis ontstaat. Dat is bijvoorbeeld het geval als iedereen denkt dat de aarde rond is en iemand argumenten weet aan te dragen dat deze visie onjuist is.

Daarmee wordt duidelijk dat meerdere factoren van invloed zijn op het ontstaan van nieuwe kennis. Ten eerste zijn de empirische en theoretische kennis van invloed. Naarmate iemand over meer empirische en theoretische kennis beschikt, des te groter is de kans dat deze persoon hier enkele kanttekeningen bij weet te vinden. Dit effect wordt versterkt door een derde factor: het analytisch vermogen van een persoon. Naarmate iemand over meer analytisch vermogen beschikt (denk bijvoorbeeld aan scholing in wetenschapsfilosofie of methoden en technieken van onderzoek), des te groter is de kans dat deze persoon kanttekeningen weet te plaatsen bij de huidige kennis. Ten vierde is de creativiteit (het vermogen om nieuwe visies te bedenken) van invloed.

Het zijn deze vier factoren (empirische kennis, theoretische kennis, analytisch vermogen, creativiteit) waarop kan worden teruggevallen om de waarde van een rapport te bepalen. Als een onderzoeker in het rapport er blijk van geeft veel empirische en theoretische kennis te hebben verzameld, dan is weliswaar sprake van een goed rapport, maar het is “slechts” een samenvatting van de bestaande kennis. Het wetenschappelijk niveau van een rapport stijgt als een onderzoeker er blijk van geeft een analytische werkwijze te hebben gevolgd. Het niveau wordt nòg hoger als hieruit creativiteit (nieuwe kennis) spreekt.

In de cursus “scriptie en eindniveau” werken wij bovenstaande manifest verder uit. Ook de Universiteit Utrecht levert daaraan een bijdrage.

[1] Dr. Paul van Deursen is eigenaar van de Deursen Onderwijsgroep (zie: www.deursenonderwijsgroep.nl). Hij ondersteunt opleidingen en kenniscentra bij accreditaties en verbetertrajecten, implementeert kwaliteitssystemen, ontwikkelt strategische visiedocumenten en professionaliseert onderwijsteams. Bovendien is hij  medeontwikkelaar van Sci-Quest/lect, het kwaliteitssysteem voor lectoraten, kenniscentra en praktijkgericht onderzoek.

Dr. Paul Delnooz is oprichter en eigenaar van de Mind Management Academy (zie: www.mindmanagement-academy.nl ) Hij is methodoloog en gepromoveerd op basis van experimenten in de dagelijkse praktijk van het onderwijs. Deze experimenten hadden tot doel om het scriptieniveau te verhogen en bleken succesvol te zijn. Met het verhogen van het niveau wordt bedoeld: het vergroten het creatieve en analytische vermogen van studenten, zodat ze beter in staat zijn innovatieve oplossingen te bedenken voor praktische vraagstukken. Het lesprogramma dat hij hiervoor heeft ontwikkeld  wordt Creatieve Actie Methodologie genoemd en wordt door vele opleidingen in Nederland met succes toegepast.

[2] Informatie over cursussen voor leidinggevenden en docenten over de manier waarop het afstudeerniveau van een opleiding kan worden verhoogd is te vinden op:  http://www.deursenonderwijsgroep.nl/cursussen/cursus-scriptie-en-afstudeerniveau/

Geef een reactie