Accreditatie en toetsen

Onze instelling moet het komend jaar geaccrediteerd worden. Het zal duidelijk zijn dat daar het nodige van afhangt, en deze accreditatie wordt dan ook grondig voorbereid. Op diverse punten zijn we bezig om ons onderwijs nog beter te organiseren.

Eén van de speerpunten van de accreditatie zal het toetsbeleid zijn. Gelukkig zijn we binnen onze instelling al een paar jaar hard bezig om de kwaliteit van onze toetsen te verbeteren, en vanuit de toetscommissie van de propedeuse probeer ik daar mijn eigen bescheiden bijdrage aan te leveren. Voor het grootste deel vind ik dit leuk werk. Het kost veel tijd, en het is soms vermoeiend en een enkele keer frustrerend, maar het levert ook mooie resultaten op.

Sinds een aantal maanden is er ook een centraal overleg, waarin alle toetscommissies van de profielen samenwerken en zich richten op verbeterpunten voor de accreditatie. Een goeie zaak natuurlijk, want toetscommissies kunnen onderling veel van elkaar leren, en we zouden er ook naar moeten streven dat de werkzaamheden op elkaar worden afgestemd.

Deze week ‘mocht’ ik voor het eerst naar dit overleg. Ik moet zeggen dat ik lichtelijk teleurgesteld was. We zijn een uur kwijt geweest aan een discussie over de archivering van toetsen. Voor de accreditatie is dit heel erg belangrijk, maar een discussie over de wijze waarop toetsen gearchiveerd worden, wie daarvoor verantwoordelijk is en wat die verantwoordelijk precies behelst, is toch niet mijn hobby. Het moet gebeuren, dat weet ik ook, maar ik ben graag bezig met de kwaliteit van de toetsen.

Dan is het goed te weten dat we daar wel hard mee bezig zijn. Ik durf een aantal zaken wel op het conto van de toetscommissie propedeuse te schrijven, zoals:

• de kennis over toetsen wordt steeds groter onder collega’s
• we zijn steeds beter in staat om de constructie van toetsen te begeleiden
• eerste en tweede kansen worden tegelijkertijd gemaakt

En zo zijn er nog wel meer aspecten. Vooralsnog richten we ons vooral op meerkeuze-toetsen, omdat daar binnen de propedeuse het zwaartepunt van de toetsing ligt. Op korte termijn zullen we echter ook andere aspecten van de toetsing gaan oppakken.

Fraude

Altijd een frustrerende ervaring voor docenten: heb je veel tijd en moeite gestoken in het uitleggen van een vak aan je studenten, blijken ze zich er vanaf te maken door domweg werk van andere studenten in te leveren. En dan moet je er weer veel tijd in steken om er achter te komen of het echt kwaadwillende fraude is of misschien een stomme fout… terwijl studenten vaak weer lijken te denken dat je er lol in hebt om ze aan de schandpaal te nagelen. Integendeel dus.

Met deze activiteiten gaat momenteel een groot deel van mijn tijd heen. Ik merk dan vooral dat ik voor deze taak niet opgeleid ben: ik ben immers geen rechercheur. Het opmerken van een geval van fraude of plagiaat is vaak geen probleem, maar dan moet je dus nog bepalen of de beschuldiging terecht is. In de procedure die bij ons op school geldt moet je dan een student oproepen voor een persoonlijk gesprek, en daar begint vaak het gedonder. Studenten blijken er zeer bedreven in om een geloofwaardig verhaal op te hangen, en ik bezit niet de gave om leugens eenvoudig te onderscheiden van de waarheid.

Natuurlijk ben ik bekend met instrumenten als Ephorus, waarvoor ook onze school een licentie heeft. De opdrachten echter waar ik hier over praat, behelzen het maken van digitale producten: een website of een database. En hier biedt Ephorus nu juist geen ondersteuning voor.

Verder vind ik soms de procedure op onze instelling frustrerend. In principe constateert de docent de fraude, en geeft dat vervolgens door aan de examencommissie. In veel gevallen neemt deze het advies van de docent over. Een enkel geval van fraude leidt echter niet tot strafmaatregelen – pas wanneer je een tweede keer van fraude of plagiaat beschuldigd wordt kun je uitgesloten worden van één of meerdere kansen, tot maximaal een jaar.

Gezien dit systeem ben ik zelf geneigd ook in het geval van twijfel fraudegevallen door te geven aan de examencommissie. Immers, een eerste vergrijp blijft zonder gevolgen. De laatste tijd merk ik echter dat er meer gevallen zijn die ik niet aangeef bij de examencommissie, en ik twijfel of dat goed is. Ik heb echter niet de indruk dat er een erg duidelijke lijn is.

Wat vinden jullie? En zijn er tools die ook het opsporen van fraude bij databases en websites vergemakkelijken?

Van competentie naar leerdoel

Binnenkort hebben wij een teammiddag over toetsen. We werken er de laatste tijd hard aan om de kennis over toetsen omhoog te krikken. Dat gaat lukken, maar er is nog wel veel werk te verzetten. Middels deze teammiddag hopen wij de kennis bij het hele team over toetsen op een hoger plan te brengen.

Intussen proberen wij als toetscommissie verder te denken. Ik heb al eerder gemeld dat we, naast tentamens, ook breder na willen denken over beoordelingsformulieren. Omdat we tegelijkertijd ook bezig zijn met een herziening van de competenties, zou ik ook graag de link tussen competenties en toetsen strakker willen maken. Maar hoe? Is dit een taak voor de toetscommissie? Is dit iets voor een curriculum- en onderwijscommissie?

Ik ben erg nieuwsgierig naar hoe andere opleidingen dit aanpakken. Graag reacties!

Leerweg(on)afhankelijk toetsen

Met ingang van dit jaar hebben wij in de propedeuse gekozen om een aantal vakken niet gelijk te toetsen in de periode waarin ze worden gegeven. Het gaat hierbij alleen om vakken die over meerdere (aaneensluitende) perioden gegeven worden. Het maximaal aantal perioden is drie, en de vakken worden dan aan het eind van de laatste gegeven periode getoetst.

Bij invoering hebben we uiteraard uitgebreid nagedacht over de consequenties, en een aantal docenten waren niet voor. Ook ik zie nadelen, maar vakken gespreid toetsen schijnt hier niet te kunnen. Ik wil me daarom graag wat verder in deze materie verdiepen. Een eerste zoekopdracht op Google leverde nog niet erg veel op: een document van de HAN en iets op Surfgroepen. Er moet meer zijn.

Wie kan me helpen met meer achtergrondinformatie over deze materie?

Beoordelingslijsten

Een terugkerend probleem in onze opleiding is het beoordelen van de groepsproducten, met name in de propedeuse. Laat me even kort uitleggen waarom.

Onze propedeuse-studenten draaien vier projecten, die allemaal in groepsvorm gegoten zijn. Gemiddelde groepsgrootte is zo’n 8 studenten. Een project levert over het algemeen een product op, en bij dat product hoort een adviesrapport. Meerdere vakdocenten beoordelen een groepsproduct, en welke vakdocenten dat zijn verschilt van periode tot periode; daarnaast beoordeelt de tutor het groepswerk.

Het streven is om die onderdelen te laten nakijken, die niet door middel van een tentamen getoetst worden. In totaal zijn er 100 punten te vergeven voor een groepsproduct. Omdat er gemiddeld 4 tot 5 vakken betrokken zijn bij de beoordeling, is dat per vak 15 tot 30 punten.

Het grote knelpunt ligt bij de beoordeling van de tutor: omdat de tutor een flink aantal onderdelen moet beoordelen (samenhang, stijl, conclusies, aanwezigheid van onderdelen), mondt het beoordelen van de tutor al snel uit in het afchecken van onderdelen, en is het nauwelijks mogelijk om tussen de beoordelingen te differentiëren. Elk onderdeel is dan al gauw maximaal een punt, en dan kun je niet verder gaan dan het geven van een half punt als het minder goed is. De vraag is tegelijk of je de vrijheid van meer punten per onderdeel wilt toestaan omdat er veel tutoren bij het beoordelen betrokken zijn.

Eén van de oplossingen voor dit probleem is een aantal onderdelen aan te wijzen als ‘vereisten’: voor een managementsamenvatting wordt dan bijvoorbeeld geen punt meer toegekend, maar wanneer dit onderdeel ontbreekt wordt het product simpelweg niet nagekeken. De vrijgekomen punten kunnen dan over andere onderdelen verdeeld worden. Dit is een stap in de goede richting, maar dan blijft het probleem hoe je de overige punten verdeelt, met name omdat je ook interbeoordelaarseffecten zo veel mogelijk wilt minimaliseren.

Je raadt het al, mijn vraag is: hoe gaan andere opleidingen hier mee om?

Criterialijst

Don’t take things for granted. Dat bleek deze week maar weer toen ik een collega een beoordelingsinstrument liet zien dat ik gebruik voor een vak. Dit vak wordt getoetst door middel van een groepsopdracht, en vanwege onze studentenaantallen zijn er ongeveer 10 docenten die dit vak nakijken.

Om de variatie in wijze van beoordelen zoveel mogelijk te beperken (de interbeoordelaarsvariabiliteit heet dat geloof ik) heb ik een lijst met beoordelingscriteria opgesteld voor dit vak. Tot zover niets nieuws. Wat voor een collega nieuw bleek was de wijze waarop ik die variatie probeer te beperken. Behalve door middel van het organiseren van een briefing, verwerk ik in in de criterialijst zelf in Word namelijk comments, waarin ik aangeef wanneer exact er (halve) punten moeten worden afgetrokken.

Met de gedachte dat er misschien nog meer mensen zijn die hier hun voordeel mee kunnen doen, heb ik een lege versie van zo’n criterialijst op mijn blog gezet. Wanneer je deze lijst bekijkt, valt je verder wellicht nog op dat er een zg. voorwaarde voorkomt op de lijst. Feitelijk zijn dit eisen waaraan de student moet voldoen – zijn deze niet aanwezig, dan wordt de opdracht niet nagekeken. Vandaar – in dit geval – de 10 punten aftrek.

Toetsen

Ik wil graag een lans breken voor het belang van toetsen. Niet iedereen legt wellicht de link met onderwijsontwerp, maar die is er wel. Dat zal ik uitleggen.

Al vrij snel na mijn indiensttreding bij de Hogeschool van Amsterdam, ben ik betrokken geraakt bij de toetscommissie van de propedeuse. De toetscommissie bewaakt de kwaliteit van de toetsen binnen de propedeuse. Dit kunnen tentamens zijn, maar ook de toetsingscriteria die bij individuele opdrachten worden gehanteerd.

Onze eerste stap was ervoor zorgen dat alle tentamens binnen de propedeuse door ons gezien werden. Gezien de massaliteit van ons instituut (we zijn dit jaar gestart met 1300 eerstejaars) betreft dat vooral multiple-choice tentamens. Voor die tentamens hebben wij een checklist geformuleerd met een aantal vuistregels voor toetsvragen die van tevoren met docenten worden gecommuniceerd. Bovendien bekijkt de toetscommissie de toets, om in een gesprek met de docent suggesties te doen ter verbetering. De toets mag pas naar het onderwijsbureau nadat hij door de toetscommissie is gezien.

Het maken van toetsen wordt veelal onderschat. Een toets is maar al te vak sluitstuk: eerst wordt onderwijs ontwikkeld, en daarna pas de toets. Dit zou andersom moeten zijn: pas als je weet welke kennis je wilt toetsen, en hoe, kun je je onderwijs gaan vormgeven. Zover zijn we nog lang niet, maar we streven ernaar om op korte termijn docenten eerst de toets te laten ontwikkelen. Op die manier wordt je toets dus een onderwijsontwerpend instrument.

Uiteraard zijn binnen ons instituut nog meer toetscommissies actief. Onze opleiding heeft vijf afstudeerprofielen, dus inclusief de propedeuse zijn er 6 toetscommissies. Toen de toetscommissies een paar jaar geleden werden opgericht, zijn we gezamenlijk begonnen. De activiteiten van de diverse toetscommissies zijn echter wat uit elkaar gegroeid, dus we bevinden ons nu op een moment om dat weer meer te coördineren, naar elkaar toe te laten groeien. Voor de toetscommissie in de propedeuse betekent dit dat we ook gaan kijken naar toetsingscriteria voor praktijkopdrachten.

Waar ik nu zo benieuwd naar ben is hoe andere hogescholen/universiteiten dit regelen. Ik denk dat er nog veel te leren valt van elkaars inspanningen. Wie is er bijvoorbeeld bezig met de toetscriteria voor individuele opdrachten? Wat zijn de kwaliteitscriteria die diverse instituten aanleggen? Bij welke hogescholen worden toetsen ontwikkeld voordat de lessen worden vormgegeven?