Beleid met plan in beleid met plan in beleid met…

29 november 2011
Droste effect

Copyright Doboncom

Vanuit mijn nieuwe functie probeer ik wat zinnigs te zeggen over toetsing binnen de opleidingen. En dat valt nog niet mee. Want over het algemeen vindt men wel dat er minimaal een toetsbeleid en een toetsplan moet zijn, maar dan wordt het ingewikkeld. Vaak kom je namelijk een zinsnede tegen als: ‘Een goed toetsbeleid bestaat uit zowel een toetsbeleid en een toetsplan.’ En dan is de cirkel rond. Want wordt met dat toetsbeleid nou het toetsbeleid ín het toetsbeleid bedoeld, of het overkoepelende toetsbeleid? Kortom, verwarring alom.

Mijn worsteling met deze termen kan natuurlijk niet nieuw zijn. Ik heb daarom een rondje gemaakt langs collega’s en andere toetsinstellingen. Daar kom ik een aantal termen tegen waar ik nu ook niet direct enthousiast van wordt. Ik behandel hier de vors en tegens, en hoop dat jullie wellicht nog wat andere opties aan kunnen dragen.

Toetsmodel

Misschien wel de meest voor de hand liggende optie is ‘toetsmodel’. Maar is het wel een model? Een model heeft wat mij betreft per definitie voorschrijvende kenmerken, en dat vind ik hier niet volledig op zijn plaats. Je schrijft namelijk niet echt voor, maar je legt meer de randvoorwaarden vast waaraan toetsing moet voldoen.

Toetskader

Een alternatief zou dan toetskader kunnen zijn. Immers, met een kader bepaal je grenzen, geef je aan wat de randvoorwaarden zijn. Een nadeel van de term is wellicht de onbekendheid: hebben mensen de juiste associatie als er over ‘toetskader’ gesproken wordt?  En wellicht is de term té vrij: er zitten wel degelijk ook voorschrijvende elementen in een overkoepelend toetsbeleid.

Toetshuis

Toegegeven, deze term zou kunnen. Ik kan niet direct een inhoudelijk argument noemen waarom deze term de lading niet dekt. Maar hij is zo lélijk. But that may be me.

Iets anders

Zijn er nog andere opties? Of moeten we wellicht de verwarring voor lief nemen en toch blijven spreken over toetsbeleid? Let me know. Geef een reactie, of doe mee aan de poll die ik ingesteld heb. Ik ben benieuwd!

Advertenties

Engels

23 februari 2010

Het werk in de toetscommissie raakt aan mijn motto: nergens verstand van hebben, maar overal over mee kunnen praten. Immers, je krijgt de nodige tentamens onder ogen over onderwerpen waar ik niet in doorgeleerd heb: Marketing, Media & Maatschapij, Management & Organisatie… Dit is de ene keer een groter probleem dan de andere: zo weet ik weinig van Marketing, maar ben ik volgens mij toch redelijk in staat om dat tentamen kwalitatief bij te sturen. Ook bij andere tentamens gaat dat redelijk goed.

Toch is het gebrek aan inhoudelijke kennis wel eens lastig. Gek genoeg ondervind ik de (misschien wel) grootste problemen bij Engels, terwijl ik daar nu juist weer redelijk onderlegd ben. Althans, ik haalde behoorlijke cijfers op het VWO, en breng mijn kennis daarna op gezette tijden in de praktijk. Het blijft echter lastig om een tentamen Engels inhoudelijk te checken.

Wat mij parten speelt is de bias die je hebt door mijn eigen kennis van de taal – die kennis lijkt als het ware de objectieve kijk te vertroebelen. Want: hoe beoordeel ik bijvoorbeeld de moeilijkheidsgraad van een tentamen Engels? Over de formulering van de vragen is het al evenmin makkelijk een oordeel te vellen, want zo perfect is mijn kennis van de taal niet dat ik zinnen durf te verbeteren.

Onze tentamens Engels bestaan normaal gesproken uit een aantal teksten met bijbehorende vragen, en een deel Vocabulary. In de praktijk doe ik daarom meestal het volgende: ik lees de teksten, en probeer de bijbehorende vragen te maken. Wanneer ik twijfel over alternatieven, is dat normaal gesproken een aanleiding om de vraag te bespreken met de maker van het tentamen. Tegelijkertijd probeer ik aan de hand van mijn hoeveelheid twijfels een inschatting te maken van de moeilijkheidsgraad. (Ik mag tenminste hopen dat het feit dat ik deze keer een onvoldoende haalde, aangeeft dat dit een erg moeilijk tentamen was.) Uiteraard let ik ook op tikfouten en dergelijke.

Ik denk dat we hiermee in elk geval een zorgvuldige laatste check uitvoeren. Toch bekruipt me soms de gedachte dat er meer mogelijk moet zijn. Ik houd me aanbevolen voor suggesties!


Accreditatie en toetsen

25 november 2009

Onze instelling moet het komend jaar geaccrediteerd worden. Het zal duidelijk zijn dat daar het nodige van afhangt, en deze accreditatie wordt dan ook grondig voorbereid. Op diverse punten zijn we bezig om ons onderwijs nog beter te organiseren.

Eén van de speerpunten van de accreditatie zal het toetsbeleid zijn. Gelukkig zijn we binnen onze instelling al een paar jaar hard bezig om de kwaliteit van onze toetsen te verbeteren, en vanuit de toetscommissie van de propedeuse probeer ik daar mijn eigen bescheiden bijdrage aan te leveren. Voor het grootste deel vind ik dit leuk werk. Het kost veel tijd, en het is soms vermoeiend en een enkele keer frustrerend, maar het levert ook mooie resultaten op.

Sinds een aantal maanden is er ook een centraal overleg, waarin alle toetscommissies van de profielen samenwerken en zich richten op verbeterpunten voor de accreditatie. Een goeie zaak natuurlijk, want toetscommissies kunnen onderling veel van elkaar leren, en we zouden er ook naar moeten streven dat de werkzaamheden op elkaar worden afgestemd.

Deze week ‘mocht’ ik voor het eerst naar dit overleg. Ik moet zeggen dat ik lichtelijk teleurgesteld was. We zijn een uur kwijt geweest aan een discussie over de archivering van toetsen. Voor de accreditatie is dit heel erg belangrijk, maar een discussie over de wijze waarop toetsen gearchiveerd worden, wie daarvoor verantwoordelijk is en wat die verantwoordelijk precies behelst, is toch niet mijn hobby. Het moet gebeuren, dat weet ik ook, maar ik ben graag bezig met de kwaliteit van de toetsen.

Dan is het goed te weten dat we daar wel hard mee bezig zijn. Ik durf een aantal zaken wel op het conto van de toetscommissie propedeuse te schrijven, zoals:

  • de kennis over toetsen wordt steeds groter onder collega’s
  • we zijn steeds beter in staat om de constructie van toetsen te begeleiden
  • eerste en tweede kansen worden tegelijkertijd gemaakt

En zo zijn er nog wel meer aspecten. Vooralsnog richten we ons vooral op meerkeuze-toetsen, omdat daar binnen de propedeuse het zwaartepunt van de toetsing ligt. Op korte termijn zullen we echter ook andere aspecten van de toetsing gaan oppakken.


Fraude

2 juli 2009

Altijd een frustrerende ervaring voor docenten: heb je veel tijd en moeite gestoken in het uitleggen van een vak aan je studenten, blijken ze zich er vanaf te maken door domweg werk van andere studenten in te leveren. En dan moet je er weer veel tijd in steken om er achter te komen of het echt kwaadwillende fraude is of misschien een stomme fout… terwijl studenten vaak weer lijken te denken dat je er lol in hebt om ze aan de schandpaal te nagelen. Integendeel dus.

Met deze activiteiten gaat momenteel een groot deel van mijn tijd heen. Ik merk dan vooral dat ik voor deze taak niet opgeleid ben: ik ben immers geen rechercheur. Het opmerken van een geval van fraude of plagiaat is vaak geen probleem, maar dan moet je dus nog bepalen of de beschuldiging terecht is. In de procedure die bij ons op school geldt moet je dan een student oproepen voor een persoonlijk gesprek, en daar begint vaak het gedonder. Studenten blijken er zeer bedreven in om een geloofwaardig verhaal op te hangen, en ik bezit niet de gave om leugens eenvoudig te onderscheiden van de waarheid.

Natuurlijk ben ik bekend met instrumenten als Ephorus, waarvoor ook onze school een licentie heeft. De opdrachten echter waar ik hier over praat, behelzen het maken van digitale producten: een website of een database. En hier biedt Ephorus nu juist geen ondersteuning voor.

Verder vind ik soms de procedure op onze instelling frustrerend. In principe constateert de docent de fraude, en geeft dat vervolgens door aan de examencommissie. In veel gevallen neemt deze het advies van de docent over. Een enkel geval van fraude leidt echter niet tot strafmaatregelen – pas wanneer je een tweede keer van fraude of plagiaat beschuldigd wordt kun je uitgesloten worden van één of meerdere kansen, tot maximaal een jaar.

Gezien dit systeem ben ik zelf geneigd ook in het geval van twijfel fraudegevallen door te geven aan de examencommissie. Immers, een eerste vergrijp blijft zonder gevolgen. De laatste tijd merk ik echter dat er meer gevallen zijn die ik niet aangeef bij de examencommissie, en ik twijfel of dat goed is. Ik heb echter niet de indruk dat er een erg duidelijke lijn is.

Wat vinden jullie? En zijn er tools die ook het opsporen van fraude bij databases en websites vergemakkelijken?


Van competentie naar leerdoel

24 februari 2009

Binnenkort hebben wij een teammiddag over toetsen. We werken er de laatste tijd hard aan om de kennis over toetsen omhoog te krikken. Dat gaat lukken, maar er is nog wel veel werk te verzetten. Middels deze teammiddag hopen wij de kennis bij het hele team over toetsen op een hoger plan te brengen.

Intussen proberen wij als toetscommissie verder te denken. Ik heb al eerder gemeld dat we, naast tentamens, ook breder na willen denken over beoordelingsformulieren. Omdat we tegelijkertijd ook bezig zijn met een herziening van de competenties, zou ik ook graag de link tussen competenties en toetsen strakker willen maken. Maar hoe? Is dit een taak voor de toetscommissie? Is dit iets voor een curriculum- en onderwijscommissie?

Ik ben erg nieuwsgierig naar hoe andere opleidingen dit aanpakken. Graag reacties!


Leerweg(on)afhankelijk toetsen

20 februari 2009

Met ingang van dit jaar hebben wij in de propedeuse gekozen om een aantal vakken niet gelijk te toetsen in de periode waarin ze worden gegeven. Het gaat hierbij alleen om vakken die over meerdere (aaneensluitende) perioden gegeven worden. Het maximaal aantal perioden is drie, en de vakken worden dan aan het eind van de laatste gegeven periode getoetst.

Bij invoering hebben we uiteraard uitgebreid nagedacht over de consequenties, en een aantal docenten waren niet voor. Ook ik zie nadelen, maar vakken gespreid toetsen schijnt hier niet te kunnen. Ik wil me daarom graag wat verder in deze materie verdiepen. Een eerste zoekopdracht op Google leverde nog niet erg veel op: een document van de HAN en iets op Surfgroepen. Er moet meer zijn.

Wie kan me helpen met meer achtergrondinformatie over deze materie?


Beoordelingslijsten

12 januari 2009

Een terugkerend probleem in onze opleiding is het beoordelen van de groepsproducten, met name in de propedeuse. Laat me even kort uitleggen waarom.

Onze propedeuse-studenten draaien vier projecten, die allemaal in groepsvorm gegoten zijn. Gemiddelde groepsgrootte is zo’n 8 studenten. Een project levert over het algemeen een product op, en bij dat product hoort een adviesrapport. Meerdere vakdocenten beoordelen een groepsproduct, en welke vakdocenten dat zijn verschilt van periode tot periode; daarnaast beoordeelt de tutor het groepswerk.

Het streven is om die onderdelen te laten nakijken, die niet door middel van een tentamen getoetst worden. In totaal zijn er 100 punten te vergeven voor een groepsproduct. Omdat er gemiddeld 4 tot 5 vakken betrokken zijn bij de beoordeling, is dat per vak 15 tot 30 punten.

Het grote knelpunt ligt bij de beoordeling van de tutor: omdat de tutor een flink aantal onderdelen moet beoordelen (samenhang, stijl, conclusies, aanwezigheid van onderdelen), mondt het beoordelen van de tutor al snel uit in het afchecken van onderdelen, en is het nauwelijks mogelijk om tussen de beoordelingen te differentiëren. Elk onderdeel is dan al gauw maximaal een punt, en dan kun je niet verder gaan dan het geven van een half punt als het minder goed is. De vraag is tegelijk of je de vrijheid van meer punten per onderdeel wilt toestaan omdat er veel tutoren bij het beoordelen betrokken zijn.

Eén van de oplossingen voor dit probleem is een aantal onderdelen aan te wijzen als ‘vereisten’: voor een managementsamenvatting wordt dan bijvoorbeeld geen punt meer toegekend, maar wanneer dit onderdeel ontbreekt wordt het product simpelweg niet nagekeken. De vrijgekomen punten kunnen dan over andere onderdelen verdeeld worden. Dit is een stap in de goede richting, maar dan blijft het probleem hoe je de overige punten verdeelt, met name omdat je ook interbeoordelaarseffecten zo veel mogelijk wilt minimaliseren.

Je raadt het al, mijn vraag is: hoe gaan andere opleidingen hier mee om?