NVAO en inspectie

8 februari 2012

Deze week kwam het voorlopige rapport van de Inspectie naar aanleiding van de vermeende diplomafraude bij het domein Economie & Management bij de HvA. Ik berichtte hier al eerder over, en zoals je in dat artikel kon lezen ben ik helemaal niet verbaasd dat de Inspectie concludeert dat er ‘geen reden is te veronderstellen dat er onterecht diploma’s zijn verstrekt aan studenten’ bij dit domein. Ik vind het rapport eigenlijk ook niet zo spannend.

Interessanter is het om te analyseren wat de onderwijsinspectie precies gedaan heeft. Wat me namelijk vooral opvalt is dat de inspectie een rapport van een interne audit heeft opgevraagd en daar conclusies aan verbindt. De inspectie mag dat, maar of het een goede zaak is, is een tweede. Persoonlijk vind ik dat een heel slechte zaak.

En dan speculeer ik even verder. Zoals we allen weten, liggen de activiteiten van de NVAO sinds de affaire InHolland onder een vergrootglas. Het zou wel eens zo kunnen zijn dat de onderwijsinspectie nu een kans ruikt. Immers, met het instellen van de NVAO (opgericht als NAO in 2002) moest de onderwijsinspectie feitelijk een stap terug doen. Ik mag toch niet hopen dat de onderwijsinspectie bezig is om over de rug van het onderwijs een stukje macht terug te veroveren.


Onderwijsevaluaties

22 maart 2010

EvaluatieformulierOnze studenten worden er regelmatig suf van: evaluaties binnen het onderwijs. We evalueren werkelijk alles: studenten krijgen vragenlijsten na iedere periode, docenten evalueren onderling, het project wordt geëvalueerd… en dat elke periode, elk jaar weer. Geen wonder dat ze soms wel een beetje evaluatie-moe zijn.

Als gevolg daarvan vallen de aantallen ingevulde evaluaties wel eens tegen. Dat roept bij mij meteen de vraag op hoe representatief die evaluaties dan wel zijn, maar daar heb ik op dit moment geen antwoord op. Het neemt in elk geval niet weg dat er soms toch interessante input is te halen uit zo’n enquête.

Recent is mijn Beeld en Geluid-project geëvalueerd, en ook daar had ik op een hogere respons gehoopt. Zo’n 35 % van de studenten hadden de moeite genomen om de enquête in te vullen. Gelukkig met een overwegend positief resultaat: op bijna alle onderdelen heeft het project hoger gescoord dan vorig jaar. Als rapportcijfer kreeg het project een 6,45; een kwart punt hoger dan vorig jaar.

Er is echter nog genoeg ruimte voor verbetering (zoals dat rapportcijfer ook al aangeeft). Inmiddels heeft het eerste overleg met de opdrachtgever alweer plaatsgevonden, en hebben we de intentie uitgesproken ook volgend jaar door te gaan. Een aantal aspecten zal daarbij aangepast worden.


Engels

23 februari 2010

Het werk in de toetscommissie raakt aan mijn motto: nergens verstand van hebben, maar overal over mee kunnen praten. Immers, je krijgt de nodige tentamens onder ogen over onderwerpen waar ik niet in doorgeleerd heb: Marketing, Media & Maatschapij, Management & Organisatie… Dit is de ene keer een groter probleem dan de andere: zo weet ik weinig van Marketing, maar ben ik volgens mij toch redelijk in staat om dat tentamen kwalitatief bij te sturen. Ook bij andere tentamens gaat dat redelijk goed.

Toch is het gebrek aan inhoudelijke kennis wel eens lastig. Gek genoeg ondervind ik de (misschien wel) grootste problemen bij Engels, terwijl ik daar nu juist weer redelijk onderlegd ben. Althans, ik haalde behoorlijke cijfers op het VWO, en breng mijn kennis daarna op gezette tijden in de praktijk. Het blijft echter lastig om een tentamen Engels inhoudelijk te checken.

Wat mij parten speelt is de bias die je hebt door mijn eigen kennis van de taal – die kennis lijkt als het ware de objectieve kijk te vertroebelen. Want: hoe beoordeel ik bijvoorbeeld de moeilijkheidsgraad van een tentamen Engels? Over de formulering van de vragen is het al evenmin makkelijk een oordeel te vellen, want zo perfect is mijn kennis van de taal niet dat ik zinnen durf te verbeteren.

Onze tentamens Engels bestaan normaal gesproken uit een aantal teksten met bijbehorende vragen, en een deel Vocabulary. In de praktijk doe ik daarom meestal het volgende: ik lees de teksten, en probeer de bijbehorende vragen te maken. Wanneer ik twijfel over alternatieven, is dat normaal gesproken een aanleiding om de vraag te bespreken met de maker van het tentamen. Tegelijkertijd probeer ik aan de hand van mijn hoeveelheid twijfels een inschatting te maken van de moeilijkheidsgraad. (Ik mag tenminste hopen dat het feit dat ik deze keer een onvoldoende haalde, aangeeft dat dit een erg moeilijk tentamen was.) Uiteraard let ik ook op tikfouten en dergelijke.

Ik denk dat we hiermee in elk geval een zorgvuldige laatste check uitvoeren. Toch bekruipt me soms de gedachte dat er meer mogelijk moet zijn. Ik houd me aanbevolen voor suggesties!


Fraude

2 juli 2009

Altijd een frustrerende ervaring voor docenten: heb je veel tijd en moeite gestoken in het uitleggen van een vak aan je studenten, blijken ze zich er vanaf te maken door domweg werk van andere studenten in te leveren. En dan moet je er weer veel tijd in steken om er achter te komen of het echt kwaadwillende fraude is of misschien een stomme fout… terwijl studenten vaak weer lijken te denken dat je er lol in hebt om ze aan de schandpaal te nagelen. Integendeel dus.

Met deze activiteiten gaat momenteel een groot deel van mijn tijd heen. Ik merk dan vooral dat ik voor deze taak niet opgeleid ben: ik ben immers geen rechercheur. Het opmerken van een geval van fraude of plagiaat is vaak geen probleem, maar dan moet je dus nog bepalen of de beschuldiging terecht is. In de procedure die bij ons op school geldt moet je dan een student oproepen voor een persoonlijk gesprek, en daar begint vaak het gedonder. Studenten blijken er zeer bedreven in om een geloofwaardig verhaal op te hangen, en ik bezit niet de gave om leugens eenvoudig te onderscheiden van de waarheid.

Natuurlijk ben ik bekend met instrumenten als Ephorus, waarvoor ook onze school een licentie heeft. De opdrachten echter waar ik hier over praat, behelzen het maken van digitale producten: een website of een database. En hier biedt Ephorus nu juist geen ondersteuning voor.

Verder vind ik soms de procedure op onze instelling frustrerend. In principe constateert de docent de fraude, en geeft dat vervolgens door aan de examencommissie. In veel gevallen neemt deze het advies van de docent over. Een enkel geval van fraude leidt echter niet tot strafmaatregelen – pas wanneer je een tweede keer van fraude of plagiaat beschuldigd wordt kun je uitgesloten worden van één of meerdere kansen, tot maximaal een jaar.

Gezien dit systeem ben ik zelf geneigd ook in het geval van twijfel fraudegevallen door te geven aan de examencommissie. Immers, een eerste vergrijp blijft zonder gevolgen. De laatste tijd merk ik echter dat er meer gevallen zijn die ik niet aangeef bij de examencommissie, en ik twijfel of dat goed is. Ik heb echter niet de indruk dat er een erg duidelijke lijn is.

Wat vinden jullie? En zijn er tools die ook het opsporen van fraude bij databases en websites vergemakkelijken?


Van competentie naar leerdoel

24 februari 2009

Binnenkort hebben wij een teammiddag over toetsen. We werken er de laatste tijd hard aan om de kennis over toetsen omhoog te krikken. Dat gaat lukken, maar er is nog wel veel werk te verzetten. Middels deze teammiddag hopen wij de kennis bij het hele team over toetsen op een hoger plan te brengen.

Intussen proberen wij als toetscommissie verder te denken. Ik heb al eerder gemeld dat we, naast tentamens, ook breder na willen denken over beoordelingsformulieren. Omdat we tegelijkertijd ook bezig zijn met een herziening van de competenties, zou ik ook graag de link tussen competenties en toetsen strakker willen maken. Maar hoe? Is dit een taak voor de toetscommissie? Is dit iets voor een curriculum- en onderwijscommissie?

Ik ben erg nieuwsgierig naar hoe andere opleidingen dit aanpakken. Graag reacties!


Leerweg(on)afhankelijk toetsen

20 februari 2009

Met ingang van dit jaar hebben wij in de propedeuse gekozen om een aantal vakken niet gelijk te toetsen in de periode waarin ze worden gegeven. Het gaat hierbij alleen om vakken die over meerdere (aaneensluitende) perioden gegeven worden. Het maximaal aantal perioden is drie, en de vakken worden dan aan het eind van de laatste gegeven periode getoetst.

Bij invoering hebben we uiteraard uitgebreid nagedacht over de consequenties, en een aantal docenten waren niet voor. Ook ik zie nadelen, maar vakken gespreid toetsen schijnt hier niet te kunnen. Ik wil me daarom graag wat verder in deze materie verdiepen. Een eerste zoekopdracht op Google leverde nog niet erg veel op: een document van de HAN en iets op Surfgroepen. Er moet meer zijn.

Wie kan me helpen met meer achtergrondinformatie over deze materie?


Ingehaald door de realiteit

2 februari 2009

Ik had zo’n prachtig voornemen: ik zou dit jaar de module Websitebouw herzien. Bovendien zou ik jullie op dit blog getuige laten zijn van de aanpassingen. Het is helaas anders gelopen.

Ik heb namelijk een groot deel van vorige week vanwege mijn rug plat gelegen – en heb nu dus een flinke achterstand. Ik heb daarom besloten om het oude materiaal nog een jaar te hanteren, natuurlijk met een herziening hier en daar. Het is niet perfect, maar het is ook niet slecht. Het moet dus maar.

Bij het klaarleggen van het huidige materiaal kwam wel weer een aloud dilemma naar boven. Twee jaar geleden heb ik namelijk besloten om de studenten die deelnemen aan de practica te belonen. Aan het eind van de module maken de studenten namelijk een individuele website. Voor deze website kunnen ze ongeveer 30 punten scoren; 25,5 of minder punten is een onvoldoende. Dit lijkt streng, maar in principe weten de studenten vooraf aan welke eisen de website moet voldoen.

De beloningsstructuur steekt als volgt in elkaar: wanneer de studenten aan alle practica meedoen, krijgen ze twee zg. compensatiepunten. In de praktijk betekent dit dat hun website voldoende is vanaf 23,5 punten. Wanneer ze één practicum gemist hebben krijgen ze één compensatiepunt, twee of meer gemiste practica betekent geen compensatiepunten.

Het systeem verdient nu niet direct de schoonheidsprijs, maar ik vind het wel verdedigbaar. Deelname aan de practica is omhooggeschoten, en de resultaten ook. Toch is er ook veel kritiek. Zo zijn er collega’s die vinden dat dit systeem het HBO onwaardig is: we mogen toch van HBO-studenten verwachten dat ze zelfstandig genoeg zijn om zelf het belang van de lessen in te zien?

Waar ik nu nieuwsgierig naar ben is wat jullie van dit initiatief vinden. Is dit een goede manier om studenten bij het onderwijs te betrekken, of is dit te schools en betekent het gebrek aan interesse van mijn studenten dat mijn onderwijs niet goed genoeg is?