Low stakes, medium stakes en high stakes beoordelingen bij Diergeneeskunde
Samen met Tamara van Schilt (HAN) en Cees van der Vleuten (Universiteit Maastricht) ben ik, (Liesbeth Baartman, HU) bezig met het samenstellen van een boek met praktijkvoorbeelden van opleidingen in het hoger onderwijs die werken volgens de principes van programmatisch toetsen. Het idee voor dit boek ontstond doordat Tamara en ikzelf veel vragen krijgen van opleidingen die overwegen hun toetsing meer programmatisch in te richten. Dit zijn vaak vragen zoals: “maar hoe doe ik dat dan concreet in de praktijk, kan ik ergens gaan kijken, heb je een goed voorbeeld voor mij?”
Openbare interviews
Voor het boek interviewen we ontwikkelaars / docenten van opleidingen die ervaring hebben opgedaan met programmatisch toetsen. De eerste interviews vonden we zo interessant en deze gaven zoveel concrete voorbeelden en handvatten, dat we besloten zo’n interview openbaar te maken. Dat wil zeggen: iedereen mag komen luisteren naar het interview. Het interview wordt opgenomen voor het boek, en na afloop van het “officiële interviewgedeelte” mogen alle aanwezigen hun prangende vragen stellen. Op 14 mei jongstleden vond het openbaar interview plaats met afgevaardigden van de opleiding Diergeneeskunde van de Universiteit Utrecht.
Programmatisch toetsen bij Diergeneeskunde
De opleiding Diergeneeskunde van de UU heeft programmatisch toetsen ingevoerd bij de coschappen, het werkplekleren van de studenten. In 2010 stond een grootschalige curriculumherziening gepland en de opleiding heeft dit moment aangegrepen om kritisch te kijken naar de toenmalige manier van toetsen tijdens de coschappen. Een belangrijk punt van onvrede was dat er weinig samenhang bestond tussen de verschillende coschappen. Studenten namen hun feedback en leerpunten nauwelijks mee van het ene co-schap naar het volgende coschap. Ook bestond er een impliciet gevoel bij docenten en studenten dat er “iets niet klopte”. Docenten werkten soms een hele dag met een student tijdens de coschappen en waren erg tevreden, terwijl diezelfde student een onvoldoende haalde op de formele toetsen. Met programmatisch toetsen wilde de opleiding daarom ook een meer rechtvaardige manier van toetsen bereiken, voor het gevoel van docenten en studenten.
Inrichting toetsprogramma
Heel kort gezegd kent het toetsprogramma low stakes, medium stakes en high stakes beoordelingsmomenten. Bij al die beoordelingsmomenten wordt een formulier gebruikt waarop per competentiedomein beschrijvingen staan op een 5-puntsschaal (“milestones”), waarbij 5 het afstudeerniveau is (functioneren als zelfstandig dierenarts).
- Er zijn veel low stakes momenten, die geen zak-slaag beslissing zijn maar de student feedback bieden op zijn functioneren. Zo neemt een student bijvoorbeeld een anamnese af bij een patiënt-eigenaar, bijvoorbeeld de eigenaar van een huisdier. In de multisource feedback formulieren krijgt de student feedback van patiënt-eigenaren, docenten en medestudenten.
- Dan zijn er de medium stakes beoordelingsmomenten. Dit is een halfjaarlijks gesprek met de tutor, waarvoor de student een POP schrijft met daarin een reflectie op alle gekregen feedback, de eigen ontwikkeling op de milestones, en de eigen leerdoelen voor het komende half jaar.
- De opleiding kent twee high stakes beoordelingsmomenten, aan het einde van het 2e jaar en aan het einde van het 3e jaar. Voor het high stakes beoordelingsmoment worden alle low stakes en medium stakes beoordelingen verzameld in een portfolio. Het portfolio gaat naar een beoordelingscommissie en twee onafhankelijke beoordelaars beoordelen het porfolio. Mochten zij het niet met elkaar eens zijn, dan wordt een 3e beoordelaar ingeschakeld en eventueel wordt het portfolio besproken in de vergadering van de beoordelingscommissie. In de praktijk zijn de beoordelaars het in 86% van de portfolio’s met elkaar eens.
Studentervaringen
Het idee achter het toetsprogramma van de opleiding Diergeneeskunde is dat studenten actief feedback gaan zoeken. Goede studenten blijken dit te doen omdat ze graag willen leren. Deze studenten gebruiken de feedbackformulieren meermaals en laten ze door anderen invullen. Laag presenterende studenten vragen de feedback meer “omdat het moet”. Zij houden zich meer aan de norm van het aantal verplichte feedbackformulieren in het portfolio.
In het begin hadden de studenten moeite met de low-stakes beoordelingen. Het idee was: low-stakes heeft geen consequenties, je krijgt feedback en daar kun je wat van leren. Maar de studenten ervaarden de low-stakes beoordelingen snel als summatief: dit komt in mijn portfolio en het gaat er nooit meer uit. De opleiding Diergeneeskunde geeft daarom trainingen aan eerstejaars master studenten, om het idee achter het toetsprogramma uit te leggen.
Veranderproces naar programmatisch toetsen
De opleiding Diergeneeskunde is in 2009 begonnen met het opzetten van een werkgroep. Voor die werkgroep werden naast mensen met onderwijskundige expertise, bewust ervaren senior clinici gevraagd uit elke kliniek; mensen tegen wie werd opgekeken. Deze mensen hebben samen het toetsprogramma op papier uitgewerkt, onderling veel gesproken en weerstanden overwonnen. Zij werden eigenaar van het systeem en konden in hun eigen kliniek de boodschap verkondigen.
Natuurlijk waren er ook hobbels. De overige docenten kregen trainingen die soms werden ervaren als “over ons heen uitgerold, kritische vragen stellen mocht niet”. De opleiding heeft hiervan geleerd dat het voor alle betrokkenen cruciaal is om het proces van verandering zelf door te maken. Je moet de cultuurverandering onder docenten en studenten niet onderschatten, hier tijd en ruimte voor nemen en altijd blijven openstaan voor kritiek.
Voor de examencommissie was het heel belangrijk dat de procedures rondom het high-stakes beoordelingsmoment glashelder waren vastgelegd. Denk aan: wie zijn de beoordelaars in de beoordelingscommissie, welke trainingen hebben zij gehad, hoe gaan zij te werk bij het beoordelen, hoe worden lastige portfolio’s in vergaderingen besproken, enzovoort.
Boek over programmatisch toetsen
Veel meer informatie over het toetsprogramma, de keuzes hierachter, de weg ernaartoe en de werking in de praktijk komen terug in het boek! Ken je nog opleidingen die ook werken volgens (enkele) principes van programmatisch toetsen, dan horen we dit graag. We zijn nog steeds op zoek naar praktijkvoorbeelden voor het boek! Neem contact op met Liesbeth Baartman: liesbeth.baartman@hu.nl.
Wil je meer weten over het toetsprogramma bij de opleiding Master Diergeneeskunde van de Universiteit Utrecht? Neem contact op met Harold Bok: g.j.bok@uu.nl.