Dit is de zevende blog in de serie Programmatisch toetsen door Christina Schouten. Lees hier de inleiding op de serie, de eerste blog Wat zijn datapunten? , de tweede blog Is een vast aantal datapunten nodig? , de derde blog Hoe nemen we een robuust besluit? en de vierde blog Hoe kunnen we studenten helpen goed om te gaan met feedback deel 1 , Hoe kunnen we studenten helpen goed om te gaan met feedback deel 2 en Programmatisch toetsen: waarom zou je?
Programmatisch toetsen heeft, in de vorm zoals we het nu kennen, het licht gezien in de opleiding Geneeskunde van de Universiteit Maastricht. Daar worden vaardigheden programmatisch getoetst. Kennis wordt echter afzonderlijk beoordeeld met behulp van een voortgangstoets, de zogenaamde Interuniversitaire Voortgangstoets Geneeskunde (Molkenboer, 2015). Dit lijkt logisch: vaardigheden worden op verschillende plaatsen en contexten getoond en hierop kan feedback worden gegeven door diverse betrokkenen. Zo kunnen opleiders van de werkplek en de opleiding, collega’s, medestudenten en patiënten aangeven hoe zij het handelen van de arts-in-opleiding ervaren. Deze diverse perspectieven verrijken de beslissing die op een bepaald moment wordt genomen. Met kennis lijkt dit minder voor de hand liggend: slechts een aantal experts kunnen beoordelen of de arts-in-opleiding de relevant geachte kennis bezit. Ook is het minder eenvoudig de kennis te meten. Zo kun je bijvoorbeeld de mate van kennis niet altijd afleiden uit een observatie of kan een patiënt niet goed inschatten of de arts-in-opleiding de juiste kennis bezit. Kennis programmatisch toetsen lijkt dus lastig. Veel opleidingen vragen zich daarom af of dit wenselijk of zelfs wel mogelijk is.
Kennistoets als datapunt
Om hierop een antwoord te geven is het goed eens te kijken bij opleidingen die ervoor hebben gekozen kennis wél programmatisch te toetsen. In dat geval is informatie over de mate waarin een student kennis bezit een datapunt Er wordt dus geen zak-/slaagbeslissing genomen op basis van bijvoorbeeld één schriftelijke toets. De uitkomst van zo’n toets maakt wel onderdeel uit van de beslissing maar het besluit wordt er dus niet volledig door bepaald.
Leren vàn de toets
Bij de bacheloropleiding Ergotherapie van Hogeschool Arnhem Nijmegen (Baartman, Van Schilt-Mol en Van der Vleuten, 2017) streeft men ernaar de toetsing integraal onderdeel te laten zijn van het onderwijs en leren. Ook een kennistoets kan bijdragen aan het leren van studenten en men is van mening dat deze hier dus niet los van moet worden gekoppeld.
Cees van der Vleuten geeft aan dat, wanneer je kennis afzonderlijk toetst, programmatisch toetsen maar deels wordt geïmplementeerd. Dit doet afbreuk aan de gewenste feedbackcultuur (C. Van der Vleuten, mail, 22-3-2022). Studenten blijven namelijk toch leren vóór de toets, wanneer het kennis betreft. En juist bij programmatisch toetsen wordt het leren ván de toets nagestreefd.
Betrouwbaar vaststellen van het kennisniveau
Het is lastig de betrouwbaarheid van de beoordeling te borgen wanneer deze is gebaseerd op een enkele toetsvorm. Zo kan er sprake zijn van allerlei ongewenste beoordelingseffecten zoals het HALO-effect (Joosten & Ten-Brinke, 2015) en is het een momentopname.
Daarnaast wordt de toets door één persoon beoordeeld, wat bijdraagt aan een verhoogde subjectiviteit van de beoordeling. Een beslissing die op het resultaat van meerdere kennistoetsen is gebaseerd, is daarom betrouwbaarder van aard. Bij programmatisch toetsen wordt hier wel gesproken over een robuust besluit. Deze redenatie lijkt ook te worden gevolgd door de opleiding Communicatie van de Hogeschool Utrecht. Daar wordt gebruik gemaakt van verschillende kennistoetsen, welke fungeren als datapunten. Bij de master Ontwerpen van eigentijds leren (Baartman et.al., 2017) wordt heel bewust een variatie aan toetsvormen nagestreefd. Hiermee wil men een rijk beeld van het presteren van de student verkrijgen. Je kunt bijvoorbeeld denken aan open vragen tentamens, een creatief product waarin theorie wordt behandeld, werken met casuïstiek en multiple choice toetsen.
Integraal en holistisch toetsen van kennis
Een andere insteek is dat een high stake beslissing wordt genomen over kennis én over toepassing van deze kennis. In de beslissing wordt dus mede vastgesteld of studenten de betreffende kennis weten te integreren in hun handelen. Studenten kunnen bijvoorbeeld in een beroepsproduct laten zien dat zij de kennis kunnen toepassen. Ook onderbouwingen, analyses en reflecties lenen zich hiervoor. Uiteraard kunnen voor het vaststellen van het kennisniveau ook schriftelijke tentamens worden afgenomen.
Wanneer holistisch wordt getoetst kan kennis onderdeel zijn van het grotere geheel. Daarnaast kunnen bijvoorbeeld houding en vaardigheden aspecten zijn waarover het besluit wordt genomen. De high stake beslissing is dan gebaseerd op het geheel aan kennis, vaardigheden, houding en integratie hiertussen. In deze situaties spreken we meestal over leeruitkomsten, competenties. Het uitgangspunt is een compleet beeld te krijgen van het kennen en kunnen van studenten ten aanzien van bepaalde beroepstaken. Vanzelfsprekend zijn hier verschillende toetsvormen, contexten en perspectieven nodig om een robuust besluit te kunnen nemen.
Voortgangstoets
Duidelijk mag zijn dat studenten via verschillende toetsvormen kunnen laten zien welke en in hoeverre zij kennis beheersen. Een toetsvorm waar in toenemende mate belangstelling voor is, is een ‘voortgangstoets’. Molkenboer (2015) definieert een voortgangstoets als volgt:
Een voortgangstoets is een kennisgerichte toets op basis van gesloten vragen, gericht op het meten van eindkwalificaties over een aantal kennisdomeinen van een opleiding, die regelmatig wordt afgenomen, door alle studenten van alle leerjaren tegelijk, over de betreffende kennisdomeinen van alle leerjaren (p. 277).
Deze definitie is afgeleid van het ontwerp van de voortgangstoets aan de medische opleiding in Maastricht. Een voordeel van een voortgangstoets is het herhalend karakter. Hierdoor blijft de leerstof voor de student over de jaren heen in beeld, beklijft de leerstof beter en geeft het zicht op de ontwikkeling van de student gedurende diens opleiding.
Alternatieve voortgangstoets
Bij Instituut Archimedes van Hogeschool Utrecht wordt momenteel geëxperimenteerd met een andere vorm van voortgangstoetsen. Daar is sprake van een opbouw van kennis door de jaren heen, waarbij de basale kennis uit eerdere jaren terug blijft komen en telkens 
wordt uitgebreid met complexere theorie. Alhoewel ervaringen met de voortgangstoets bij de opleiding Geneeskunde hier niet op wijzen, is hiervoor is gekozen omdat gevreesd wordt dat een voortgangstoets waarin de volledige stof is opgenomen studenten afschrikt. Studenten kennen in het begin van hun studie een groot deel van de theorie nog niet en het zou ontmoedigend kunnen werken wanneer zij hier vroeg in de opleiding mee worden geconfronteerd. Ook bij andere lerarenopleidingen zijn voornemens om kennis te toetsen middels een soortgelijke variatie op de voortgangstoets. Overigens wordt er bij Instituut Archimedes niet meer gesproken over een toets maar over een scan. De term toets wordt sterk geassocieerd met een schriftelijk tentamen waarop een beslissing wordt genomen. De term scan benadrukt meer het karakter van de toetsvorm als datapunt.
In opleidingen wordt er verschillend omgegaan met het resultaat van de voortgangstoets. Bij geneeskunde wordt deze gezien worden als een summatieve toets dat op zichzelf staat. Bij instituut Archimedes maar ook bij de vierjarige Graduate entry programma van Geneeskunde wordt deze als datapunt meegenomen in de high stake beslissing. Wanneer het leren ván de toets wordt benadrukt kan een opleiding ook wat betreft de voortgangstoets studenten vragen een reflectie te schrijven op het resultaat en een vervolgactie laten plannen.
En andere mogelijkheden…
Er zijn dus verschillende redenen om ook kennis programmatisch te toetsen. Hoe de kennisbeheersing in beeld wordt gebracht, dient in lijn te zijn met de visie van de opleiding. Ik sluit me aan bij het advies van Cees van der Vleuten om vooral creatief te zijn in het vormgeven van datapunten waarmee het kennisniveau inzichtelijk wordt gemaakt. Ook de opleiding Geneeskunde aan de Universiteit van Maastricht zal kennis in de nabije toekomst programmatisch toetsen. Daar ontwikkelt men “anytime assessments”: studenten kunnen zelf kiezen wanneer en hoe vaak zij getoetst worden (C. Van der Vleuten, mail, 22-3-2022). Er is dus veel mogelijk.
Bronnen
- Baartman, L., Van Schilt-Mol, T. & Van der Vleuten, C. (2021). Programmatisch toetsen. Voorbeelden en ervaringen uit de praktijk. Amsterdam: Houten.
- Joosten & Ten-Brinke (2015), Kwaliteit van toetsen. In Sluijsmans, D., Joosten-ten Brinke, D., & Van Schilt-Mol, T. (Red.), Kwaliteit van toetsing onder de loep (p. 37-54). Antwerpen: Garant.
- Molkenboer, H. (2015). Toetsen volgens de toetscyclus. Deel 1. Enschede: Bureau voor Toetsen & Beoordelen.