Dit is de zesde blog in de serie Programmatisch toetsen door Christina Schouten. Lees hier de inleiding op de serie, de eerste blog Wat zijn datapunten? , de tweede blog Is een vast aantal datapunten nodig? , de derde blog Hoe nemen we een robuust besluit? en de vierde blog Hoe kunnen we studenten helpen goed om te gaan met feedback deel 1 en Hoe kunnen we studenten helpen goed om te gaan met feedback deel 2.
Programmatisch toetsen doe je niet ‘even tussen neus en lippen door’, zoals te lezen is in diverse blogs zoals van toetsrevolutie en Leren van toetsen. Het vraagt tijd, aandacht en lef in zowel ontwerp, implementatie als doorontwikkeling. En toch gaan steeds meer HBO en MBO opleidingen ertoe over. Er zijn een aantal redenen te noemen waarom deze opleidingen voor programmatisch toetsen kiezen. Deze lopen uiteen van het studentgedrag dat we met de toetsing willen uitlokken tot het verhogen van de kwaliteit van de toetsing. Hieronder ga ik in op een aantal van deze redenen.
Leren vàn toetsen
Over het algemeen wordt het leren afgesloten met een toets. Hierbij knippen
we het onderwijs op in stukjes: een onderwijsperiode wordt afgesloten met een toets, waarop weer een nieuwe periode onderwijs met een afrondende toets volgt. Dit heeft tot gevolg dat de studenten in hun leerproces zich richten op de toets: wat wordt er gevraagd, wat wil de docent zien of horen? Met rubrics en andere beoordelingsmodellen bieden we de studenten in dit proces houvast en transparantie, zodat zij in staat zijn zich goed op de toets voor te bereiden. Hiermee onderstrepen we gelijktijdig het belang van de toetsing. De toets staat centraal in de focus van student én docent. Dit wordt ook wel ‘leren voor de toets’ (learning for assessments) genoemd. In de praktijk wordt ervaren dat leren voor de toets de intrinsieke motivatie weinig bevordert en een beperkt leereffect heeft. Het leidt tot de verfoeide zesjes-cultuur: als de toets gehaald is, zijn studenten tevreden. Ze kunnen immers verder….
Door programmatisch te toetsen wordt het leren ván een toets meer benadrukt. Op basis van beoordelingen of feedback, de zogenaamde low-stake momenten, kunnen studenten en docenten zien wat de student al kan én wat nog moet worden geleerd. De feedback fungeert als een katalysator voor het verdere leren van de student, waarmee toetsing integraal onderdeel uitmaakt van het onderwijsproces. De focus verschuift van het behalen van toetsen (vinken) naar de ontwikkeling van de student (vonken) (Schuwirth & Van der Vleuten, 2011).
Flexibilisering en gepersonaliseerd leren
Wanneer we meer inzicht krijgen in waar studenten staan en wat zij nodig hebben, zijn opleidingen in staat een passende leerroute aan te bieden. Het geeft handvatten om flexibilisering en personalisering concreet in te vullen. De gegeven feedback aan studenten kan worden geanalyseerd en leiden tot een gedifferentieerd onderwijsaanbod en persoonlijke leerroutes. Het kan nog persoonlijker. Studenten formuleren naar aanleiding van verkregen feedback hun eigen leervragen. Het onderwijsaanbod wordt vervolgens met studenten, op grond van deze leervragen, samengesteld of ontwikkeld.
Studenten en docenten dragen dan gezamenlijk zorg voor een relevant onderwijsaanbod.
Betekenisvol onderwijs en holistisch toetsen
Er is wijdverspreid de wens om betekenisvol onderwijs aan te bieden. Dit impliceert dat studenten in staat worden gesteld diverse aspecten uit het curriculum samen te brengen of te integreren. Om dit mogelijk te maken werken opleidingen bijvoorbeeld met grotere onderwijseenheden, worden verschillende vakken geïntegreerd aangeboden, integreert men werkplekleren met opleidingsleren of wordt vraaggestuurd opgeleid. Dit is tegengesteld aan het terugbrengen van het curriculum tot kleine, op zichzelf staande onderdelen of vakken, waarbij de student zelf de transfer van het geleerde naar de praktijk of tussen verschillende vakken moet maken.
Bij betekenisvol onderwijs past een holistische benadering van toetsen. Hierbij vindt de beoordeling plaats op basis van de totale indruk die men heeft van het kennen en kunnen van de student. Deelaspecten bieden informatie om tot een beoordeling over het geheel te komen, waarbij geldt dat de som meer is dan de onderliggende delen. Bij programmatisch toetsen wordt ook gebruik gemaakt van een holistische benadering: de beslissing of de student iets heeft behaald, zoals een aantal ec’s of de propedeuse, hangt af van de inzichten die alle datapunten tezamen opleveren (Van der Vleuten, Schut en Heeneman, 2017).
Kwaliteit van de beoordeling
Van veel toetsen kunnen we stellen dat ze beperkt van aard zijn.
Zo is er vaak sprake van een momentopname. Een student kan op een schriftelijk tentamen slechter presteren omdat zij zich op dat moment niet lekker voelt, last heeft van faalangst of afgeleid is door de vraag of zij de studentenkamer krijgt waar ze zich net voor heeft ingeschreven.
Daarnaast past de gekozen toetsvorm niet altijd even goed bij de doelen die getoetst worden. Een MC-tentamen dient bijvoorbeeld reproductie, inzicht en toepassing van de gewezen stof te toetsen, maar deze toetsvorm leent zich wellicht beter om reproductie en inzicht te toetsen dan het toepassen.
Van Straetmans (in Van Berkel, Bax en Joosten-ten Brinke, 2017) bestudeert diverse toetsvormen voor de beoordeling van het functioneren in de beroepspraktijk. Een voorbeeld is de ‘mystery guest’, waarbij het handelen van de student in de praktijk getoetst wordt doordat de beoordelaar zich voordoet als een cliënt of klant. De student in kwestie is zich niet bewust dat hij getoetst wordt. Alhoewel deze toetsvorm veelbelovend lijkt, kan men kanttekens plaatsen bij de waarde van de observatie op dat moment. Het gevaar is bijvoorbeeld dat de situatie waar de student in wordt beoordeeld onvoldoende zicht geeft op alle te toetsen competenties. Van Streatmans concludeert: ‘representativiteit behelst meer dan natuurgetrouwheid. Om die reden vraagt valide beoordeling van een competentie om een goed doordacht en systematisch ontworpen assessmentprogramma’ (p. 192).
Ook wordt een toets vaak door één persoon beoordeeld. In vele studies is aangetoond dat de kans op een subjectieve beoordeling groot is, denk bijvoorbeeld aan het HALO-of Horn effect, projectie of gevoelens van sympathie die onbewust een rol kunnen spelen in de beoordeling (Sluijsmans, Joosten-ten Brinke, Van Schilt-Mol, 2015).
Om tot een betrouwbaarder oordeel of besluit te komen, is dus een variatie in toetsvormen, toetsmomenten en beoordelaars van belang (Baartman, 2008; Sluijter, 2017). Hieraan kun je binnen programmatisch toetsen tegemoet komen door bewust te kiezen voor een variatie aan datapunten, feedbackgevers en contexten. Een bijkomend voordeel is dat zowel de beoordeling van opleiders uit de praktijk als van opleiders uit het opleidingsinstituut meegenomen kunnen worden in de beslissing.
Kiezen voor programmatisch toetsen
Een keuze voor programmatisch toetsen zou samen moeten gaan met een daarbij passende visie op leren en onderwijs. Bovenstaande redenen kunnen meegenomen worden in de overweging om al dan niet hiertoe over te gaan. Wanneer een opleiding ervoor kiest programmatisch te toetsen wijzigt niet alleen de toetsing, maar ook het onderwijs en het leren van de student. Het is daarom een beslissing die niet licht dient te worden gemaakt.
Bronnen
Baartman, L. (2008). Assessing the assessment. Development and use of quality criteria for competence assessment programmes. Z.P.
Baartman, L., Van Schilt-Mol, T., Van der Vleuten, C. (2021). Programmatisch toetsen. Voorbeelden en ervaringen uit de praktijk. Amsterdam: Houten.
Van Berkel, Bax, Joosten-ten Brinke (2017). Toetsen in het hoger onderwijs. Door. Houten: Bohn Stafleu van Loghum.
Schuwirth, L., & Van der Vleuten, C. (2011). Programmatic assessment: From assessment of learning to assessment for learning. Medical Teacher -33, p 478-485.
Sluijter, C. (2017). Beoordelen van beroepsbekwaamheid. Uitgave Cito: toetswijzer.
Sluijsmans, D., Joosten-ten Brinke, D., Van Schilt-Mol, T. (red), 2015. Kwaliteit van toetsing onder de loep. Handvatten om de kwaliteit van toetsing in het hoger onderwijs te analyseren, verbeteren en borgen. Apeldoorn: Garant.