Dit is de derde blog in de serie Programmatisch toetsen door Christina Schouten. Lees hier de inleiding op de serie, de eerste blog Wat zijn datapunten? en de tweede blog Is een vast aantal datapunten nodig?
Saturatie
Highstake beslissingen over het leren van studenten worden binnen de context van programmatisch toetsen genomen op basis van veel informatie over dat leren. De beslissing wordt genomen wanneer er sprake is van saturatie: nieuwe datapunten voegen geen belangrijke informatie meer toe over het kennen en kunnen van de student (De Jong, Bok, Creemer & van der Vleuten, 2019; Schuwirth & Van der Vleuten, 2012). In de praktijk is dit het moment waarop de student ‘op kan gaan’ voor een beslissing.
Maar wat is er nodig om een robuust besluit te kunnen nemen? Met andere woorden: hoe ziet de gewenste rijkdom aan informatie er concreet uit? Welke informatie hebben beslissers in ieder geval nodig om tot zo’n besluit te komen? Er zijn verschillende overwegingen mogelijk bij het opstellen van deze richtlijnen of eisen (zie ook Biemond & Baartman, 2021).
Verscheidenheid in perspectieven
Wanneer er vele keren feedback is verkregen van eenzelfde opleider, is er onvoldoende informatie om een betrouwbaar oordeel te vellen. We missen hier een verscheidenheid aan perspectieven. Een student die studeert voor leraar krijgt bijvoorbeeld heel nuttige feedback over zijn functioneren in de praktijk van zijn werkplekbegeleider, de leraar van de klas. Over hetzelfde gedrag zou deze student heel andere, nuttige feedback kunnen krijgen van de leerlingen. Vanuit de lerarenopleiding kan ook aanvullende feedback gegeven worden, gericht op bruikbare theorieën waarmee het vertoonde gedrag verder kan worden uitgediept of onderbouwd. Al deze perspectieven dragen bij aan een breder beeld van de student en een betrouwbaardere beoordeling. Omdat er vanuit verschillende personen en/of systemen informatie verkregen is over de ontwikkeling van de student, ontstijg je de subjectiviteit die inherent aanwezig is.
Verscheidenheid in contexten
Daarnaast krijgen we zicht op de stabiliteit van het gewenste studentgedrag door dit gedrag in verschillende contexten zichtbaar te maken. Deze contexten kunnen variëren in hun complexiteit en kenmerken. Bijvoorbeeld: een student dient niet alleen gewenste handelingen adequaat uit te voeren bij een vriendelijke en verbaal vaardige cliënt met een eenvoudige hulpvraag. De student dient het gewenste gedrag ook te vertonen bij een ander type cliënt, een cliënt met een ingewikkelde hulpvraag of in een onverwachte situatie. In het vaststellen van de gewenste datapunten kun je dus de diversiteit aan feedbackgevers én contexten expliciteren.
Variatie in vormen
Maar dan zijn we er nog niet. Een datapunt kent een bepaalde vorm, denk bijvoorbeeld aan een verslaglegging. Eén enkele vorm geeft hoogstwaarschijnlijk nog onvoldoende beeld van het kennen en kunnen van de student. Bijvoorbeeld: een veelvuldig afgenomen kennistoets geeft inzicht in de kennis van een student maar niet in haar psychomotorische of sociale vaardigheden, professionele houding etc. Ook zijn er studenten die hun kwaliteiten goed naar voren kunnen brengen in een dossier, echter is dit niet representatief voor het gedrag van de student in het werkveld (of andersom).
Gelijke monniken…
Studenten kunnen verschillen in het aantal datapunten dat nodig is om tot een beoordeling over te gaan. Dit is afhankelijk van hun ontwikkeling. Maar voor alle studenten geldt dat saturatie een noodzakelijk geachte mix van datapunten kent. Van saturatie is dus sprake wanneer we voldoende informatie hebben verzameld en er een bepaalde mate aan perspectieven, feedbackgevers en toetsvormen aanwezig is. Want voor alle studenten geldt dat de zak-/slaag beslissing robuust dient te zijn.
Literatuur
- Biemond, L. & Baartman, L. (2021). Backward design bij programmatisch toetsen. Examens (2), 41-47.
- De Jong, L., Bok, H., Kremer, W. & Van der Vleuten, C. (2019). Programmatic assessment: Can we provide evidence for saturation of information?, Medical Teacher (41), 678-682.