Ontwerpkeuzes bij programmatisch toetsen

Ontwerpkeuzes bij programmatisch toetsen

Vanuit het lectoraat Beroepsonderwijs van de Hogeschool Utrecht is in samenwerking met het lectoraat Eigentijds Beoordelen en Beslissen van de Hogeschool Arnhem en Nijmegen een onderzoek uitgevoerd naar ontwerpkeuzes bij programmatisch toetsen. Dit onderzoek is met financiering vanuit een NRO Overzichtsstudies beurs tot stand gekomen. Bas Agricola, Marlies de Vos, Liesbeth Baartman en Tamara van Schilt-Mol onderzochten de ontwerpkeuzes die hbo-opleidingen maken wanneer zij programmatisch toetsen implementeren.

Een groeiend aantal hbo-opleidingen in Nederland heeft programmatisch toetsen geïmplementeerd als een nieuwe benadering van toetsen (Baartman et al, 2022). Vanuit de literatuur kennen we de theoretische principes die de basis kunnen vormen als opleidingen hun curriculum gaan ontwerpen met het concept van programmatisch toetsen (zie Tabel 1).

Tabel 1 Twaalf principes van programmatisch toetsen (Heeneman et al., 2021)
1	Alle toetsvormen zijn slechts datapunten.
2	Elk datapunt wordt geoptimaliseerd voor leren door betekenisvolle feedback te verstrekken.
3	Zak/slaag beslissingen worden niet genomen op basis van een enkel datapunt.
4	Er is een mix aan verschillende soorten datapunten.
5	De keuze voor datapunten is gebaseerd op de passendheid bij de beoogde leeropbrengsten.
6	Een low-high-stakes continuüm vervangt het onderscheid tussen formatief en summatief.
7	Hoe zwaarder de beslissing, hoe meer datapunten nodig zijn als basis voor die beslissing.
8	Informatie uit datapunten wordt geaggregeerd naar de leeropbrengsten waarover een beslissing wordt genomen.
9	High-stakes beslissingen zijn holistisch van aard en worden genomen op een robuuste wijze.
10	Tussentijdse medium-stakes beslissingen hebben als doel voortgang te bespreken en vervolgstappen in leren te bepalen.
11	Studenten hebben regelmatig gesprekken met docenten waarin verzamelde datapunten worden besproken en geanalyseerd.
12	Het eigenaarschap van studenten wordt bevorderd doordat studenten eigen keuzes maken voor vervolgstappen in leren, gebaseerd op datapunten.

Naast de theorie die we vanuit de literatuur kennen over programmatisch toetsen is er ook veel onderzoek gedaan naar het ontwerpen van leeromgevingen (Bouw et al, 2021). In dit project hebben we de literatuur van programmatisch toetsen gecombineerd met de literatuur over het ontwerpen van leeromgevingen. Zo laat onderzoek van Bouw et al. (2021) naar het ontwerpen van leeromgevingen zien dat je verschillende ontwerpperspectieven kunt innemen als je een leeromgeving gaat ontwerpen en dus ook een leeromgeving waarin programmatisch toetsen centraal staat.

Echter in onderzoek naar en publicaties over programmatisch toetsen wordt dit ontwerpperspectief niet vaak expliciet beschreven. Hierdoor is er in de literatuur en in de praktijk weinig inzicht in welke ontwerpkeuzes worden gemaakt bij het implementeren van programmatisch toetsen. Dat is dan ook precies het doel geweest van dit project.

Vanuit de praktijk weten we dat opleidingen op basis van de theoretische principes van programmatisch toetsen heel veel verschillende specifieke ontwerpkeuzes maken. Die ontwerpkeuzes maken opleidingen afhankelijk van hun eigen context, bijvoorbeeld passend bij hun eigen studentpopulatie of bij hun eigen beroepsdomein. In ons onderzoek wilden we inzicht geven in die verschillende ontwerpkeuzes die hbo-opleidingen maken bij het implementeren van programmatisch toetsen.

We hebben op basis van 19 praktijkpublicaties – waarin 19 hbo opleidingen beschrijven hoe zij de principes van programmatisch toepasten – hun gemaakte ontwerpkeuzes onderzocht. We vonden twee soorten ontwerpkeuzes. Aan de ene kant maakten alle opleidingen zogenaamde ‘algemene’ ontwerpkeuzes. Keuzes die alle opleidingen maken die programmatisch toetsen implementeren. Een voorbeeld van zo’n algemene ontwerpkeuze is dat alle opleidingen een ruggengraat van leeruitkomsten formuleerden in hun programmatisch curriculum.

Naast de ‘algemene’ ontwerpkeuzes vonden wij dat deze opleidingen 11 ‘specifieke’ ontwerpkeuzes maakten. In die ‘specifieke’ ontwerpkeuzes verschilden opleidingen juist heel sterk. Het onderzoeksrapport bespreekt de 11 ontwerpkeuzes uitgebreid (Agricola et al, 2024). In Tabel 2 kun je ze overzichtelijk maar beknopt teruglezen. Elk van deze keuzes heeft diverse benaderingen en implicaties die in het rapport terugkomen.

Tabel 2 Elf Ontwerpkeuzes in Programmatisch Toetsen (Agricola et al, 2024)
1	Er zijn alleen vaste datapunten in het portfolio of er is ook gelegenheid voor vrije datapunten
2	Alle feedbackperspectieven zijn vastgelegd of studenten kiezen zelf de feedbackperspectieven
3	De inlevermomenten voor feedback liggen vast of de inlevermomenten zijn vrij gelaten
4	Er zijn wel of geen self-assessments als datapunt geprogrammeerd
5	Kennis wordt wel of niet als datapunt geprogrammeerd
6	Er is een feedbackformulier dat verschilt per datapunt of het feedbackformulier is hetzelfde voor alle datapunten
7	Er is een medium-stakes beslissing ingericht om alleen de ontwikkeling van de student in kaart te brengen of om een beslissing te nemen (bijv. over remediering of go/no go beslissing)
8	Tijdens de high-stakes beslissing wordt elke leeruitkomst separaat beoordeeld of worden de leeruitkomsten als geheel holistisch beoordeeld
9	Tijdens high-stakes beslissing wordt naast het portfolio wel of niet een prestatie van de student (cgi en/of presentatie) meegewogen
10	De docent die het leerproces begeleidt (bv mentor, coach, slb-er) heeft wel of geen rol in de high-stakes beslissing
11	De high-stakes beslissingen vinden elke onderwijsperiode plaats (kwartaal) of elk semester of elk jaar

In het tweede deel van het project en onderzoek wilden we ook graag weten welke overwegingen opleidingen hadden voor de ontwerpkeuzes die ze maakten. In de 19 praktijkpublicaties konden we die overwegingen niet teruglezen. Vandaar dat we met vijf opleidingen een diepte-interview hebben gehouden om hun argumenten op tafel te krijgen voor de ontwerpkeuzes die ze hadden gemaakt. Naast deze overwegingen stonden wij ook stil bij de ervaringen die de opleidingen met deze ontwerpkeuzes al hadden gemaakt en of dit al weer had geleid tot herontwerpkeuzes. In het rapport zijn vijf uitgebreide casusbeschrijvingen te lezen met een rijke beschrijving van de ontwerpkeuzes, onderliggende overwegingen en praktijkervaringen met de gemaakte ontwerpkeuzes.

In het rapport hebben we uiteindelijk praktische implicaties voor curriculumontwerp beschreven voor de 11 ontwerpkeuzes, waarbij de overwegingen die opleidingen kunnen gebruiken bij het implementeren van programmatisch toetsen worden benadrukt. Bij de praktische implicaties kun je bijvoorbeeld denken aan het bevorderen van verantwoordelijkheid bij studenten of het vinden van de juiste balans tussen flexibiliteit en structuur.

Ons onderzoek en rapport biedt inzichten in de complexiteit van programmatisch toetsen en de verschillende overwegingen die worden gemaakt bij het ontwerpen van dit onderwijsconcept. Het benadrukt het belang van het afstemmen van ontwerpkeuzes op de specifieke behoeften en doelen van elke opleiding. Mocht je meer willen lezen dan kun je de projectwebsite bezoeken waar ook de 11 ontwerpkeuzes en het onderzoeksrapport zijn te vinden. https://www.hu.nl/onderzoek/projecten/naar-een-nieuwe-balans-in-toetsfuncties

Bij vragen kun je Bas Agricola benaderen: bas.agricola@hu.nl

Programmatische leestips:

Agricola, B.T., De Vos, M., Baartman, L., & Van Schilt-Mol, T. (2024). Naar een nieuwe balans in toetsfuncties: van formatief en summatief naar een continuüm van beslissingen. [NRO Overzichtsstudies Onderzoeksrapport]. Hogeschool Utrecht, Utrecht. https://www.hu.nl/onderzoek/publicaties/naar-een-nieuwe–balans-in-toetsfuncties-3

Baartman, L., & Van Schilt-Mol, T. (2024). Programmatisch toetsen: een verdieping. Inspiratie vanuit theorie en praktijk. Boom, Amsterdam.

Baartman, L., Van Schilt-Mol, T., & Van Der Vleuten, C. (2022) Programmatic Assessment Design Choices in Nine Programs in Higher Education. In Frontiers in Education (p. 738). Frontiers.

Bouw, E., Zitter, I., & De Bruijn, E. (2021). Designable elements of integrative learning environments at the boundary of school and work: a multiple case study. Learning Environments Research, 24(3), 487-517.

Heeneman, S., de Jong, L., Dawson, L., Wilkinson, T., Ryan, A., Tait, G., Rice, N., Torre, D., Freeman, A., & van der Vleuten, C. (2021). Ottawa 2020 consensus statement for programmatic assessment–1. Agreement on the principles. Medical Teacher, 43(10), 1139-1148.

De afbeelding bovenaan de pagina is gegenereerd door een AI-tool genaamd Fyrefly.