Een beoordelingsformulier (voor beroepsproducten/ handelingstoetsen maar ook voor bijvoorbeeld een assessment) heeft verschillende functies:
- zorgen voor transparantie: de kandidaat/student weet waarop hij wordt beoordeeld
- waarborgen van de validiteit: inzichtelijk is wat er wordt getoetst: wat is de relatie tussen de criteria en de leeruitkomsten? Zie ook ’toetsmatrijs’ hierover
- bevorderen van de betrouwbaarheid: ieder beroepsproduct/ handeling/ kandidaat wordt op dezelfde manier, met dezelfde criteria beoordeeld.
- bijdragen aan het leren: inhoudelijke feedback.
Bij het ontwerpen van een beoordelingsformulier moet je beslissen
- of je holistisch of analytisch gaat beoordelen. Elke benadering kent zijn voor- en nadelen.
- of je gebruik wil maken van een rubric.
- met welke criteria je de leerdoelen/leeruitkomsten gaat beoordelen
- waar de cesuur ligt.
Holistisch versus analytisch beoordelen
Holistisch beoordelen: de beoordeling vindt plaats op basis van de totale indruk. Voordeel: veel ruimte voor het waarderen van hogere cognitieve prestaties en complexe competenties. Nadeel: gevaar van het optreden van beoordelaarseffecten. Daarnaast ook minder transparantie, onduidelijkheid bij de kandidaat. Bevordert meer valide toetsing.
Analytisch beoordelen: hanteren van specfieke en meetbare criteria. Voordeel: heldere verwachtingen, kan bijdragen aan hogere beoordelaarsbetrouwbaarheid. Nadeel: terugkoppelingseffect, studenten kunnen de criteria opvatten als checklist en als invuloefening te werk gaan. Daarnaast kan de betekenis en waarde van het geheel ondergesneeuwd raken. Bevordert meer betrouwbare toetsing.
Het is van belang een afgewogen beslissing te nemen over het behoud van betekenis (validiteit) enerzijds en de betrouwbaarheid van de beoordeling en transparantie voor studenten anderzijds. De plaats van de toets in het toetsprogramma en de samenstelling van het team zijn daarbij belangrijke factoren.
Wel of geen rubric?
Een rubric is een beoordelingsmatrix met 2 dimensies: de eerste dimensie bevat de leeruitkomsten, competenties of toetscriteria (afhankelijk van hoe analytisch je wilt beoordelen) en de tweede dimensie de beoordelingsniveaus. Het werken met rubrics is aan te bevelen als je meer dan 2 beoordelingsniveaus hebt (bijvoorbeeld: cijfers 1 t/m 10, onvoldoende, voldoende, goed enz.).
Bij het maken van rubrics sta je voor verschillende keuzes. In onderstaand stappenplan komen die keuzes aan bod.
- Bepaal met welke schaal je gaat werken. Bepaal in samenhang hiermee de lay-out van de rubric. Van hoog naar laag of andersom.
- Bepaal de kritische elementen van elke leeruitkomst: wat wil je lezen/ horen/ zien.
- Werk deze uit in meetbare prestaties. Werk eerst de ‘voldoende’ uit. Dit is de minimumprestatie, die past bij het niveau. Je kunt hierbij als check ook weer de taxonomie gebruiken. Beschrijf de verwachte prestatie zo kernachtig mogelijk, bij voorkeur in één zin. Werk vervolgens de andere niveaus uit.
- Controleer of de uitwerking van ‘excellent’, ‘goed’ enz. consistent is en niet te uitgebreid.
- Bepaal voor elk onderdeel de weging in het eindcijfer.
- Bepaal de cesuur.
- Leg de rubric aan collega’s en toetscommissie voor, en bespreek deze met een paar studenten.
Digitale middelen
Zowel Canvas, Testvision als Gradework bieden de optie om te werken met een digitaal beoordelingsformulier. Zorg dat je vooraf helder hebt welke keuzes je maakt en dat je de criteria gereed hebt. Dit omdat de inhoudelijke keuzes leidend zijn en niet de tool die je gebruikt.
Bronnen
H. van Berkel, A. Bax, D. Joosten- ten Brinke (2017). Toetsen in het hoger onderwijs. Houten: Bohn Stafleu van Loghum. Hieruit: h.16, toetsen met rubrics. p.201-214.