Bij een kwalitatieve analyse maak je gebruik van een algemene checklist en kijk je naar het hele toetsproces. Op basis van de informatie uit alle stappen uit de toetscyclus doe je uitspraken over de rechtvaardigheid van deze toets. We volgen hierbij de indeling die het Kwaliteitsinstrument Toetsprogramma (KIT) hanteert: validiteit, betrouwbaarheid, functies van de toets en condities van de toets. Niet altijd hoeft de kwaliteit aan de toets te liggen, je kunt ook aanknopingspunten vinden om het onderwijs te verbeteren.
Validiteit
Een valide toets “meet wat gemeten moet worden”. Dit betekent dat de toets de juiste informatie oplevert om te kunnen bepalen of een student de leerdoelen heeft behaald. Aspecten bij validiteit:
- operationalisatie: zijn de leerdoelen goed uitgewerkt en vormen ze een goede basis voor de constructie van de toets? En zijn de leerdoelen ter herleiden naar de uiteindelijke opleidingskwalificaties waar de student naar toe werkt?
- dekking: is de inhoud van de toets (de vragen, opdrachten, wat de student moet doen) een goede afspiegeling van de leerdoelen? Komen alle leerdoelen terug in de toets, zoals bijvoorbeeld blijkend uit een toetsmatrijs?
- complexiteit: is de inhoud van de toets van het juiste niveau, passend bij de fase van de opleiding?
- vorm: past de toetsvorm bij hetgeen je wilt beoordelen?
Betrouwbaarheid
Een betrouwbare toets betekent dat het toetsresultaat niet afhankelijk is van allerlei irrelevante omstandigheden. Denk aan de “strengheid” van een bepaalde docent, de interpretatie van beoordelingscriteria door verschillende docenten en omstandigheden tijdens de uitvoering van de toets. Aspecten bij betrouwbaarheid:
- Vergelijkbaarheid: zijn de inhoud en omstandigheden van de toetsing vastgelegd? Worden verschillen tussen beoordelaars geminimaliseerd?
- Triangulatie: levert de toets voldoende rijkheid aan informatie om een integraal oordeel te kunnen vellen? Is de beslissing gebaseerd op meerdere oordelen/ situaties?
Functies
Er zijn drie verschillende functies te onderscheiden van toetsen in het hbo: toetsen om te selecteren, om te leren en om het onderwijs te verbeteren. Een goede toets levert een bijdrage aan iedere functie:
- selectie: worden goede en zwakke studenten van elkaar onderscheiden?
- leereffect: stimuleert de toets het gewenste leerproces? Levert de toets rijke feedback op?
- onderwijseffect: geeft de toets rijke informatie over het ermee samenhangende onderwijs?
Condities
De kwaliteit van de toets is mede afhankelijk van een aantal randvoorwaarden en de afname van de toets in de praktijk.
- Â Transparantie: krijgen de studenten duidelijke informatie over de toets, criteria, normering, uitslagen?
- Oordeelkundigheid: beschikken de beoordelaars over voldoende kennis en vaardigheden over de toetsinhoud, de anier van toetsen en het geven van feedback?
- Organisatie: is het toetsprogramma efficiënt en effectief georganiseerd? Hebben beoordelaars voldoende tijd om tot een betrouwbaar oordeel te komen?
Hieronder vind je verschillende checklists die je kunt gebruiken voor deze analyse. Er is een algemene checklist die op iedere toetsvorm van toepassing is (gebaseerd op het KIT). Je kunt ook kiezen voor een toetsspecifieke checklist.