Af en toe krijgen we vragen over analyses in GradeWork. Ook zien we dat als GradeWork meer optimaal wordt gebruikt er betere analyses uit te halen zijn. Vandaar dat we er een blog hierover maken. GradeWork is de nieuwe inlever- en beoordelingsbox van de HU en wordt gebruikt om summatieve producten te toetsen.
Een analyse kan aanleiding geven tot het aanpassen van je onderwijs, je opdracht(en) en/of je beoordelingsformulier. In een uiterst geval kan het ook aanleiding geven tot aanpassing van de huidige beoordelingen als studenten benadeeld zijn door de kwaliteit van de toets. Vaar echter nooit blind op een toetsanalyse; neem altijd je eigen oordeel en bevindingen mee. Klopt de analyse met wat je had verwacht?
Je ziet hier een overzicht met verschillende tabellen en grafieken die informatie geven over het inlevermoment en de beoordelingen. Ook is het mogelijk om uitgebreide informatie in Excel te exporteren.
Hoe voer je de analyse uit?
In de toetsgroep details kun je als toetscoördinator bij analytics onder andere gegevens worden verkregen over groepsgrootte, gemiddelde cijfer en spreiding van cijfers. Deze cijfers geven je alleen informatie over ingeleverde dossiers en roepen mogelijke vervolgvragen op. Bij iedere tabel of grafiek is er uitleg aanwezig onder het informatieknopje.
Bij de grafiek “kalibreren” wordt alleen gevuld met het aspect. Dus vul het aspect in bij het maken van het beoordelingsformulier met een logische titel. Je kunt dan de verschillen tussen beoordelaars en de verschillen tussen scores op onderdelen terugzien.
Exporteren naar Excel
In deze analyse zie je uitgebreide gegevens over de beoordeling, zoals: inleverdatum, welk beoordelingsformulier is gebruikt, alle ingevulde beoordelingen (per vraag) etc. Je kunt hier je eigen grafieken en tabellen maken zoals spreiding van cijfers.
Spreiding
Ook de spreiding van cijfers geeft informatie. Zitten alle cijfers tussen de vijf en de zes of zijn er ook enen en tienen gevallen? Hoe groter de spreiding, hoe meer onderscheid de toets maakt tussen ‘goede’ en ‘zwakke’ studenten. Bij een analyse wordt gekeken naar de kwaliteit van de toetsopdrachten en naar de betrouwbaarheid van de toets in totaal. Door invoer van het behaalde aantal punten per student per vraag kun je Cronbach’s Alpha, p-waardes en RIT-waardes berekenen.
Wat zegt een slagingspercentage van 50%, of 90%? Voldoet dit aan je verwachting? Er is geen ‘perfect slagingspercentage’. Dit hangt samen met de functie van de toets en plaats van de toets in de opleiding (drempel om bv. een stage te mogen gaan doen), behaalde resultaten door eerdere cohorten (is het slagingspercentage vergelijkbaar met vorige cohorten, of is het ineens veel hoger of lager), afspraken over slagingspercentages binnen het instituut e.d.
Doel van een analyse is om te leren van de toets en het proces. Deze analyse kan dus leiden tot een verbeterslag van de kwaliteit van de toets en mogelijk ook van onderwijs en leeruitkomsten.