Docent Farmakunde Carolien Muijs heeft een eigen website waarop zij haar werkervaringen deelt met collega’s en studenten. Ze schrijft over wat haar bezig houdt en wat er speelt op de HU. Zo deelde ze ook een blog over de processtap analyseren van de digitale toetsscyclus. Zij heeft al een aantal TestVision toetsen achter de rug en laat zien wat er achter de schermen komt kijken. Hieronder lees je de hele blog. Wil je meer lezen waarover Carolien schrijft? Bezoek dan haar website.
Pfff. We hebben blok B weer achter ons gelaten. Toch altijd druk, niet alleen voor de studenten, maar ook voor ons. In blok B hebben we (m.n. voor de voltijd jaar 1 en jaar 2) een aantal TestVision toetsen en daar waren we afgelopen weken aardig mee aan de bak. Als de studenten klaar zijn met de toets, dan begint voor ons het echte werk. Zo werd ik door een aantal tweedejaars gebombardeerd met paniekmails dat ze vergeten waren om de laatste vraag in mijn digitale toets te beantwoorden, omdat ze te druk bezig waren geweest met het uploaden van de Excel. Relax!! Dat komt allemaal naar boven in de toetsanalyse en houden we rekening mee.
Ik realiseerde me dat studenten helemaal niet zien wat wij doen met de gegevens van zo’n digitale toets. Daarom een tip van de sluier wat er gebeurt NADAT studenten een toets in TestVision hebben gemaakt. Allereerst: dat doen we altijd met meer dan één docent, in het kader van de interbeoordelaarsbetrouwbaarheid (tweedejaars studenten: dat begrip zouden jullie na mijn toets wel moeten kennen). En dat ziet er dan zo uit:
Op de een of andere manier verschijnen er ook altijd M&M’s of stroopwafels bij een toetsanalyse op de tafel! Maar eerst kijken we hoe de toets in zijn algemeenheid is gemaakt (% geslaagd) en dan snoepen eh.. beoordelen we de open vragen als die in de toets zitten. Een van de redenen dat we dat samen doen, is dat we bij twijfel altijd met een collega kunnen overleggen. Het is ook goed voor het delen van antwoorden die nergens op slaan, bijvoorbeeld bij de farmacologietoets dat opiaten onder de NSAIDs vallen. En antibiotica zijn kennelijk hele agressieve, gevaarlijke medicijnen, want clavulaanzuur wordt volgens 1 student toegevoegd omdat ‘de medicatie anders door kan slaan’. Zijn de open vragen beoordeeld, dan zijn meestal ook de M&M’s op en pakken we de stroopwafels erbij als we de statistiek loslaten op alle antwoorden. Dat ziet er dan, in dit geval, zo uit:
Lang leve de kleurcodes! We lopen dan alle vragen langs en kijken wat er aan de hand is. Ik zal jullie niet vermoeien met alle afkortingen, maar bv. de ‘rode’ vraag hierboven was volgens TestVision te makkelijk, maar volgens ons gewoon onderdeel van de stof, dus die laten we staan. We gunnen jullie ook wel een makkelijke vraag. De oranje vraag scoorde laag, maar maakte wel goed onderscheid tussen de studenten die de toets wel en die de toets niet goed hadden gemaakt (voor de kenners: Rit waarde van 0,55!). En dat doen we dus vraag voor vraag, met meerdere docenten.
Soms komt er uit dat een vraag anders werd geïnterpreteerd dan we hem bedoelden, of zoals bij de GV2-PO toets, dat 1/3 van de studenten vergeten was een vraag te beantwoorden. Dan kunnen we de vraag voor iedereen goed rekenen of uit de toets halen. In andere gevallen maken we de aantekening dat we volgend studiejaar de antwoordopties wat moeten aanscherpen omdat bv. twee antwoordopties niet gekozen waren (te duidelijk ‘fout’).
Maar dan zijn we er nog niet. Hebben we alle eventuele aanpassingen gedaan, dan lopen we de eindcijfers nogmaals langs. Van mensen die op het randje van onvoldoende/voldoende zitten lopen we de beoordeling van de open vragen (als die in de toets zitten) nogmaals langs ter controle om te kijken of ze écht écht écht niet op een voldoende uit kunnen komen.
Als de stroopwafels op zijn, de koffie/thee automaat helemaal leeggetrokken is en de cijfers in OSIRIS staan, dan kunnen ook wij relaxen.