Met de inzet op de digitalisering van de hogeschool komen er ook nieuwe mogelijkheden om de hoek kijken op het gebied van toetsing. De HU heeft daarvoor ook de HU-brede toetsapplicatie TestVision aangeschaft. Digitaal toetsen zal voor velen nieuw zijn, maar er is ook al een aantal mensen bekend met digitaal toetsen en met TestVision. Daarom ging ik in gesprek met twee verschillende gebruikers: Nelleke Brand, docent oogzorg bij Instituut voor Paramedische Studies en jarenlange gebruiker van TestVision, en Loes Vink, didactic expert bij de opleiding Creative Business van Instituut voor Communicatie en nieuwe gebruiker van TestVision.
“Hoe was jullie kennismaking met TestVision?”
Loes: “Ik help de opleiding bij onderwijsinnovaties en alles wat zich op didactisch gebied afspeelt. Daar is toetsing dan ook een belangrijk onderdeel van en zo ben ik betrokken geraakt bij TestVision. Samen met een collega, die onderwijscoördinator is, zijn we in TestVision gedoken. In Blok A hebben we één toets in TestVision aangemaakt en laten afnemen. Het plan is om dit geleidelijk uit te breiden.
Nelleke: “Ik was net een aantal jaar werkzaam op de HU toen we in 2011 zijn gestart met TestVision bij de oogzorgopleidingen. Dat is toch al wel een hele tijd geleden! Ik ben vrij snel in het begin al actief betrokken geraakt bij een toetscommissie om te kijken hoe we het toetsingsproces steeds beter kunnen maken. Ook bij de omzet van de oude TestVision naar de nieuwe versie was ik key user en hoorde ik bij de TEG (toetsexpertgroep, red.) om te zorgen dat elke docent met TestVision kan werken, zij zijn helemaal verantwoordelijk voor de toets.”
Loes: “Worden docenten daarvoor getraind?”
Nelleke: “We hebben gewoon een superduidelijke handleiding, stap voor stap uitgeschreven en met printscreens erbij. Dan komen ze er wel uit en sowieso werkt deze versie van TestVision zoveel gebruiksvriendelijker. Daarnaast hebben we ook een buddysysteem vanuit de TEG. De TEG bestaat uit vier mensen en is er altijd iemand van de TEG achterwacht om te checken of de docent wel alles goed heeft staan. En als ze vragen hebben, weten ze wie ze van de TEG moeten bereiken om mee te kijken.”
Loes: “Wat een goed idee!”
“Hoe vind je je weg in digitaal toetsen in TestVision?”
Loes: “We hebben enkele trainingssessies gedaan. In het begin gaat er altijd wel veel tijd in zitten om bekend te worden met een nieuwe applicatie. Vanuit ons team zijn we nu ook maar met twee mensen. De ander is onderwijscoördinator en key user, zij heeft zich vooral gefocust op hoe het systeem werkt. En ik kijk meer vanuit didactisch perspectief, naar de analyse en hoe vragen zijn opgesteld. Nu moeten we nog procedures vinden voor het een en ander, zoals eventuele eliminatie van afgekeurde vragen, en het vastleggen van resultaten en statistische data ter controle door de examencommissie. Waar we ook net tegenaan liepen was de inzage voor studenten, want alle gegevens zitten in de computer en hoe ga je daar mee om? Dat zijn dingen waar we over na moeten denken.”
Nelleke: “Ja, grappig dat je het zegt. Ik herken wel wat je zegt over het analyseren van resultaten. Wij hadden ook een bepaalde manier van analyseren om cesuur te bepalen, maar dan zit je nu toch wel aan een digitaal programma vast. Maar goed, je vindt altijd wel een oplossing.”
Loes: “En hoe doe je dat met die inzage dan?”
Nelleke: “Inzage in multiple choice toetsen doen we direct na de toets, want dan weten ze gelijk hoeveel vragen ze goed en fout geantwoord hebben. Ze mogen wel alleen de foute vragen inzien. Inzage in toetsen met open vragen doen we op papier. Docent pakt dan de pdf-file van de studenten erbij en heeft iedere student 5-10 minuten om het in te zien.”
“Er zijn zaken om nog uit te vogelen, maar wat zijn nu de grootste voordelen van digitaal toetsen?”
Nelleke: “Een groot voordeel is dat je in korte tijd veel mensen kan toetsen.”
Loes: “Ja en dat je langzamerhand een database kunt opbouwen in plaats van dat je in allerlei bestanden op je computer verschillende toetsen hebt staan. In de database kun je dan steeds vragen toevoegen en er blijvend gebruik van maken. Ook voordelen zijn dat je veel verschillende vraagtypen en vraagsoorten kunt inzetten en dat resultaten snel beschikbaar zijn.”
“Vinden jullie het ook veiliger nu alles in één applicatie staat en niet meer via mail rondgestuurd hoeft te worden?”
Nelleke: “Nou dat gebeurt nog af en toe wel, omdat we ook meestal een peer review doen voor de toets. Dus de vragen worden ook door iemand anders nog bekeken en het nadeel is dat je niet met z’n tweeën tegelijk in één vraag kan werken. De toetsvraag wordt dan toch rondgemaild en dat willen we eigenlijk niet maar gebeurt soms nog wel. Maar ik vind dus wel dat TestVision al veel veiliger is doordat je het inderdaad online hebt en het niet meer via de mail hoeft.”
Loes: “Precies, en dat het ook niet meer wordt uitgeprint.”
“Ik las dat 85% van de toetsen nog op papier wordt gemaakt, vinden jullie dat er meer digitaal moet worden getoetst?”
Loes: “Dat zal vast inderdaad zoveel zijn. Ik vind het vooral zonde ook van al het papier, dat is niet meer van deze tijd. Daarnaast willen wij sowieso mee met de vaart der volkeren, dus als er een nieuw digitaal systeem is willen wij daar op een gegeven moment naar toe, maar dan wel stapsgewijs.”
Nelleke: “Klopt, maar ik vind wel dat er nog een uitdaging ligt voor het toetsrooster. Nu hebben we nog een redelijk normaal rooster, maar als straks meerderen digitaal gaan toetsen ben ik benieuwd hoe ze dat gaan aanpakken.”
“Ik wil jullie heel erg bedanken voor het interview en Nelleke, heb je misschien nog een goede TestVision tip voor Loes?”
Nelleke: “Ja, zijn er nog dingen waar jullie tegenaan zijn gelopen?”
Loes: “Nou, we hebben nu een toets gehad en gaan op weg naar de volgende, maar moeten nu wel gaan bedenken hoe we docenten gaan inwerken.”
Nelleke: “Wij hebben de handleidingen en de helpfunctie in TestVision is ook heel duidelijk, die geeft altijd goed antwoord. Er zijn natuurlijk ook verschillende rollen in het toetsproces, misschien is het handig om docenten eerst toetsvragen te laten maken? Die stap kun je heel gemakkelijk maken. Een volgende stap kan dan zijn dat je de docenten de toets laat klaarzetten en de stap daarna dat ze leren kandidaten te koppelen en toetseigenschappen in te stellen.
Loes: “Ja dat lijkt me een goede benadering.”
Wil je met je opleiding ook aan de slag met digitaal toetsen en is er nog geen domeinbeheerder voor jouw instituut? Neem dan contact op met Rogier Neefe, projectleider TestVision. Of heb je al toegang tot TestVision, maar zit je nog met vragen? Hier vind je de FAQ. Staat je vraag er niet tussen, neem dan even contact op met het team!