Toetsanalyse

In de stap evalueren en verbeteren uit de toetscyclus voer je een kwalitatieve en/of kwantitatieve analyse op een toets uit.

Bij een kwalitatieve analyse maak je gebruik van een algemene checklist en kijk je naar het hele toetsproces. Op basis van de informatie uit alle stappen uit de toetscyclus doe je uitspraken over kwaliteitscriteria van een toetstaak, toets of toetsprogramma. Daarbij hoeft het niet altijd aan de kwaliteit van toetsing te liggen, je kunt ook aanknopingspunten vinden om het onderwijs te verbeteren. Onder meer informatie tref je een aantal checklists aan voor de kwalitatieve beoordeling.

Meer informatie over het beoordelen van een rubric vind je in het artikel van Van Strien en Joosten-ten Brinke onder literatuur.

Bij een kwantitatieve analyse maak je gebruik van de toetsresultaten. Op het niveau van een toets is de kwantitatieve analyse afhankelijk van de toetsvorm. Een paar voorbeelden;

  • bij de toetsvorm meerkeuzevragen kun je gebruik maken van de itemanalyse (Osiris of Testvision of zelf);
  • bij de toetsvorm open vragen kun je bijvoorbeeld per vraag een analyse maken van minimum, mediaan en maximum aantal gegeven punten. Op basis van gemiddelde en mediaan is dan de p-waarde per vraag te berekenen (gemiddelde/maximum score). In TestVision kun je open vragen afnemen die na beoordeling worden geanalyseerd op precies dezelfde manier als de gesloten vragen, je hoeft dan dus niets zelf uit te rekenen.;
  • bij andere toetsvormen, zeker wanneer er meerdere beoordelaars de toets beoordelen, kun je gebruik maken van andere analyses, zoals: verschillen tussen beoordelaars, verschillen tussen scores op onderdelen, verschillen in jaargangen. In TestVision en GradeWork heb je hiervoor de (learning) analytics tot je beschikking.

Onder meer informatie zijn een aantal voorbeeldanalyses opgenomen.

Meer informatie:

Checklist meerkeuzetoets

Checklist open vragen toets

Checklist vaardighedentoets

Kwaliteitsinstrument toetsprogramma (KIT)

Itemanalyse – Template (2017) – Nederlands

Itemanalysis – Template (2017) – English

Toets en itemanalyse digitaal toetsen

Learning analytics

Literatuur:

Van Strien, J., & Joosten-ten Brinke, D. (2016). Het beoordelen van de kwaliteit van rubrics. Tijdschrift voor Examens, februari 2016.