Een toetsmatrijs maken, stap voor stap

Zo maak je een toetsmatrijs

1. Bepaal de functie van de toets. Wil je vaststellen of leerlingen de stof beheersen, of in kaart brengen waar ze vastlopen? Die keuze stuurt de rest.
2. Zet de leerdoelen of stofonderdelen onder elkaar. Formuleer ze zo dat je eraan kunt zien wat een leerling moet kunnen, niet alleen welke paragraaf het is.
3. Kies de indeling van de denkniveaus voor de kolommen, en houd die vast. Wie voor elke toets dezelfde indeling gebruikt, kan toetsen met elkaar vergelijken.
4. Bepaal per leerdoel het gewicht in punten. Wat in de lessen veel tijd kreeg of voor vervolgstof belangrijk is, krijgt meer punten.
5. Verdeel per leerdoel de punten over de niveaus, en controleer daarna de kolomtotalen. Daar zie je of de toets overhelt naar reproductie of juist naar het zwaarste niveau.
6. Schrijf pas nu de vragen en het correctiemodel, en noteer bij elke vraag in welke cel hij hoort. Bespreek de matrijs met je sectie voordat de toets wordt afgenomen.

Cito omschrijft een toetsmatrijs als een schema waarin je vastlegt welke onderwerpen in de toets aan bod komen en hoe zwaar elk onderwerp meeweegt, vaak met een indeling naar een taxonomie. Je komt ook de woorden toetsmatrix, blauwdruk en specificatietabel tegen. Soms bedoelt men daar hetzelfde mee. Soms is de specificatietabel de fijnere uitwerking van de matrijs: per leerdoel op welk niveau en met hoeveel vragen je toetst. Het verschil doet er weinig toe, zolang je vóór het schrijven van de vragen vastlegt wat de toets moet meten.

Welke indeling je in de kolommen zet, is een keuze van de school of de sectie. Cito noemt Bloom, RTTI, OBIT en Romiszowski als veelgebruikte taxonomieën. RTTI omschrijft zichzelf als een standaard om vier cognitieve niveaus van leren in kaart te brengen: reproductie (wat een leerling uit het hoofd moet kennen), training (een getrainde procedure toepassen in een bekende context), transfer (het geleerde toepassen in een nieuwe combinatie, situatie of context) en inzicht (vanuit verschillende perspectieven analyseren en een oplossing construeren). OBIT staat voor onthouden, begrijpen, integreren en toepassen; toepassen betekent daar kennis gebruiken in een nieuwe, onvoorspelbare situatie waarin de denkstappen niet gegeven zijn. De herziene taxonomie van Bloom (Anderson en Krathwohl, 2001) kent zes niveaus, van onthouden en begrijpen tot evalueren en creëren, en zet die af tegen vier soorten kennis. In een publicatie over schoolexamens in het vmbo gebruikt SLO als voorbeeld de piramide van Miller: weten, weten hoe, tonen en doen. Meer over RTTI in de toetspraktijk staat op RTTI-toetsen.

SLO noemt vijf redenen voor een toetsmatrijs: balans tussen vragen en leerstof (inhoudsvaliditeit), gelijkwaardige toetsen, verantwoording naar anderen, ouders en de inspectie, de relatie tussen PTA en toets, en bruikbare en betekenisvolle scores. Bij het schoolexamen is vooral die relatie met het PTA belangrijk: de leerstof in de matrijs is een concretisering van wat het PTA over de inhoud zegt. SLO raadt aan de matrijs in de vaksectie te bespreken en vast te stellen, en noemt in een checklist voor het schoolexamen vmbo dat een herkansingstoets dezelfde toetsmatrijs gebruikt als de eerste toets. Zo zijn twee versies van een toets vergelijkbaar, ook als de vragen verschillen.

Een voorbeeld: een toets economie van 40 punten over het hoofdstuk markt en prijs, met drie leerdoelen in de rijen en RTTI in de kolommen. Leerdoel A, de begrippen vraag, aanbod en evenwichtsprijs uitleggen: 6 punten R en 4 punten T1, samen 10. Leerdoel B, een vraag- en aanbodlijn tekenen en het evenwicht berekenen: 2 punten R, 10 punten T1 en 4 punten T2, samen 16. Leerdoel C, beredeneren wat een belasting op het product doet met prijs en hoeveelheid: 2 punten T1, 8 punten T2 en 4 punten I, samen 14. Per kolom opgeteld: 8 punten R, 16 T1, 12 T2 en 4 I, ofwel 20, 40, 30 en 10 procent. Die verdeling is geen norm. Het is een keuze die past bij wat in de lessen is geoefend, en het voordeel van de matrijs is dat je die keuze ziet voordat de toets af is.

Analyses van bestaande toetsen laten vaak hetzelfde patroon zien. Krathwohl beschrijft dat analyses van leerdoelen en toetsvragen met de oorspronkelijke taxonomie van Bloom bijna altijd een zware nadruk lieten zien op herkennen en herinneren, terwijl de doelen van begrijpen tot en met synthese meestal als de belangrijkste doelen van onderwijs gelden. Andere veelgemaakte fouten: alleen vragen tellen en niet de punten; één grote vraag laten bepalen hoe een leerdoel scoort, terwijl Cito juist aanraadt spaarzaam te zijn met vragen die veel punten opleveren; de matrijs pas invullen als de toets al klaar is; per toets een andere indeling gebruiken; en een herkansing schrijven zonder de matrijs van de eerste toets ernaast.

Na het nakijken wordt de matrijs een analyse-instrument. Tel per cel de punten van alle leerlingen op en deel door het aantal leerlingen maal het maximum van die cel. Dan zie je of de klas punten liet liggen op een leerdoel, op een denkniveau of op één combinatie van die twee. Kijk daarna per vraag. Cito noemt een vraag die meer dan 90 procent van de leerlingen goed heeft erg makkelijk, en een vraag onder de 15 procent erg moeilijk. Controleer in dat laatste geval of het juiste antwoord in het beoordelingsvoorschrift stond en of de vraag helder was gesteld, en besluit dan of hij meetelt. Let op cellen met maar één vraag: een lage score kan dan net zo goed aan die ene vraag liggen als aan het leerdoel. Of je daarna de omzetting naar een cijfer aanpast, is een aparte beslissing; zie cijfer berekenen en criteriumgericht of normgericht toetsen.

In de toetsbouwer van Corrigo kies je hoeveel vragen je wilt, welke soorten en op welk RTTI-niveau. De vragen komen uit je eigen lesstof, met een correctiemodel erbij. Je stelt de punten in en kunt meerdere versies maken. Corrigo stelt per vraag een RTTI-niveau voor; de definitieve indeling bepaal jij. Bij het nakijken van de papieren toets doet Corrigo per antwoord een puntenvoorstel op jouw correctiemodel, met een toelichting, en jij controleert en beslist. Omdat de RTTI-indeling doorloopt naar de resultaatanalyse, zie je daarna per vraag en per niveau waar de klas punten liet liggen. Welke leerdoelen erin horen en hoeveel gewicht ze krijgen, blijft het werk van jou en je sectie.