De voortgangstoets: de meest gestelde vragen

Wat is een voortgangstoets?

De voortgangstoets is een objectief instrument om de kennis en progressie van kennis van de student te meten. Met ingang van het studiejaar 2022-2023 werken alle acht Nederlandse medische faculteiten samen aan de interuniversitaire voortgangstoets om hun studenten relevante en kwalitatief goede vragen voor te schotelen. Niet het lesprogramma wordt getoetst, maar wat iemand opsteekt gedurende de opleiding. De toets gaat over het toepassen van parate kennis middels 135 meerkeuzevragen.

Wat is adaptief toetsen?

Met ingang van het studiejaar 2022-2023 maakt de interuniversitaire voortgangstoets geneeskunde gebruik van CAT, computer adaptief toetsen. Bij een adaptieve toets krijgt de student een reeks vragen voorgelegd. Naarmate de reeks vordert selecteert de computer vragen uit een vragenbank die steeds beter passen bij het kennisniveau van de student. Omdat de moeilijkheid van die vragen bekend is, krijgt iedere student een toets op zijn eigen niveau voorgeschoteld. Zo’n geïndividualiseerde, automatisch samengestelde toets hoeft niet bij alle studenten tegelijk te worden afgenomen.

Hoe werkt het systeem van computer-adaptief toetsen?

In computer adaptief toetsen selecteert de computer vragen uit een grote vragenbank. Elke volgende vraag is gebaseerd op de prestatie op de voorgaande vragen. Stel, je beantwoordt een vraag goed, dan selecteert het algoritme een net iets moeilijkere vraag uit de bank. Dat blijft zo doorgaan tot je vragen fout gaat antwoorden. Dan selecteert het algoritme weer een makkelijkere vraag. Dit gaat door tot we grote zekerheid hebben van je kennis op een bepaald gebied. De blauwdruk (de inhoudelijke specificaties) van de toets verandert niet. Het algoritme dekt alle gebieden van de blauwdruk.

In de figuur hieronder wordt het principe van adaptieve toetsing schematisch weergegeven:

Omdat een student niet op alle terreinen precies even goed presteert ziet een praktijkvoorbeeld er als volgt uit:

De horizontaal getrokken doorlopende lijn is hierin het geschatte niveau van de student aan het einde van de toets, de hakkelende lijn tussen de punten door laat zien wat de computer op dat moment in de toets afname als geschat niveau hanteerde om de volgende vraag te kiezen.

Wat zijn de voordelen van adaptief toetsen?

Computer adaptief toetsen zorgt voor een geïndividualiseerde toets. De toets is dus voor elke student anders. Computer adaptief toetsen is een moderne technologie waardoor het mogelijk is om nog preciezer je kennis in te schatten in een kortere tijd, met minder vragen. Het totale aantal vragen in de toets is 135.

Omdat iedereen een individuele toets maakt is gelijktijdige afname door alle studenten niet nodig te gebeuren; daarom hoeft ook niet alle onderwijs en klinische activiteit te worden stilgelegd.

De afname via de computer maakt het in de toekomst ook mogelijk andere media te gebruiken zoals grafische plaatjes, foto’s, geluid of video.

De belangrijkste voordelen zijn dus, dat we veel flexibeler kunnen toetsen, met veel meer precisie kunnen meten en met minder belasting voor de student.

Kijk naar dit filmpje voor een korte video over deze technologie: https://www.youtube.com/watch?v=ZvFNwR8ABo4&t=65s

Soort vragen

Omdat de moeilijkheid van de vragen wordt aangepast aan je eigen niveau zul je minder vragen tegenkomen die je blindelings kunt beantwoorden of je juist totaal onbekend voorkomen. Daardoor heb je tijdens de toets waarschijnlijk het gevoel dat je moeilijke vragen krijgt. Je zit immers rondom het maximum van je kennis. Omdat je antwoord op eerdere vragen bepaalt hoe de toets verder wordt opgebouwd kun je niet terugbladeren, eerdere vragen niet aanpassen en geen vragen “voorlopig even openlaten”.

Als je niet verrast wilt worden door het soort vragen dat in de voortgangstoets wordt opgenomen, kijk dan op de site van de voortgangstoetsorganisatie: www.ivtg.nl. Daar is een volledige oude toets van 200 vragen te vinden. Tevens is de vragenbank gelimiteerd toegankelijk gemaakt in samenwerking met Medisch Contact via de site “arts in spe”: www.medischcontact.nl/kennis-carriere/voortgangstoets.htm

Wat voor vragen zitten er in de adaptieve voortgangstoets?

Computer adaptieve toetsing is alleen mogelijk als we de moeilijkheid kennen van een vraag. De moeilijkheid van een vraag kunnen we alleen maar inschatten door een eerdere afname van die vraag. Er is een grote voorraad aan vragen die we eerder hebben afgenomen en waarvan we de moeilijkheid kennen. De vragenbank moet echter constant vernieuwd worden. Ook nieuw ontwikkelde vragen zullen in de voortgangstoets komen. Maar omdat we niet de moeilijkheid kennen van deze nieuw ontwikkelde vragen, zullen ze niet meetellen in je eindscore. De resultaten voor de afname worden wel gebruikt om de moeilijkheid van die vraag te berekenen zodat deze aan de bestaande vragenbank kan worden toegevoegd. De toets van 135 vragen bevat, verspreid door de toets, bij iedere student 15 van deze nieuw ontwikkelde vragen.
In het feedback systeem iProF kan je na het maken van de voortgangstoets terugzien welke van de door jou gemaakte vragen niet meetellen in jouw eindscore.

Hoe zijn de score en de feedback?

Als de toets is afgenomen, krijg je een uitslag in TestVision en tref je later je feedback over je voortgang aan in het ProF-systeem. Je zult grafische informatie aantreffen over jouw prestatie relatief ten opzichte van de gehele groep.

Omdat de moeilijkheid van de vragen eerder vastgesteld is, wordt de norm uiteindelijk niet meer aangepast op het resultaat van de toets. Met andere woorden, er wordt geen relatieve maar een absolute cesuur gehanteerd. Je score wordt dan ook uitgedrukt op een gestandaardiseerde schaal. Voor een verdere uitleg over een gestandaardiseerde schaal kijk naar: https://www.youtube.com/watch?v=2JjaWQZChqs

Je krijgt een rapportage in TestVision van welke vragen je goed of fout hebt beantwoord. Alle vragen in de bank krijgen een kort vraagonderwerp en een korte vraagomschrijving. Dit kan gebruikt worden als indicatie voor studie van het onderwerp van de vraag.

Commentaar en inzage

Omdat in principe commentaar zou kunnen komen op duizenden vragen per toets zal het commentaar geleverd in TestVision vooral nauwgezet worden geanalyseerd op de nieuw ontwikkelde vragen die niet meetellen. Nog meer dan voorheen zal voor de andere vragen vooral gelet worden op veranderingen van de psychometrische eigenschappen die wijzen op verandering in de inhoudelijke juistheid.

Studenten die gebruik willen maken van het wettelijk recht op inzage (de “juridische inzage”) in hun eigen afgelegde toets worden daartoe door de faculteiten in de gelegenheid gesteld. Studenten kunnen hiervoor intekenen en krijgen dan een tijdslot van 45 minuten toegewezen waarbij de veiligheidsmaatregelen overeenkomstig examenomstandigheden zijn.

Hoe wordt de moeilijkheid van een nieuwe vraag bepaald?

Dit wordt gedaan aan de hand van het zg. Rasch model volgens de “item response theorie”. Dit betekent dat de kans van een student om deze ene vraag goed te maken vergeleken wordt met de kans van die student om vragen in de rest van de toets goed te maken (het ‘niveau’ van de student). Die twee kun je tegen elkaar uitzetten in een grafiek en daaruit de moeilijkheid van deze vraag ten opzichte van “de gemiddelde vraag” bepalen.

Uit hoeveel vragen bestaat de vragenbank momenteel?

Ongeveer 7800.

Hoe vaak wordt er bij het foutief antwoorden van een vraag door getoetst binnen hetzelfde domein?

De uitkomst op een individuele vraag heeft geen invloed op de keuze van het domein van de volgende vraag.

In mijn toets zitten meerdere vragen over hetzelfde onderwerp, is dat de bedoeling?

Als deze vragen gaan over een onderwerp waar je toevallig niet zo goed inzit, overvalt het je misschien als er meer vragen over gaan. Waarschijnlijk is het gevolg veel minder groot dan je op het eerste gezicht zou denken. Bedenk, dat de tweede vraag over hetzelfde onderwerp heel weinig effect heeft op je eindresultaat.

Er zijn twee verklaringen voor een tweede of soms derde vraag over hetzelfde onderwerp.

1. In een bepaald vakje van de vragenbank zitten soms vragen die heel erg op elkaar lijken en toevallig worden die samen in jouw toets voorgelegd. Het niveau van de vragen die je krijgt, wordt in de loop van de toets aangepast aan je score op alle voorgaande vragen. Als je dus in het begin van de toets een vraag over een onderwerp kreeg die je fout beantwoord hebt, kan de vraag die je later in de toets tegenkomt gemakkelijker en best goed te beantwoorden zijn.

2. De eerste vraag is een vraag die meetelt voor je resultaat en de volgende vraag over datzelfde onderwerp is een pretest item (of andersom) en telt niet mee. Hoe zit dat? Niet alle vragen die je voorgelegd krijgt, tellen mee voor het eindresultaat. Verspreid door de toets zit een 15-tal vragen (pretest items) die niet meetellen maar die alleen in de toets zitten om de precieze moeilijkheidsgraad te bepalen, voor toekomstige toetsen dus. Bij de keuze van deze vragen wordt geen rekening gehouden met de vragen die je verder in je toets krijgt.

Hoewel het dus niet zoveel gevolg heeft en dubbele vragen het al te selectief studeren misschien helpen ontmoedigen, is het toch niet de bedoeling van de voortgangstoetscommissie om meerdere vragen over hetzelfde onderwerp te stellen. Om die reden worden alle (ca. 7000) vragen in toetsbank èn iedere nieuwe vraag die wordt toegevoegd nu nog eens extra gecontroleerd op onderlinge tekstovereenkomsten en vervolgens handmatig met elkaar vergeleken op strekking van de vraag. Vragen die teveel overeenkomst vertonen worden gemarkeerd als zg. ‘enemy items’; TestVision voorkomt vervolgens automatisch dat deze vragen samen in de toets van een student terecht komen.

Om deze enemy items te identificeren kunnen we ook jullie hulp gebruiken. Als je twee of meer (bijna) dezelfde vragen in je toets aantreft, kun je dit melden. Je kunt dan tijdens of direct na de toets of naderhand bij de inzage, in het commentaarvak van TestVision aangeven welke vragen sterk op elkaar lijken. We vragen je om daar de vraagnummers en het onderwerp te vermelden, zodat we je melding goed kunnen verwerken.

Welke mogelijkheden zijn er voor mensen met een functiebeperking (die bijvoorbeeld moeite hebben met een toets via een beeldscherm maken)?

Dit is aan de lokale examencommissie/examinator.

Op welke termijn kunnen studenten uitslag verwachten?

De termijn van de uitslag zal afhangen van het moment waarop je de toets aflegt en wanneer de laatste toetsen die week worden afgenomen. In principe ligt de maximale uitslagtermijn vast in het lokale opleiding- en examenreglement (OER).

Hoe wordt de score op de adaptieve toets vastgesteld?

De score van een student op de voortgangstoets wordt berekend volgens de “Weighted Likelihood Estimation” (WLE) methode van Thomas A. Warm (1989). Deze score wordt vergeleken met het gemiddelde van de totale studentenpopulatie en uitgedrukt in een Z-score. Die wordt vervolgens naar een standaardschaal getransformeerd, met een gemiddelde = 35 en een standaarddeviatie = 15. Dit gemiddelde en de standaarddeviatie zijn gebaseerd op de gemiddelde iVTG-scores van de afgelopen jaren.

Er kunnen negatieve scores optreden. Die zijn te verklaren door het feit dat een Z-score ook negatief kan zijn (het gemiddelde van een Z-score wordt uitgedrukt als 0, een standaarddeviatie -1 of +1). Als voorbeeld: door de transformatie naar de standaardschaal kan b.v. een student die 3 SD onder het gemiddelde van de totale populatie (van alle jaargroepen) ligt bv een score -10 halen.

Bij de adaptieve toets wordt gebruik gemaakt van vragen waarvan de moeilijkheid exact bekend is. Daarom is een gestandaardiseerde norm nodig voor een eerlijke beoordeling.