Itemanalyse

In dit artikel

Dit artikel bevat de volgende informatie:

• Over itemanalyse
• Psychometrische gegevens in itemanalyse
• De itemanalyse van een examen openen
• Overzicht van opdracht
• Overzicht van items
  • Het itemoverzicht aanpassen
  • Het itemoverzicht filteren
• Itemdetailpagina
• Een vraag uitsluiten
  • Een vraag neutraliseren
  • Een vraag elimineren
• De itemanalyse van een examen filteren op een planning
• De itemanalyse van een examen exporteren naar Excel
• Een opdrachtrapport openen via Itemanalyse
• Een voorbeeld van een opdracht bekijken of openen via Itemanalyse
• Toegang krijgen tot de module Itemanalyse
• Beperkingen in de module Itemanalyse

Over itemanalyse

In de module Itemanalyse vindt u bruikbare inzichten over de kwaliteit en effectiviteit van de items in uw opdracht en de opdracht als geheel.

Bruikbare inzichten worden gegeven door middel van psychometrische waarden. Psychometrische waarden omvatten statistische maatstaven zoals de P-waarde, RIT- en RIR-waarden, de A-waarde, Cronbach's alfa en de standaardafwijking.

Met deze psychometrische waarden kunt u datagestuurde beslissingen nemen om:

• items uit te sluiten uit uw examen
• de kwaliteit van uw items in de itembank te verbeteren voor toekomstig gebruik.

De module Itemanalyse biedt u een krachtig en waardevol hulpmiddel om op een eenvoudige manier de kwaliteit van uw items en examens te controleren in assessmentQ. Voor diepgaandere analyses kunt u de data exporteren voor gebruik in uw eigen analysetools. 

Psychometrische data in assessmentQ

In de module Itemanalyse vindt u de volgende psychometrische data:

• P-waarde (maat voor de moeilijkheidsgraad van een item):
  De P-waarde staat voor het percentage deelnemers dat een bepaald item juist heeft beantwoord. Het geeft de moeilijkheidsgraad van het item aan. Lagere P-waarden duiden op moeilijkere vragen en hogere P-waarden op makkelijkere vragen. Deze waarde helpt om te begrijpen hoe goed elke vraag de verschillende prestatieniveaus van deelnemers onderscheidt. Een P-waarde tussen 0,3 en 0,7 wordt meestal beschouwd als ideaal voor de meeste examens.
  
  
• RIT- en RIR-waarden (meten de correlatie tussen een item en de algehele examenprestatie): met deze waarden kunt u de bijdrage van elk item aan de algemene examenscore beoordelen, zodat u zeker weet dat elk item is afgestemd op de examendoelstellingen.
  

  De RIT-waarde (Item-Total Correlation) meet hoe goed een bepaald item correleert met de algemene examenscore. Het weerspiegelt de mate waarin het correct beantwoorden van het item gerelateerd is aan een hogere prestatie op het examen als geheel. Een hogere RIT-waarde geeft aan dat het item een goede discriminator is, wat betekent dat deelnemers die het goed doen op het examen meer kans hebben om dit item juist te beantwoorden.

  De RIR-waarde (Item-Rest Correlatie) is vergelijkbaar met de RIT-waarde, maar met een klein verschil in wat het meet. Beide waarden worden gebruikt om te beoordelen hoe goed een item correleert met de algemene examenprestaties, maar de RIR-waarde meet specifiek de correlatie tussen een individueel item en de totale score van het examen, exclusief de score voor het item zelf.

  Een RIT- of RIR-waarde van 0,2 of hoger wordt over het algemeen als acceptabel beschouwd, waarbij waarden dichter bij 0,4 of hoger ideaal zijn voor een betere itemdiscriminatie. Een lage RIR-waarde (lager dan 0,2) suggereert dat het item niet goed correleert met de algemene examenscore, wat betekent dat het er niet in slaagt om een onderscheid te maken tussen hoog- en laagpresteerders. Dit kan erop wijzen dat het item slecht geschreven is of niet goed aansluit bij de algemene doelstellingen van het examen.
  Aan de andere kant geeft een hoge RIR-waarde (boven 0,4) aan dat het item een effectieve discriminator is, wat betekent dat degenen die goed presteren op het examen meer kans hebben om dit item correct te beantwoorden, terwijl degenen die slecht presteren minder kans hebben om dit te doen.
  
  

• A-waarde:
  De A-waarde geeft de aantrekkelijkheid van een afleider aan (d.w.z. een foute keuze in een meerkeuzevraag). De A-waarde gaat van 0 tot 1. Een A-waarde van 0 betekent dat geen enkele deelnemer de afleider kiest, terwijl een waarde van 1 betekent dat alle deelnemers de afleider kiezen.
  In assessmentQ vindt u de A-waarde op de itemdetailpagina's van meerkeuze met één antwoord en meerkeuze met meerdere antwoorden. Meer informatie.
  
  
• Standaardafwijking en normale verdelingscurve:
  De standaardafwijking meet de spreiding van de scores rond het gemiddelde. Een lage standaardafwijking betekent dat de meeste deelnemers gelijk scoorden, wat resulteert in een smalle verdelingscurve. Een hoge standaardafwijking wijst op een grote spreiding van de scores, wat resulteert in een brede (vlakke) normale verdelingscurve.
  
  
• Cronbach's alpha
  Cronbach's alpha meet de interne consistentie van een examen, wat aangeeft hoe goed de items (vragen) aan elkaar gerelateerd zijn. Een hoge Cronbach's alpha (hoger dan 0,7) geeft aan dat het examen betrouwbaar is, met items die consistent hetzelfde concept meten. Op een curve betekent dit dat de scores van de meeste studenten voorspelbaar rond het gemiddelde zouden moeten liggen. Een lage alfa (lager dan 0,6) wijst op een slechte interne consistentie, wat leidt tot meer verspreide scores over de curve.
  
  Samen geven Cronbach's alfa en standaardafwijking inzicht in zowel de betrouwbaarheid van het examen als de variabiliteit van de prestaties van de deelnemers.

De itemanalyse van een examen openen

Om de itemanalyse van een examen te openen, ga als volgt te werk:

1. Ga naar Analyse > Itemanalyse.
   Resultaat: De lijst met uw examens wordt weergegeven.

   Tip: Als u de tabelkolommen op de overzichtspagina wilt aanpassen, klik dan op het tabelicoon in de rechterbovenhoek en (de)selecteer de kolommen van uw keuze.

2. Zoek en/of filter het examen waarvoor u de itemanalyse wilt openen.

   Opmerkingen:

   • Itemanalyse is enkel beschikbaar voor opdrachten van het type examen. Oefeningen zijn niet inbegrepen, zie Beperkingen hieronder.
   • Er is geen itemanalyse beschikbaar voor opdrachten voorafgegaan door een wachticoon. Het wachticoon geeft aan dat de itemanalyse moet worden bijgewerkt met nieuw beëindigde sessies. Updates worden één keer per dag uitgevoerd. Als u met de muis over het icoon beweegt, ziet u wanneer de itemanalyse beschikbaar wordt.
     
3. Klik op het examen van uw keuze.
   Resultaat: Het tabblad Opdracht wordt geopend, zie Opdrachtoverzicht hieronder. U kunt ook de tab Items openen, zie Itemoverzicht hieronder.

   Opmerking: Als er nog geen deelnemers klaar zijn met de opdracht of als deelnemers de opdracht beëindigen op dezelfde dag dat u de analyse wilt raadplegen, ziet u een bericht dat aangeeft wanneer de itemanalyse beschikbaar is.

Overzicht van opdracht

De itemanalyse van een examen opent standaard het tabblad Opdracht. In de tab Opdracht vindt u een gedetailleerd overzicht van alle gegevens op het niveau van uw opdracht.

Voorbeeld:

• Links bovenaan vindt u algemene gegevens over uw examen (aantal items, aantal deelnemers, minimum- en maximumscore), het slaagpercentage, de tijd die aan de opdracht werd besteed en de scores die werden behaald.
• Links onderaan vindt u de standaardafwijking en de normaalverdeling van de scores. Hier ziet u de variatie of spreiding van de itemscores in uw examen.
• Rechts bovenaan het gedeelte Statistieken ziet u een diagram met de P-waarde van alle items in uw examen op de X-as en de RIT/RIR-waarde van alle items op de Y-as. U kunt wisselen tussen het bekijken van de P-waarde en RIT-waarde of de P-waarde en RIR-waarde.
  Elk item in uw examen wordt voorgesteld door een punt op het diagram overeenkomstig de P-waarde en RIT/RIR-waarde van het item. Met dit diagram kunt u snel de items identificeren die misschien opnieuw moeten worden bekeken.
  Items die zich bevinden in het lichter gekleurde vak combineren een matige tot hoge P-waarde (rond 0,3 tot 0,8) met een matige tot hoge RIT/RIR-waarde (rond 0,2 of hoger). Deze items zijn niet te makkelijk en niet te moeilijk en maken een goed onderscheid tussen goed en slecht presterende deelnemers. Items in de grijze vakken hebben een minder evenwichtige combinatie van P-waarde en RIT/RIR-waarde en moeten wellicht nader onderzocht worden.
  

  Opmerking: U kunt doorklikken op een punt om de itemdetailpagina te openen, zie Itemdetailpagina hieronder.

• Rechtsonderaan ziet u de gemiddelde P-waarde, de gemiddelde RIT- en RIR-waarde en de Cronbach's Alpha waarde van uw examen.
  De gemiddelde P-waarde geeft de algemene moeilijkheidsgraad van het examen aan door het percentage deelnemers te tonen dat elke vraag correct beantwoordt.
  De gemiddelde RIR-waarde meet hoe goed het examen discrimineert tussen deelnemers met verschillende vaardigheidsniveaus, zodat de vragen effectief onderscheid maken tussen hoge en lage presteerders.

Overzicht van items

Bovenaan het itemanalysescherm kunt u wisselen tussen de tabbladen Opdracht en Items. In het tabblad Items vindt u gedetailleerde informatie over elk item in uw examen.

Voor elk item kunt u bijvoorbeeld zien hoeveel deelnemers het item hebben beantwoord en hoeveel antwoorden juist, gedeeltelijk juist, onjuist of onbeantwoord waren. U ziet de blootstelling van het item en statistische waarden zoals P-waarde, RIR- en RIT-waarde,...

Voorbeeld:

Het itemoverzicht aanpassen

U kunt de kolomkiezer gebruiken om het itemoverzicht aan te passen aan uw behoeften. Zo kunt u enkel de informatie bekijken die voor u belangrijk is.

Het itemoverzicht filteren

U kunt het itemsoverzicht filteren om alleen de items te zien die u wilt zien. U kunt (een combinatie van) de volgende filters gebruiken:

• Itemtype
• P-waarde
• RIT-waarde
• RIR-waarde

In het onderstaande voorbeeld is een filter ingesteld om enkel de items te bekijken die een P-waarde tussen 0 en 0,3 hebben. Een lage P-waarde geeft aan dat het item slechts door een klein deel van de deelnemers juist is beantwoord en suggereert dus dat het item een hoge moeilijkheidsgraad heeft.

Itemdetailpagina

Ga als volgt te werk om een itemdetailpagina te openen:

• Klik onder het tabblad Opdracht op een punt in het diagram.
• Klik onder het tabblad Items op een item in het itemsoverzicht.

Resultaat: De detailpagina van het item wordt geopend.

Voorbeeld:

• Links vindt u algemene gegevens over uw item (itemnaam, itemtype, opdrachtonderdeel waarin het item voorkomt, minimum- en maximumscore), de resultaten (juist, onjuist, gedeeltelijk juist, onbeantwoord), de tijd besteed aan het item, de score, de blootstelling en de statistieken (P-waarde, RIT-waarde en RIR-waarde).
• Rechts ziet u gedetailleerde informatie over de antwoorden van het item: de specifieke itemantwoorden, het aantal keren dat elk antwoord werd gegeven, of het antwoord juist was of niet.
  

  Opmerking: Voor meerkeuzevragen met één antwoord en meerkeuzevragen met meerdere antwoorden wordt de A-waarde van de afleiders toegevoegd. Een A-waarde van 0 betekent dat geen enkele deelnemer de afleider heeft gekozen, terwijl een waarde van 1 betekent dat alle deelnemers de afleider hebben gekozen.

De informatie op de itemdetailpagina zal u helpen om de kwaliteit van uw items te verbeteren. Bijvoorbeeld:

• Het kan nuttig zijn om te weten dat een bepaalde afleider van een meerkeuzevraag nooit wordt geselecteerd door de deelnemers. Misschien wilt u deze afleider vervangen door een betere.
• Of het kan nuttig zijn om te weten welke antwoorden vaak worden gegeven in invulvragen, zodat u het item kunt aanpassen en rekening kunt houden met andere mogelijke antwoorden.

Een vraag uitsluiten uit uw examen

Bij het controleren van de itemanalyse van uw examen is het mogelijk dat u een onjuiste of onvolledige vraag ontdekt. Op basis van deze informatie kunt u beslissen om vragen uit te sluiten uit uw examen.

U heeft twee opties om vragen uit te sluiten. U kunt een vraag neutraliseren of elimineren:

• Neutraliseren betekent dat alle deelnemers de maximale score voor de vraag krijgen. De maximumscore van het examen verandert niet.

• Elimineren betekent dat u de vraag uit het examen verwijdert. De maximale score van het examen zal dan dalen.

Een vraag neutraliseren

Om een item in een examen te neutraliseren, ga als volgt te werk:

1. Open de itemanalyse van uw examen. Meer informatie. 
   
2. Open de Items tab. 
3. Klik op de drie puntjes naast het item van uw keuze en selecteer Neutraliseren.
   
   
4. Voeg optioneel een opmerking toe waarom u deze vraag wilt neutraliseren en klik op Ja.
   Resultaat: Alle deelnemers krijgen de maximale score voor de vraag. De maximumscore van de opdracht verandert niet. Wanneer de deelnemers hun examen inkijken, wordt het item niet meer getoond. De deelnemers zien een melding dat het item geneutraliseerd is.
   
   

Een vraag elimineren

Ga als volgt te werk om een vraag te elimineren:

1. Open de itemanalyse van uw examen. Meer informatie. 
   
2. Open de Items tab. 
3. Klik op de drie puntjes naast het item dat u wilt verwijderen en selecteer Elimineren.
   
4. Voeg optioneel een opmerking toe waarom u deze vraag wilt elimineren en klik op Ja.
   Resultaat: De maximumscore van de opdracht wordt verlaagd met de maximumscore van het geëlimineerde item. Er wordt geen rekening meer gehouden met de scores voor dit item. Wanneer de deelnemers hun examen bekijken, wordt het item niet meer getoond. De deelnemers zien een bericht dat het item is geëlimineerd.
   
   

De itemanalyse van een examen filteren op een planning

Standaard worden de gegevens die u ziet in de tabs Opdracht of Items berekend op basis van alle sessies voor het geselecteerde examen.

U kunt echter filteren op een planning om de gegevens te herberekenen op basis van de sessies in een specifieke planning. Als u bijvoorbeeld wilt vergelijken hoe deelnemers presteerden op een examen in twee verschillende planningen, kunt u de planningsfilter activeren.

Ga als volgt te werk om de itemanalyse te filteren op een planning:

1. Open de itemanalyse van uw keuze. Meer informatie.
2. Selecteer in de rechterbovenhoek de planning waarop u wilt filteren.
   Resultaat: De kleur van de dropdownknop verandert in groen, wat duidelijk aangeeft dat er een filter in gebruik is. De gegevens op uw scherm worden berekend op basis van de sessies in de planning.

   Opmerking: De planningsfilter wordt toegepast op alle tabbladen in de itemanalyse (tabs Opdracht en Items ) en op de detailpagina's van het item.

3. Deactiveer de planningsfilter om de kolommen opnieuw te berekenen voor alle sessies die aan de opdracht zijn gekoppeld.

De itemanalyse van een examen exporteren naar Excel

Als analist wilt u misschien geavanceerde analyses uitvoeren via gegevensexports.

Ga als volgt te werk om de itemanalyse van een opdracht te exporteren naar Excel:

• Klik in het overzichtsscherm van alle opdrachten op de drie puntjes rechts van uw opdracht en selecteer Exporteren naar Excel.
  
• Klik in het tabblad Opdracht of Items op de drie puntjes in de rechterbovenhoek en selecteer Exporteren naar Excel.
  Resultaat: U kunt het bestand downloaden vanuit het meldingscentrum wanneer de export klaar is.

Een opdrachtrapport openen via Itemanalyse

Wanneer u de itemanalyse voor een opdracht raadpleegt, wilt u misschien doorklikken naar het rapport voor die specifieke opdracht.

Om het opdrachtrapport te openen vanuit de module Itemanalyse gaat u als volgt te werk:

• Klik in het overzichtsscherm van alle opdrachten op de drie puntjes rechts van uw opdracht en selecteer Open rapport.
• Klik in het tabblad Opdracht of Items op de drie puntjes rechtsboven en selecteer Open rapport.

Een opdracht bekijken of openen via Itemanalyse

Wanneer u de itemanalyse voor een opdracht raadpleegt, wilt u misschien een voorbeeld van de opdracht bekijken of openen.

Om de opdracht te bekijken of te openen vanuit de module Itemanalyse gaat u als volgt te werk:

• Klik in het overzichtsscherm van alle opdrachten op de drie puntjes rechts van uw opdracht en selecteer Voorbeeld of Opdracht openen.
• Klik in het tabblad Opdracht of Items op de drie puntjes rechtsboven en selecteer Voorbeeld of Open opdracht.

Toegang krijgen tot de  module Itemanalyse

Om toegang te krijgen tot de module Itemanalyse moet u de rol Analist hebben. Beheerders hebben ook toegang, omdat ze alles in de backoffice kunnen zien.

Beperkingen in Itemanalyse

Houd bij het werken in de itemanalyse module rekening met de volgende beperkingen:

• Itemanalyse is enkel beschikbaar voor opdrachten van het type examen. Oefeningen zijn niet inbegrepen.
  Oefeningen worden over het algemeen meerdere keren gemaakt en de deelnemers kunnen vertrouwd raken met de inhoud of vragen, wat leidt tot een vertekening in de moeilijkheidsgraad en discriminatie van de items.
• Opdrachten met on-the-fly itemselectie of adaptieve paden zijn niet opgenomen in de module Itemanalyse. Bij adaptieve of on-the-fly examens krijgen de deelnemers een variabele set vragen.
  De berekening van de psychometrische waarden in assessmentQ vereist dat alle deelnemers dezelfde set vragen in een examen beantwoorden.
• De gegevens in de itemanalysemodule worden één keer per dag bijgewerkt (nachtelijke batch). Als deelnemers de opdracht beëindigen op dezelfde dag dat u de analyse wilt raadplegen, is de itemanalyse pas beschikbaar bij de volgende update.
• Minimum aantal sessies
  Sommige gegevens (bijvoorbeeld de normaalverdeling) kunnen onbetrouwbaar worden wanneer slechts enkele deelnemers het examen hebben afgelegd. Daarom is een minimumdrempel van 10 sessies vereist voordat de gegevens worden gebruikt in berekeningen.
• De informatie op de detailpagina van het item is beschikbaar voor een beperkt aantal itemtypes. Er wordt een melding weergegeven als het itemtype niet wordt ondersteund.
• De A-waarde wordt enkel ondersteund voor meerkeuzevragen met één antwoord en meerkeuzevragen met meerdere antwoorden.