Analyse des items

Dans cet article

Dans cet article, vous trouverez les informations suivantes :

• A propos de l'analyse des items
• Les données psychométriques dans l'analyse des items
• Ouvrir l'analyse des items d'un examen
• Aperçu de l'activité
• Aperçu des items
  • Personnaliser l'aperçu des items
  • Filtrer l'aperçu des items
• Page de détail d'un item
• Exclure une question d'un examen
  • Neutraliser une question
  • Éliminer une question
• Filtrer l'analyse des items d'un examen sur une planification
• Exporter l'analyse des items d'un examen vers Excel
• Ouvrir un rapport d'activité via l'analyse des items
• Prévisualiser ou ouvrir une activité via l'analyse des items
• Accéder au module Analyse des items
• Restrictions dans le module Analyse des items

A propos de l'analyse des items

Dans le module Analyse des items, vous trouverez des informations exploitables sur la qualité et l'efficacité des items dans votre activité et de l'activité dans son ensemble.

Les informations exploitables sont fournies par les valeurs psychométriques. Les valeurs psychométriques comprennent des mesures statistiques telles que la valeur P, les valeurs RIT et RIR, la valeur A, l'alpha de Cronbach et l'écart-type.

Ces valeurs psychométriques vous permettront de prendre des décisions fondées sur des données pour:

• exclure des items de votre examen
• améliorer la qualité de vos items dans la banque d'items pour une utilisation future.

En tant que tel, le module Analyse des items vous fournit un outil puissant et précieux pour vérifier facilement les paramètres de santé de vos items et de vos examens directement dans assessmentQ. Pour une analyse plus approfondie, vous pouvez exporter les données pour les utiliser dans vos propres outils d'analyse.

Données psychométriques dans assessmentQ

Dans le module Analyse des items vous trouverez les données psychométriques suivantes :

• Valeur P (mesure de la difficulté de l'item) :
  La valeur P représente la proportion de participants ayant répondu correctement à un item particulier. Elle indique le niveau de difficulté de la question. Des valeurs P plus faibles indiquent des questions plus difficiles et des valeurs P plus élevées indiquent des questions plus faciles. Cette valeur permet de comprendre dans quelle mesure chaque question permet de distinguer les différents niveaux de performance des participants. En règle générale, une valeur P comprise entre 0,3 et 0,7 est considérée comme idéale pour la plupart des examens.
  
  
• Valeurs RIT et RIR (mesure la corrélation entre une question et la performance globale de l'examen) : ces valeurs vous permettent d'évaluer la contribution de chaque question au score global de l'examen, en vous assurant que chaque question est alignée sur les objectifs de l'examen.
  

  La valeur RIT (Item-Total Correlation) mesure la corrélation entre un item particulier et le score global de l'examen. Elle reflète la mesure dans laquelle une réponse correcte à l'item est liée à une meilleure performance à l'examen dans son ensemble. Une valeur RIT élevée indique que l'item est un bon discriminateur, ce qui signifie que les participants qui obtiennent de bons résultats à l'examen sont plus susceptibles de répondre correctement à cet item.

  La valeur RIR (corrélation Item-Reste) est similaire à la valeur RIT, mais avec une légère différence dans ce qu'elle mesure. Les deux valeurs sont utilisées pour évaluer la corrélation entre un item et la performance globale de l'examen, mais la valeur RIR mesure spécifiquement la corrélation entre un item individuel et le score total de l'examen, à l'exclusion du score de l'item lui-même.

  Une valeur RIT ou RIR de 0,2 ou plus est généralement considérée comme acceptable, les valeurs plus proches de 0,4 ou plus étant idéales pour une meilleure discrimination des items. Une valeur RIR faible (inférieure à 0,2) indique que l'item n'est pas bien corrélé avec le score global de l'examen, ce qui signifie qu'il ne parvient pas à faire la distinction entre les participants performants et ceux qui ne le sont pas. Cela peut indiquer que la question est mal rédigée ou qu'elle ne correspond pas aux objectifs généraux de l'examen.
  En revanche, une valeur RIR élevée (supérieure à 0,4) indique que la question est un discriminant efficace, ce qui signifie que les participants qui obtiennent de bons résultats à l'examen sont plus susceptibles de répondre correctement à cette question, tandis que ceux qui obtiennent de mauvais résultats sont moins susceptibles d'y répondre correctement.
  
  

• Valeur A :
  La valeur A indique l'attrait d'un distracteur (c'est-à-dire un choix incorrect dans une question à choix multiple ou à réponse multiple). La valeur A est comprise entre 0 et 1. Une valeur A de 0 signifie qu'aucun participant ne choisit le distracteur, tandis qu'une valeur de 1 signifie que tous les participants le choisissent.
  Dans assessmentQ, vous trouverez la valeur A dans les pages de détail des items à choix multiple et à réponse multiple. Plus d'informations.
  
  
• Écart-type et courbe de distribution normale:
  L'écart-type mesure la dispersion des scores autour de la moyenne. Un faible écart-type signifie que la plupart des participants ont obtenu des résultats similaires, ce qui se traduit par une courbe de distribution étroite. Un écart-type élevé indique un large éventail de résultats, ce qui se traduit par une courbe de distribution large (plate).
  
  
• Alpha de Cronbach
  L'alpha de Cronbach mesure la cohérence interne d'un examen, indiquant dans quelle mesure les items (questions) sont liés les uns aux autres. Un alpha de Cronbach élevé (supérieur à 0,7) indique que l'examen est fiable, les questions mesurant systématiquement le même concept. Sur une courbe en cloche, cela signifie que les résultats de la plupart des étudiants devraient se situer de manière prévisible autour de la moyenne. Un alpha faible (inférieur à 0,6) implique une faible cohérence interne, ce qui se traduit par des scores plus dispersés sur la courbe.
  
  Ensemble, L'alpha de Cronbach et l'écart-type fournissent des informations sur la fiabilité de l'examen et sur la variabilité des performances des participants.

Ouvrir l'analyse des items d'un examen

Pour ouvrir l'analyse d'un examen, procédez comme suit :

1. Allez sur Analyse > Analyse des items.
   Résultat: La liste de vos examens s'affiche.

   Astuce : Si vous souhaitez personnaliser les colonnes du tableau sur la page d'aperçu, cliquez sur l'icône de tableau dans le coin supérieur droit et (dé)sélectionnez les colonnes de votre choix.

2. Recherchez et/ou filtrez l'examen pour lequel vous souhaitez ouvrir l'analyse des items.

   Notes:

   • L'analyse des items n'est disponible que pour les activités de type examen. Les exercices ne sont pas inclus, voir Restrictions ci-dessous.
   • Aucune analyse des items n'est disponible pour les activités précédés d'une icône en attente. L'icône en attente indique que l'analyse des items doit être mise à jour pour inclure les sessions nouvellement terminées. Les mises à jour sont effectuées une fois par jour. En survolant l'icône, vous verrez quand l'analyse des items sera disponible.
     
3. Cliquez sur l'examen de votre choix.
   Résultat: L'onglet Activité est ouvert, voir Aperçu de l'activité ci-dessous. Si vous voulez, vous pouvez passer à l'onglet Items, voir Aperçu des items ci-dessous.

   Note : Si aucun participant n'a encore terminé l'activité ou si les participants ont terminé l'activité le jour même où vous souhaitez consulter l'analyse, vous verrez un message indiquant quand l'analyse des items sera disponible.

Aperçu de l'activité

L'analyse d'un examen ouvre par défaut l'onglet Activité. Sous l'onglet Activité, vous trouverez un aperçu détaillé regroupant toutes les données au niveau de votre activité.

Exemple :

• En haut à gauche, vous trouverez des données générales sur votre examen (nombre d'items, nombre de participants, score minimum et maximum), le taux de réussite, le temps passé sur l'activité et les scores obtenus.
• En bas à gauche, vous trouverez l'écart-type et la courbe de distribution normale des scores. Vous voyez ici la variation ou la dispersion des scores des items de votre examen.
• En haut à droite dans la section Statistiques, vous voyez un diagramme affichant la valeur P de tous les items de votre examen sur l'axe X et la valeur RIT/RIR de tous les items sur l'axe Y. Vous pouvez basculer entre l'affichage de la valeur P et de la valeur RIT ou de la valeur P et de la valeur RIR.
  Chaque item de votre examen est représenté par un point sur le diagramme, correspondant à sa valeur P et à sa valeur RIT/RIR. Ce diagramme vous permet d'identifier rapidement les items qui pourraient devoir être révisés.
  Les questions situées dans le carré plus clair combinent une valeur P modérée à élevée (environ 0,3 à 0,8) et une valeur RIT/RIR modérée à élevée (environ 0,2 ou plus). Ces questions ne sont ni trop faciles ni trop difficiles et permettent de distinguer les participants les plus performants des moins performants. Les questions situées dans les zones grisées présentent une combinaison moins équilibrée de la valeur P et de la valeur RIT/RIR et peuvent nécessiter un examen plus approfondi.
  

  Note : Vous pouvez cliquer sur un point pour ouvrir la page de détail de l'item, voir Page de détail d'un item ci-dessous.

• En bas de la section Statistics, vous voyez la valeur P moyenne, les valeurs RIT et RIR moyennes et la valeur Alpha de Cronbach de votre examen.
  La valeur P moyenne indique la difficulté globale de l'examen en montrant la proportion de participants ayant répondu correctement à chaque question, ce qui permet de s'assurer que l'examen n'est ni trop facile, ni trop difficile.
  La valeur RIR moyenne mesure le degré de discrimination de l'examen entre les participants ayant des niveaux de compétence différents, ce qui permet de s'assurer que les questions différencient efficacement les participants performants des moins performants.

Aperçu des items

En haut de l'écran d'analyse des items, vous pouvez basculer entre les onglets Activité et Items. Sous l'onglet Items, vous trouverez des informations détaillées sur chaque item de votre examen.

Par exemple, pour chaque question, vous pouvez voir combien de participants y ont répondu au total et combien de réponses étaient correctes, partiellement correctes, incorrectes ou sans réponse. Vous voyez l'affichage de l'item et les valeurs statistiques telles que la valeur P, les valeurs RIR et RIT,...

Exemple :

Personnaliser l'aperçu des items

Vous pouvez utiliser le sélecteur de colonnes pour personnaliser la vue d'ensemble des items en fonction de vos besoins. Ainsi, vous ne verrez que les informations qui sont importantes pour vous.

Filtrer l'aperçu des items

Vous pouvez filtrer l'aperçu des items pour n'afficher que les items que vous souhaitez voir. Vous pouvez utiliser les filtres suivants (en les combinant) :

• Type d'item
• Valeur P
• Valeur RIT
• Valeur RIR

Dans l'exemple ci-dessous, un filtre est défini pour afficher uniquement les questions dont la valeur P est comprise entre 0 et 0,3. Une valeur P faible indique que l'item n'a été répondu correctement que par une faible proportion de participants et suggère donc que l'item a un niveau de difficulté élevé.

Page de détail d'un item

Pour ouvrir une page de détail d'un item, procédez comme suit :

• Sous l'onglet Activité, cliquez sur un point dans le diagramme statistique.
• Sous l'onglet Items, cliquez sur un item dans l'aperçu des items.

Résultat: La page de détail de l'item s'ouvre.

Exemple :

• A gauche, vous trouverez des données générales sur votre item (nom de l'item, type d'item, partie de l'activité dans laquelle il apparaît, score minimum et maximum), les résultats (correct, incorrect, partiellement correct, sans réponse), le temps passé sur l'item, l'item score, l'affichage de l'item et les statistiques de l'item (Valuer P, valeur RIT et valeur RIR).
• À droite, vous voyez des informations détaillées sur les réponses de l'item : les réponses spécifiques de l'item, le nombre de fois que chaque réponse a été donnée, si la réponse était correcte ou non.
  

  Note : Pour les questions à choix multiples et les questions à réponses multiples, la valeur A des distracteurs de la question est ajoutée. Une valeur A de 0 signifie qu'aucun participant n'a choisi le distracteur, tandis qu'une valeur de 1 signifie que tous les participants l'ont choisi.

Les informations figurant sur la page des détails de l'item vous aideront à améliorer la qualité de vos items. Par exemple :

• Il peut être utile de savoir qu'un certain distracteur d'une question à choix multiple n'est jamais sélectionné par les participants. Vous pouvez remplacer ce distracteur par un meilleur.
• Il peut également être utile de savoir quelles réponses sont souvent données dans les questions à trous, afin de mettre à jour l'item et de lui permettre de prendre en compte d'autres réponses possibles.

Exclure une question d'un examen

Lorsque vous vérifiez l'analyse des items de votre examen, il est possible que vous détectiez une question incorrecte ou incomplète. Sur la base de cette information, vous pouvez décider d'exclure des questions de votre examen.

Vous avez deux possibilités pour exclure des questions : vous pouvez soit éliminer, soit neutraliser questions :

• Neutraliser signifie que tous les participants obtiennent le score maximum pour la question. Le score maximum de l'examen ne change pas.

• Éliminer signifie que vous ne tiendrez pas compte des scores de la question car vous retirez la question de l'examen. Le score maximum de l'examen diminue alors.

Neutraliser une question

Pour neutraliser une question dans un examen, procédez comme suit :

1. Ouvrez l'analyse des items de votre choix. Plus d'informations.
2. Ouvrez l'onglet Items. 
3. Cliquez sur les trois points à côté de l'item de votre choix et sélectionnez Neutraliser.
   
   
4. Si vous le souhaitez, ajoutez un commentaire expliquant pourquoi vous voulez neutraliser cette question et cliquez sur Oui.
   Résultat : Tous les participants obtiennent le score maximum pour la question. Le score maximum de l'examen ne change pas. Lorsque les participants revoient leur examen, la question n'apparaît plus. Les participants verront un message indiquant que l'item a été neutralisé.
   
   

Éliminer une question

Pour éliminer une question, procédez comme suit :

1. Ouvrez l'analyse des items de votre choix. Plus d'informations.
2. Ouvrez l'onglet Items. 
3. Cliquez sur les trois points situés à côté de l'item que vous souhaitez éliminer et sélectionnez Éliminer.
   
4. Si vous le souhaitez, ajoutez un commentaire expliquant pourquoi vous voulez éliminer cette question et cliquez sur Qui.
   Résultat: Le score maximum de l'activité est diminuée par le score maximum de la question éliminée. Les scores de cette question ne sont plus prises en compte. Lorsque les participants revoient leur examen, l'item n'apparaît plus. Les participants verront un message indiquant que l'item a été éliminé.
   
   

Filtrer l'analyse des items d'un examen sur une planification

Par défaut, les données que vous voyez dans l'aperçu Activité ou Items sont calculées sur la base de toutes les sessions pour l'examen sélectionné.

Vous pouvez cependant filtrer sur une planification pour recalculer les données sur la base des sessions d'une planification spécifique. Par exemple, si vous souhaitez comparer les performances des participants à un examen dans deux planifications différentes, vous pouvez activer le filtre de planification.

Pour filtrer l'analyse des items sur une planification, procédez comme suit :

1. Ouvrez l'analyse des items de votre choix. Plus d'informations.
2. Dans le coin supérieur droit, sélectionnez la planification sur laquelle vous voulez filtrer.
   Résultat: La couleur du bouton déroulant devient verte, ce qui indique clairement qu'un filtre est utilisé. Les colonnes de données affichées à l'écran sont calculées sur la base des sessions dans la planification.

   Note : Le filtre de planification est appliqué à tous les onglets de l'analyse des items (onglets Activité et Items) et aux pages de détail des items.

3. Désactivez le filtre de planfication pour recalculer les colonnes de données pour toutes les sessions liées à l'activité.

Exportation de l'analyse des items d'un examen vers Excel

En tant qu'analyste, vous pourriez vouloir effectuer des analyses avancées par le biais d'exportations de données.

Pour exporter l'analyse d'un examen vers Excel, procédez comme suit :

• Dans l'aperçu de toutes les activités, cliquez sur les trois points situés à droite de votre activité et sélectionnez Exporter vers Excel.
  
• Dans l'onglet Activité ou items, cliquez sur les trois points dans le coin supérieur droit et sélectionnez Exporter vers Excel.
  
  Résultat: Vous pourrez télécharger le fichier à partir du centre de notification dès que l'exportation sera prête.

Ouvrir un rapport d'activité via l'analyse des items

Lorsque vous consultez l'analyse des items pour une activité, vous pouvez ouvrir le rapport de cette activité.

Pour ouvrir le rapport d'une activité à partir du module Analyse des items, procédez comme suit :

• Dans l'aperçu de toutes les activités, cliquez sur les trois points à droite de votre activité et sélectionnez Ouvrir rapport.
• Dans l'onglet Activité ou Items, cliquez sur les trois points dans le coin supérieur droit et sélectionnez Ouvrir rapport.

Prévisualiser ou ouvrir une activité via l'analyse des items

Lorsque vous consultez l'analyse des items d'une activité, vous pouvez prévisualiser ou ouvrir l'activité.

Pour prévisualiser ou ouvrir l'activité à partir du module Analyse des items, procédez comme suit :

• Dans l'aperçu de toutes les activités, cliquez sur les trois points situés à droite de votre activité et sélectionnez Prévisualiser ou Ouvrir l'activité.
• Dans l'onglet Activité ou Items, cliquez sur les trois points dans le coin supérieur droit et sélectionnez Prévisualiser ou Ouvrir l'activité.

Accéder au module Analyse des items

Pour accéder au module Analyse des items, vous devez avoir le rôle Analyste . Administrateurs ont également accès, car ils peuvent voir tous les modules dans le backoffice.

Restrictions dans l'analyse des items

Lorsque vous travaillez dans le module d'Analyse des items, veuillez noter les limitations suivantes :

• L'analyse des items n'est disponible que pour les activités du type exam. Les exercices ne sont pas inclus.
  Les exercices sont généralement faits plusieurs fois et les participants peuvent se familiariser avec le contenu ou les questions, ce qui entraîne un biais dans la difficulté et la discrimination des items.
• Les activités avec sélection d'items à la volée ou des parcours adaptatifs ne sont pas inclus dans le module d'analyse des items. Dans les examens adaptatifs ou à la volée, les participants reçoivent un ensemble variable de questions. Le calcul des valeurs psychométriques dans assessmentQ exige que tous les participants répondent au même ensemble de questions dans un examen.
• Les données du module d'analyse des items sont actualisées une fois par jour (batch nocturne). Si les participants terminent l'activité le jour même où vous souhaitez consulter l'analyse, l'analyse des items ne sera pas disponible avant la prochaine mise à jour.
• Nombre minimum de sessions
  Certaines données (par exemple, la distribution normale) peuvent devenir peu fiables lorsque seuls quelques participants ont passé l'examen. Par conséquent, un seuil minimum de 10 sessions est requis avant que les données ne soient utilisées dans les calculs.
• Les informations contenues dans la page de détail d'un item sont disponibles pour un nombre limité de typologies. Un message s'affiche si le type d'item n'est pas pris en charge.
• La valeur A n'est prise en charge que pour les questions à choix multiples et les questions à réponses multiples.