Analyse psychométrique des données

L’analyse psychométrique des tests cognitifs, dans un contexte international, doit répondre à plusieurs questions fondamentales, parmi lesquelles on peut citer :

1. Le test mesure-t-il une seule dimension latente ? En d’autres termes, le test est-il unidimensionnel ?
2. Les différents items qui composent le test, mesurent-t-ils la même variable latente que le test dans sa globalité ?
3. Les items s’ajustent-ils au modèle de la réponse et aux items adoptés dans le cadre de l’étude ?
4. Certains items favorisent-ils un groupe au détriment d’un autre ? En d’autres termes, l’item présente-t-il un fonctionnement différentiel ?

Par ailleurs, l’un des objectifs de l’évaluation PASEC2014 est de présenter la description des compétences des élèves de 6^e et de 2^e année sur une échelle de niveaux. Pour répondre à toutes ces questions, le PASEC a utilisé la théorie de réponse à l’item comme méthode d’analyse psychométrique des tests.

L’analyse psychométrique s’est déroulée en deux grandes phases : les analyses menées lors de la mise à l’essai des instruments, et celles menées lors de la collecte définitive de 2014. Dans chacune de ces deux phases, les analyses psychométriques pour chaque discipline ont suivi les trois étapes suivantes :

• Analyses nationales :
  1. Analyse du fonctionnement des items par livret (6^e année uniquement);
  2. Analyse du fonctionnement des items tous livrets confondus.
• Synthèse des analyses nationales :
  1. Analyse du fonctionnement différentiel des items ;
  2. Analyse du fonctionnement différentiel du test.
• Analyses internationales :
  1. Calibration internationale des items ;
  2. Calcul des scores élèves.

Analyse psychométrique des données de la mise à l’essai

Les analyses menées sur les données de l’essai sur le terrain ont pour principal objectif d’améliorer les instruments de mesure. Les résultats ont été largement discutés avec les développeurs de tests pour identifier les items défectueux et isoler les causes potentielles de ce dysfonctionnement pour y remédier pour la collecte définitive des données. Les items qui ne sont défectueux que dans un pays donné devront attirer l’attention et les équipes nationales devront déterminer si ce dysfonctionnement spécifique n’est pas causé par un problème de traduction, d’adaptation ou d’impression.

Analyse psychométrique des données de la collecte définitive

L’analyse des données cognitives dans le cadre de la collecte définitive de l’évaluation PASEC2014 a poursuivi d’autres objectifs. Il ne s’agit plus d’étudier les propriétés psychométriques des items en vue d’une amélioration des instruments de mesure mais bien d’estimer les paramètres de la distribution des performances des élèves et les relations que ces compétences entretiennent avec certains contextes familiaux ou scolaires.

Cependant, les analyses menées lors de la collecte définitive des données ne diffèrent pas fondamentalement de celles de la mise à l’essai. En effet, les analyses nationales et la synthèse ont permis d’identifier quelques items résiduels qui continuent de dysfonctionner. L’identification des causes potentielles de ces dysfonctionnements a permis de déterminer si l’item est maintenu ou supprimé, tant au niveau international qu’au niveau national.

La troisième étape, spécifiquement le calcul des scores, peut suivre une méthodologie différente pour la collecte définitive. La méthodologie adoptée pour le calcul des scores se base sur une approche avec tirage de cinq valeurs plausibles. Cette approche a nécessité d’intégrer dans le modèle de réponse à l’item, les variables contextuelles après de multiples recodages. Egalement, des modèles dits « multidimensionnels » ont été utilisés pour estimer les scores des élèves par sous domaine de chaque discipline en plus des scores globaux.

Enfin, pour faciliter l’interprétation des scores, comme il est d’usage de le faire à l’instar des programmes internationaux, le PASEC rapporte les résultats des élèves sur une échelle internationale de moyenne 500 et d’écart-type 100.