Blog – Défis liés à l’échantillonnage des écoles dans les évaluations des apprentissages : l’exemple du PASEC

Tous les pays du monde se sont engagés dans le cadre d’action Éducation 2030, ce qui est une excellente initiative, car l’éducation joue un rôle crucial dans la vie d’une personne et d’une Nation. Comme le disait Nelson MANDELA, c’est « l’arme la plus puissante pour changer le monde ». Les évaluations des apprentissages à large échelle occupent une place importante pour le suivi de certaines cibles de l’ODD4. Les données issues de ces évaluations doivent suivre un processus rigoureux basé sur des principes solides, robustes et partagés.

En effet, les différentes phases du processus de conduite d’une évaluation des apprentissages, comme celle du PASEC, incluent :

• La conception des instruments d’enquête et des procédures de collecte des données ou leur rénovation si ces instruments existent déjà
• La conduite de laboratoires cognitifs pour prétester les items de l’évaluation permettant de recueillir des informations qualitatives, des versions provisoires d’items auprès de quelques écoles
• La mise à l’essai des outils d’évaluation sur un échantillon très réduit d’écoles afin d’analyser le fonctionnement psychométrique des items et d’en sélectionner ceux qui vont constituer les épreuves finales
• L’échantillonnage des écoles dans lesquelles les tests auront lieu
• La collecte de données et leur saisie
• Le traitement et l’analyse des données
• La production et la publication des rapports internationaux, nationaux, des rapports techniques et du manuel d’exploitation des données.

Dans tout ce processus, on peut se rendre compte que la conception des tests permettant de mesurer les performances des élèves et la question de l’échantillonnage des écoles (sélection d’une partie des écoles dans la liste exhaustive des écoles d’un pays donné) constituent d’importantes phases délicates. Pourquoi ? Parce que la qualité des données qui seront issues de l’évaluation dépend en partie de cette phase clé.

En effet, l’échantillonnage impacte le calcul des erreurs types associées à chaque indicateur calculé à la suite de l’évaluation comme la moyenne des élèves, etc. Pourquoi échantillonner les écoles et les élèves ? Parce que les évaluations des apprentissages ne peuvent pas cibler toutes les écoles et par conséquent tous les élèves, sinon les ressources seront gaspillées avec un gain de précision minime. Si les ressources n’étaient pas limitées, il serait plus facile de faire un recensement dans toutes les écoles. Cependant, le financement global des systèmes éducatifs (construction des classes, achat du matériel pédagogique, paiement des salaires du personnel enseignant, gestion du système, gestion sécuritaire et sanitaire etc.) constitue déjà un défi majeur auquel les pays font face de façon récurrente.

Dans la plupart des études nationales et internationales sur les apprentissages, les données sont collectées à partir d’un échantillon et non auprès de la population complète. Les avantages de l’échantillonnage par rapport au recensement sont évidents : 

• La conception des instruments d’enquête et des procédures de collecte des données ou leur rénovation si ces instruments existent déjà
• La conduite de laboratoires cognitifs pour prétester les items de l’évaluation permettant de recueillir des informations qualitatives des versions provisoires d’items auprès de quelques écoles
• La mise à l’essai des outils d’évaluation sur un échantillon très réduit d’écoles afin d’analyser le fonctionnement psychométrique des items et d’en sélectionner ceux qui vont constituer les épreuves finales
• L’échantillonnage des écoles dans lesquelles les tests auront lieu
• La collecte de données et leur saisie
• Le traitement et l’analyse des données
• La production et la publication des rapports internationaux, nationaux, des rapports techniques et du manuel d’exploitation des données.

De manière générale, la sélection d’échantillons de qualité est essentielle. Seuls les échantillons soigneusement choisis et représentatifs de la population permettent d’obtenir des estimations non biaisées, précises et comparables au niveau non seulement national, mais aussi international. Pour obtenir un échantillon de qualité, trois questions majeures doivent être abordées : (i) quelle est la population à étudier et comment la circonscrire ? ; (ii) quelle procédure d’échantillonnage mettre en œuvre, compte tenu des contraintes pratiques et des questions de recherche ? ; (iii) quelle taille attribuer à l’échantillon ?

Quelle est la population à étudier ?

Depuis la création du PASEC, l’option a été faite d’étudier les cibles définies en fonction d’une année d’études. Les évaluations du PASEC visent à évaluer le niveau de compétences des élèves en compréhension de l’écrit et en mathématiques, à identifier les facteurs associés à leurs performances en vue d’améliorer l’efficacité et l’équité des systèmes éducatifs, et à recenser les difficultés scolaires des élèves en grade 2. Ainsi, le PASEC évalue les élèves d’un niveau d’études donné, mais pas d’une tranche d’âge donnée. Les populations cibles pour un pays donné incluent tous les élèves inscrits en grade 2, grade 5/6, et grade 9/10, quel que soit le type d’écoles (écoles publiques, privées, communautaires, etc.).

Les évaluations du PASEC visent à évaluer le niveau de compétences des élèves en compréhension de l’écrit et en mathématiques, à identifier les facteurs associés à leurs performances en vue d’améliorer l’efficacité et l’équité des systèmes éducatifs, et à recenser les difficultés scolaires des élèves en grade 2.

Cependant, à côté de la population cible qui devrait inclure tous les élèves éligibles, on définit la population effective après avoir pris en compte les exclusions documentées avec chaque pays participant. Parmi les exclusions automatiques, nous avons les écoles qui ne relèvent pas de l’autorité nationale, c’est-à-dire les écoles internationales qui ne suivent pas le programme scolaire national.

Les exclusions secondaires sont celles qui sont liées par exemple à des cas d’insécurité ou de force majeure, et font l’objet de discussions avec les pays pour analyser les motivations et leur importance afin de ne pas altérer la comparabilité des données. Quelles qu’en soient les raisons, quel que soit le niveau auquel elles s’opèrent, la réduction de la population cible et/ou les exclusions sont quantifiées par le PASEC et documentées.

Conception/finalisation des Bases de sondage : une phase très importante

Une autre problématique importante est la Base de sondage qui sert de référence pour la sélection des écoles. Cette base doit couvrir au mieux l’ensemble des écoles ciblées d’un pays donné. La Base de sondage est en quelque sorte la liste complète des écoles ayant au moins un élève dans les classes ciblées. Dans le cas du PASEC, il existe une Base de sondage pour les écoles primaires et une pour les établissements secondaires. Selon les procédures du PASEC et de façon générale, chaque Base de sondage d’un pays doit respecter des critères précis :

• Chaque ligne de la base doit représenter une et une seule école et chaque école doit disposer des informations suivantes : (a) un identifiant unique ; (b) sa taille déclinée selon les différentes classes ; (c) au moins une variable de stratification ; (d) l’information sur l’exclusion ou non et (e) les raisons de son éventuelle exclusion ;
• La précision sur l’année à laquelle la base de sondage fait référence. Par exemple, pour une enquête qui doit avoir lieu en 2025, s’agit-il d’une base de 2024 ? Une base de 2023 ? Ou une base de 2022 ? Plus l’année de la base est lointaine, plus il y a de chances d’avoir un échantillon qui ne reflète pas la réalité actuelle des choses.

Lorsque le PASEC reçoit la Base de sondage d’un pays et malgré le fait que les responsables en charge de ces bases dans le pays doivent faire les principales vérifications recommandées, une procédure de vérification est lancée par le PASEC. Il s’agit de:

• Vérifier si, certaines données ne sont pas manquantes, notamment : l’identifiant de chaque école, la mesure de la taille de l’école répartie par classe, les informations sur les variables de stratification.
• S’assurer qu’une même école n’est pas répertoriée plusieurs fois dans la base. Ce processus est connu sur le vocal « vérification de l’existence de doublons ».
• Estimer la vraisemblance des mesures de taille communiquées (au cas où certaines tailles d’école semblent être suspectes).

Dans le cas où des incohérences sont relevées dans une Base de sondage, le PASEC entame ensuite des discussions avec le pays afin de procéder aux corrections et finaliser la Base de sondage.

En se basant sur plusieurs années d’expérience, la problématique de la qualité des Bases de sondage des écoles reste toujours posée. Au-delà de ces Bases de sondage, il est important de veiller sur la qualité des Systèmes d’Information sur la Gestion de l’Education (SIGE).

Taille et tirage de l’échantillon

Dans une évaluation des apprentissages comme celle du PASEC, les estimations doivent être faites tant pour les variables de niveau « élève » que pour les variables de niveau « école ». À cet effet, pour obtenir des estimations fiables pour chacune de ces unités d’analyse, il convient de respecter des normes en termes de taille d’échantillon minimum.

Au départ, le plan de sondage du PASEC est élaboré à partir d’un coefficient de corrélation intra classe. C’est sous cette hypothèse et en utilisant les tables d’équivalence entre taille de sous échantillon, taille d’échantillon et coefficient de corrélation intra classe, que les évaluations du PASEC jusqu’en 2000 portaient sur un échantillon de 120 écoles à raison de 25 élèves par écoles. À partir des évaluations de 2003, la taille d’échantillon est remontée à 150 écoles à raison de 15 élèves par école sur la base de la connaissance des coefficients de corrélation intra classe issue des évaluations effectuées dans plusieurs pays d’Afrique subsaharienne. Les différentes évaluations menées par le PASEC ont pu établir des valeurs du coefficient de corrélation intra classe entre 0.3 et 0.5 jusqu’en 2012 et entre 0.45 et 0.65 entre 2014 et 2019. La taille standard d’échantillon du PASEC a été stabilisée à 180 écoles pour 20 élèves par école. 

Le tirage des échantillons du PASEC est basé sur la sélection d’écoles avec une probabilité proportionnelle à leur taille. Cette sélection est celle qui est aussi utilisée dans la plupart des évaluations internationales des apprentissages.

Afin de satisfaire à certaines exigences nationales pour des analyses détaillées au niveau national, la taille d’échantillon standard est portée à 200 écoles pour 28 élèves en grade 5/6. L’échantillon du grade 5/6 est l’échantillon standard du PASEC.

Le principe fondamental du plan d’échantillonnage du PASEC est celle de donner à tous les élèves de la population cible une probabilité ou chance d’appartenir à l’échantillon final. En ce sens, il se base sur un choix aléatoire des élèves à enquêter. Le tirage des échantillons du PASEC est basé sur la sélection d’écoles avec une probabilité proportionnelle à leur taille. Cette sélection est celle qui est aussi utilisée dans la plupart des évaluations internationales des apprentissages.

Principaux défis

Le tirage des échantillons n’est pas sans défi dans plusieurs pays d’Afrique subsaharienne où parfois le recensement des écoles se fait de façon annuelle et parfois non systématique. Des Bases de sondage sont parfois conçues uniquement lorsque l’évaluation PASEC doit être réalisée pour le pays, ce qui met à rude épreuve les acteurs en charge de produire la liste exhaustive des écoles sans oublier la qualité de la Base de sondage produite.

Au-delà de ce qui précède, de façon générale et systématique, le PASEC fait face aux défis suivants pour disposer de Bases de sondage robustes dans la plupart des pays participants :

• Des retards dans l’envoi des Bases de sondage.
• Des Bases de sondage non conformes au format recommandé par le PASEC.
• Des Bases de sondage non actualisées et datant de plusieurs années.
• Des Bases de sondage incomplètes.
• Des variables mal renseignées (notamment le nombre de classes et d’élèves des grades ciblés, le nombre total de classes et d’élèves, la précision sur la langue d’enseignement par école, la zone d’implantation de l’école, le type d’école, les exclusions, etc.).
• Des Variables de stratification non renseignées ou partiellement renseignées.
• L’absence d’identifiant national pour certaines écoles.
• Des doublons sur les identifiants nationaux des écoles.
• L’absence d’effectifs pour les niveaux ciblés de l’enquête (grade 2/3, grade 5/6 et grade 9/10).
• Parfois un manque de données sur l’effectif des enseignants au primaire.
• Le nombre total d’écoles et d’élèves incohérent par rapport aux années antérieures.

Toutes ces situations doivent être obligatoirement réglées avant la sélection effective des écoles qui doivent participer aux tests. Le règlement de toutes ces situations engendre parfois des retards dans la finalisation des échantillons dans un délai raisonnable. Ces défis soulignent l’importance de renforcer en amont la qualité des Bases de sondage et des systèmes d’information pour une évaluation efficace des apprentissages.

Au regard de tout ceci, il est important de mettre encore plus d’énergie lors de la conception/finalisation des SIGE. Dans cette logique, le PASEC est disposé à accompagner les pays dans la finalisation des Bases de données servant pour les annuaires statistiques et de façon générale pour la gestion de l’éducation.