Des procédures d’assurance qualité ont été appliquées tout au long de l’évaluation PISA 2022, comme lors des évaluations précédentes. Les normes techniques de l’évaluation PISA 2022 (disponible à l'adresse https://www.oecd.org/pisa/) spécifient la façon dont l’évaluation PISA doit être mise en œuvre dans chaque pays, économie ou entité infranationale. Le Consortium PISA assure le suivi de l'administration de l'évaluation dans chacun des pays, économies et entités infranationales, et vérifient que les normes y sont respectées.
Pour faciliter le processus visant à garantir la qualité et l’équivalence linguistique des instruments de l’évaluation PISA 2022, il a été vérifié que les items ne posaient aucun problème de traduction à partir de la version anglaise. Deux versions sources des instruments d’évaluation, en anglais et en français, ont été préparées (à l’exception des épreuves de culture financière et des manuels d’opérations, disponibles uniquement en anglais). Les pays ont traduit les versions sources anglaise et/ou française selon la méthode de la double traduction (la ou les versions sources sont traduites par deux personnes différentes, dont les deux traductions sont ensuite conciliées par une troisième personne). Des instructions détaillées de localisation des instruments (c’est-à-dire leur adaptation, leur traduction et leur validation) ont été fournies pour permettre de préparer les instruments de l’essai de terrain et les réviser en vue de la campagne définitive. Des directives de traduction et d’adaptation ont également été fournies. Une équipe indépendante de vérificateurs spécialisés, choisis et formés par le Consortium PISA, a vérifié l’équivalence de chaque version nationale aux versions sources anglaise et/ou française. Ces vérificateurs sont des traducteurs qui ont pour langue maternelle la langue d’enseignement du pays concerné et qui connaissent bien son système d’éducation. Pour plus d’informations sur les procédures de traduction, voir le rapport technique sur l’évaluation PISA de 2022, (OCDE, 2024[1]).
L’évaluation a été administrée dans le respect de procédures normalisées. Le Consortium PISA a préparé des manuels détaillés expliquant le mode d'administration de l’évaluation, dans lesquels figuraient notamment des instructions précises concernant le travail des coordinateurs scolaires et des scripts que les administrateurs de test ont été priés de respecter durant les séances d’évaluation. Les propositions d’adaptation des procédures d'administration ou de modification du script des séances d’évaluation ont été soumises au Consortium PISA pour approbation. Le Consortium PISA a ensuite vérifié la traduction et l’adaptation de ces documents réalisées par chaque pays.
Afin de garantir la crédibilité de l’enquête PISA en tant qu’étude valide et non biaisée, et d’assurer autant que faire se peut l’application de procédures uniformes lors des séances d’évaluation, les administrateurs de test des pays et économies participants ont été recrutés en fonction des critères suivants : il a été exigé que l’administrateur de test ne soit pas le professeur de la langue d’évaluation, de mathématiques ou de sciences des élèves participant aux séances qu’il administrerait dans le cadre de l’enquête PISA ; il a été recommandé que l’administrateur de test ne soit pas membre du personnel de l’un des établissements dans lequel il administrerait des séances d’évaluation dans le cadre de l’enquête PISA ; et il a été jugé préférable que l’administrateur de test ne soit membre du personnel d’aucun des établissements constituant l’échantillon PISA. Les administrateurs de test ont assisté aux séances de formation organisées à leur intention par les pays et économies participants.
Les pays et économies participants ont été priés de veiller à ce que les administrateurs de test préparent les séances d’évaluation en collaboration avec les coordinateurs scolaires. Les missions des administrateurs de test sont les suivantes : mettre à jour la liste de présence des élèves, c’est-à-dire un formulaire où sont consignés les élèves présents et les épreuves qui leur sont attribuées ; établir le rapport de séance, un formulaire où sont consignés l’horaire des séances, les événements qui les ont perturbées le cas échéant, etc. ; vérifier que le nombre de carnets de test et de questionnaires remplis par les élèves correspond au nombre envoyé à l’établissement (dans les pays qui ont administré les instruments sur papier) ou que le nombre de clés USB ou d'ordinateurs portables externes pour l'évaluation correspond au nombre prévu (dans les pays qui ont administré les instruments sur ordinateur) ; faire parvenir les questionnaires « Établissement » et « Parents » aux intéressés (le cas échéant) ou les mettre en ligne ; et renvoyer tout le matériel de test (y compris les instruments vierges) au Centre national à l’issue des épreuves.
Le Consortium PISA, qui est responsable de la supervision des opérations, s’est chargé de toutes les phases du processus PISA de contrôle de la qualité : sélection des contrôleurs de la qualité dans chaque pays après entretien avec les candidats, organisation de la formation des contrôleurs de la qualité, sélection des établissements à inspecter, et collecte des informations d’inspection. Les contrôleurs de la qualité sont des contractants indépendants basés dans les pays participants qui sont recrutés par le contractant international chargé des opérations. Ils se rendent dans un certain nombre d’établissements pour observer l’administration des épreuves et rendre compte du respect des procédures d’administration lors de la campagne définitive.
En règle générale, entre deux et quatre contrôleurs ont été recrutés dans chaque pays, où ils ont effectué une visite d’inspection dans une quinzaine d’établissements en moyenne. Des contrôleurs supplémentaires ont dû être recrutés dans les pays où des entités infranationales ont participé à l’évaluation PISA, puisqu’il est nécessaire qu'au moins cinq établissements soient contrôlés afin que les données soient adjugées.
Dans les épreuves de mathématiques, de compréhension de l'écrit et de sciences, environ un tiers des items PISA sont des items à réponse ouverte. Des codeurs fiables sont nécessaires afin de garantir la validité des résultats de l'évaluation au sein d'un pays, ainsi que la comparabilité des données entre les pays. Une évaluation et un compte rendu de la fiabilité des codeurs dans le cadre de l'enquête PISA 2022 ont été réalisés tant à l'échelle nationale qu'internationale. L'évaluation de la fiabilité des codeurs a été rendue possible par la conception d'un codage multiple : pour chaque item à réponse construite, tout ou partie des réponses ont été codées par au moins deux personnes.
Tout au long de l'évaluation PISA 2022, le Consortium a recueilli l'ensemble des données d'assurance de la qualité provenant de chaque entité dont les données ont été adjugées (soit 89 entités comprenant les pays, économies et régions). Ces données ont été compilées dans une base de données centrale d’adjudication portant sur la qualité des opérations sur le terrain, de la traduction et de l’impression des instruments, de l’échantillonnage des établissements et des élèves, et du codage. Ce processus a permis de repérer les problèmes liés aux données et devant faire l'objet d'une adjudication.
Des rapports exhaustifs ont ensuite été rédigés à l’intention du Groupe d’adjudication PISA, composé du Groupe consultatif technique et de l'expert en échantillonnage. Ce groupe a pour mission de passer en revue la base de données d’adjudication afin de formuler des recommandations pour préserver la qualité des données PISA. Pour plus d’informations, voir le rapport technique sur l’évaluation PISA de 2022 (OCDE, 2024[1]).
Dans l'ensemble, l'analyse du Groupe d'adjudication montre que l'administration des épreuves PISA au niveau national est conforme aux normes techniques, malgré des circonstances difficiles lors de la pandémie de COVID-19 ayant influencé les opérations de l'enquête et, de manière plus générale, la scolarité des élèves. La réactivité et la souplesse des pays participants et des contractants internationaux, l'élaboration minutieuse des instruments, les épreuves conçues conformément aux principaux objectifs de présentation des données et étayées par un plan d'échantillonnage approprié, et le recours à des méthodes statistiques pertinentes de mise à l'échelle, permettent d'assurer la grande fiabilité et comparabilité des estimations de population entre les pays et au fil du temps, et notamment pour les résultats de l'évaluation PISA 2018.
Toutefois, plusieurs écarts par rapport aux normes ont été observés et leurs conséquences sur la qualité des données ont fait l'objet d'un examen minutieux. Les tendances globales suivantes relatives auxdits écarts ont été observées :
Sur l'ensemble des entités dont les données ont été adjugées, près d'une sur cinq a affiché un taux d'exclusion supérieur au seuil défini par les normes techniques (norme 1.7).
Sept entités ne sont pas parvenues à atteindre le seuil de participation des établissements, et trois d'entre elles n'ont pu respecter le niveau plus strict de 65 % avant le recours aux établissements de remplacement (norme 1.11). Cette situation est conforme aux précédentes évaluations PISA.
Le nombre d'entités n'ayant pas satisfait au seuil de participation des élèves (norme 1.12) a sensiblement augmenté : 10 entités ne sont pas parvenues à respecter cette norme.
Un nombre important d'entités n'a pas transmis ses données dans les temps impartis (norme 19.1) : 14 entités ne sont pas parvenues à respecter cette norme, et 13 ne l'ont respectée que partiellement. Le Groupe d'adjudication a fait remarquer qu'une transmission tardive des données peut nuire à la qualité du travail des contractants internationaux, mais qu'une réduction des délais impartis risquerait d'empêcher toute compensation des retards.
De nombreuses entités n'ont pas administré l'essai de terrain comme prévu (norme 3.1) ou n'ont pas participé à l'ensemble des réunions (norme 23.1). Si la pandémie peut aussi expliquer cette situation, le Groupe d'adjudication a déclaré que ces manquements peuvent être lourds de conséquences pour les nouveaux participants et les équipes moins expérimentées. Le Groupe a souligné l'importance pour les codeurs de participer aux séances de formation organisées à leur intention afin d'assurer la comparabilité des données.
Au niveau international, ces écarts fréquemment observés doivent orienter les actions que devront prendre le Comité directeur PISA, le Secrétariat de l’OCDE et les contractants pour réviser les normes correspondantes, empêcher de nouveaux écarts ou atténuer leurs conséquences.
Au niveau de chaque pays, économie et région dont les données sont adjugées, ces problèmes d'écarts par rapport aux normes n'ont pas compromis la validité des rapports ni l'adéquation des données dans la majorité des cas. Lorsque que les taux de participation des élèves ou des établissements ne satisfont pas aux normes et entraînent potentiellement un biais de non-réponse/non-participation, les pays et économies sont invités à transmettre des analyses connexes. Les données ainsi communiquées par les pays et économies (et parfois par le contractant chargé de l'échantillonnage) sont examinées par le Groupe d'adjudication.
En juin 2023, les principaux problèmes en matière d'adjudication des données ont fait l'objet d'un examen et d'une discussion du Groupe, dont voici un résumé ci-dessous :
Les 13 entités dont les données sont adjugées citées ci-dessous n'ont pas satisfait à une ou plusieurs normes d'échantillonnage de l'enquête PISA. Voir le Guide du lecteur au début du présent volume pour une description détaillée des problèmes d'échantillonnage rencontrés par chacune de ces 13 entités. Les résultats de ces pays et économies sont accompagnés d'une note. Parmi ces 13 entités, on distingue les deux groupes suivants :
Les entités ayant transmis de solides analyses techniques signalant qu'un faible taux de participation (inférieur aux normes de l'enquête PISA) avait probablement introduit un biais plus que minime dans les estimations : le Canada, l’Écosse, l'Irlande, la Nouvelle-Zélande et le Royaume-Uni.
Les entités n'ayant pas satisfait à une ou plusieurs normes d'échantillonnage et dont les données disponibles à l'heure de l'adjudication ne permettent pas d'exclure la possibilité d'un biais important : l'Australie, le Danemark, les États-Unis, Hong Kong (Chine), la Jamaïque, la Lettonie, le Panama et les Pays-Bas.
En Ukraine, le taux global d'exclusion s'élève à 36.1 % lorsqu'il est calculé sur la base du cadre d'échantillonnage d'origine tenant compte du pays dans son intégralité (voir l'annexe A2). La majorité des exclusions résultait toutefois de l'impossibilité de mener à bien les opérations d'enquête dans les régions les plus touchées par la guerre. Les résultats des autres régions (18 sur 27) ont été jugés recevables, mais la prudence est de mise lors de la comparaison avec les précédents résultats et il convient de garder à l'esprit les différences en termes de populations cibles.
S'agissant des scores du Viet Nam en compréhension de l'écrit, une corrélation solide avec l’échelle PISA de compétence n'a pas pu être établie, car 40 % des items (35 sur 87) étaient spécifiques à ce pays. Dans le présent volume, les résultats du Viet Nam en compréhension de l'écrit sont accompagnés d'une note.
En Jordanie, dans le contexte d'un changement de mode d'administration des épreuves (au profit d'une administration sur ordinateur), la comparabilité des résultats de l'enquête 2022 en compréhension de l'écrit et en sciences sur l'échelle internationale n'a été possible qu'avec l'attribution de nouveaux paramètres à la majorité des items d'ancrage, au détriment de la comparabilité des tendances. Cela explique la recommandation du Groupe d'adjudication visant à limiter les comparaisons de tendance concernant les résultats de la Jordanie en mathématiques.
Neuf autres pays et économies, énumérés ci-dessous, n'ont pas satisfait à l'une des normes d'échantillonnage, sans que le Groupe d'adjudication ne qualifie pour autant ces écarts de substantiels : la Suède (taux global d'exclusion de 7.4 %) ; la Norvège (taux global d'exclusion de 7.3 %) ; la Lituanie (taux global d'exclusion de 6.7 %) ; l'Estonie (taux global d'exclusion de 5.9 %) ; la Suisse (taux global d'exclusion de 5.8 %) ; la Türkiye (taux global d'exclusion de 5.6 %) ; la Croatie (taux global d'exclusion de 5.4 %) ; Malte (taux de participation des élèves de 79 %) ; et le Taipei chinois (taux de participation des établissements de 83 % avant le recours aux établissements de remplacement, puis de 84 % après prise en compte de ces derniers). Aucune note n'accompagne les données de ces pays et économies figurant dans le rapport international.
Si cela n'a pu être imputable au non-respect des normes techniques, le Groupe d'adjudication a également révisé les analyses complémentaires menées pour l'Islande et la Norvège selon lesquelles certains élèves qui passaient les épreuves sur un Chromebook ont eu des difficultés à naviguer entre les différentes composantes de l'évaluation cognitive en raison d'une surcharge du serveur du Consortium PISA. Le Consortium a résolu ce problème lors de l'administration des épreuves, mais 579 élèves en Islande et 584 en Norvège (soit, respectivement, 17.2 % et 8.8 % de l'échantillon final non pondéré) ayant passé les épreuves sur un Chromebook ont toutefois été affectés. D'après l'Islande, les administrateurs de test ont déclaré que le problème avait concerné tout au plus 13 % de l'échantillon final non pondéré, soit 438 élèves. Le Groupe d'adjudication a passé en revue les résultats des analyses complémentaires menées par le Consortium PISA et a confirmé, dans l'ensemble, la validité des données, y compris celles relatives aux élèves ayant passé les épreuves dans ces circonstances, dans la mesure où les réponses correspondaient au modèle et ne différaient pas sensiblement de la performance des élèves observée dans d'autres établissements. Le Groupe a néanmoins fait remarquer que la possibilité que ce problème ait affecté l'engagement et la motivation des élèves à faire de leur mieux lors des épreuves ne pouvait pas être exclue. Voir le rapport technique sur l'enquête PISA de 2022 (OCDE, 2024[1]) pour plus de détails.