Cette annexe des résultats du PISA 2022 donne des détails techniques complémentaires sur la couverture de la population cible de l'enquête, à savoir les jeunes de 15 ans, sur la représentativité des échantillons nationaux entre les pays et économies participants ainsi que sur l'ajustement de la procédure d'échantillonnage permettant de présenter fidèlement les différents systèmes d'éducation à travers le monde.
Résultats du PISA 2022 (Volume II)
Apprentissage en période de crise et résilience
Description
L'enquête PISA 2022 évalue les résultats cumulés de l'enseignement et de l'apprentissage à un moment où la plupart des jeunes sont encore scolarisés dans l'enseignement formel, c'est-à-dire à l'âge de 15 ans.
Les enquêtes internationales sur l'éducation doivent garantir la comparabilité des populations nationales cibles des différents pays et économies participants. Une façon d'y parvenir est d'évaluer les élèves de la même année d'études. Les différences liées à la nature et l'importance des structures d’éducation et d’accueil de la petite enfance, l'âge du début de l'enseignement primaire et la structure institutionnelle des systèmes d'éducation des différents pays rendent toutefois impossible toute définition de niveaux de scolarité comparables au niveau international.
D'autres enquêtes internationales antérieures ont défini leur population cible sur la base de l'année d'études la plus représentative d'une cohorte d'âge particulière. Toutefois, selon cette définition, la population cible demeure particulièrement sensible à la répartition des élèves selon l'âge et l'année d'études, et de légères modifications de la période d'administration de l'évaluation ou de la date de début de l'enseignement primaire peuvent mener à la sélection de différents niveaux de scolarité cibles. Des différences entre les pays ou au sein même des pays peuvent également s'observer quant à la présence d'élèves plus jeunes ou plus âgés que la cohorte d'âge cible dans l'année d'études modale, ce qui complexifie davantage la comparaison de ces échantillons basés sur l'année d'études.
L'enquête PISA a contourné ce problème en définissant sa population cible à un âge précis, c'est-à-dire indépendamment des structures institutionnelles des systèmes nationaux d'éducation.1 Le PISA évalue les élèves âgés de 15 ans et 3 mois (révolus) à 16 ans et 2 mois (révolus)2 au début de la période d'évaluation, avec une variation d'un mois, inscrits dans un établissement d'enseignement3 en 7e année ou dans une année d'études supérieure. Tous les élèves qui satisfont à ces critères sont admissibles aux épreuves du PISA 2022, quel que soit le type d'établissement qu'ils fréquentent et qu'ils soient scolarisés à temps plein ou à temps partiel. Cela permet également à l'enquête PISA d'évaluer les élèves peu de temps avant qu'ils ne soient confrontés à des choix de vie importants, comme poursuivre leurs études ou entrer sur le marché du travail.
L'enquête PISA permet donc de recueillir des résultats sur les connaissances et les compétences d'un groupe d'individus nés dans une période de référence comparable, mais susceptibles d'avoir vécu des expériences d'apprentissage différentes dans le cadre scolaire et extrascolaire. Qui plus est, en fonction des pays et économies, et des filières ou voies d’éducation proposées dans leur système d'éducation respectif, les élèves ne sont pas nécessairement inscrits dans la même année d’études. Il est essentiel de tenir compte de ces différences lors de la comparaison des résultats de l'évaluation PISA entre les pays et économies participants. En outre, des écarts de performance observés entre des élèves de 15 ans peuvent s'atténuer ou disparaître complètement à un âge plus avancé.
Lorsqu'un pays obtient un score moyen significativement supérieur à un autre pays en mathématiques, en compréhension de l'écrit ou en sciences, il ne faut pas en conclure automatiquement que son système d'éducation ou ses établissements sont plus efficaces. En revanche, on peut tout à fait en déduire que l'impact cumulé des expériences d'apprentissage vécues de la prime enfance à l'âge de 15 ans, tant à la maison qu'à l'école ou ailleurs, a produit les meilleurs résultats du pays dans les domaines évalués par l'enquête PISA4.
Quelle que soit l'enquête, la précision de ses résultats dépend de la qualité des données des répondants ainsi que des procédures d'échantillonnage. Des normes, des procédures, des instruments et des mécanismes de vérification de la qualité ont été élaborés dans le cadre de l'enquête PISA afin de garantir la comparabilité des informations recueillies dans les échantillons nationaux et d'assurer la fiabilité des comparaisons internationales des résultats. Les experts du Consortium PISA ont effectué la sélection des échantillons dans la plupart des pays et économies participants, et ont suivi de près ce processus dans les pays qui ont choisi de sélectionner leurs propres échantillons.
En 2022, tous les échantillons PISA ont été conçus comme des échantillons stratifiés à deux degrés. Au premier degré, on a échantillonné des établissements scolarisant des élèves de 15 ans. Les établissements ont été échantillonnés systématiquement selon des probabilités de sélection proportionnelles à leur taille, laquelle était fonction du nombre estimé d'élèves âgés de 15 ans (donc admissibles). Dans chaque pays, au moins 150 établissements5 ont été sélectionnés, même si, dans de nombreux cas, un échantillon plus important a été constitué à des fins d'analyse nationale. Dans le même temps, des établissements de remplacement ont été identifiés dans le cas où un établissement initialement échantillonné choisirait de ne pas participer à l'évaluation PISA.
Le second degré du processus d'échantillonnage a consisté à sélectionner les élèves dans les établissements échantillonnés. Une fois les établissements sélectionnés, la liste des élèves de 15 ans qui y étaient scolarisés a été dressée. Dans cette liste, 42 élèves ont été sélectionnés de manière aléatoire (si la liste comptait moins de 42 élèves admissibles, tous les élèves de 15 ans ont été sélectionnés). Après accord du contractant chargé de l'échantillonnage de l'enquête PISA, le nombre cible d'élèves à échantillonner pour chaque établissement pouvait être compris entre 20 et 42 élèves.
Les normes de qualité concernant les données de l'enquête PISA imposent un taux de participation minimum, tant pour les établissements que pour les élèves, afin de minimiser le potentiel biais résultant de la non-réponse. En effet, dans les pays respectant ces normes, il est probable que le biais résultant de la non-réponse soit négligeable, soit généralement inférieur à l'erreur d'échantillonnage.6
Au moins 85 % des établissements initialement sélectionnés pour participer à l'enquête PISA devaient accepter d'administrer le test, après contrôle du nombre d'élèves de 15 ans scolarisés. Cependant, lorsque le taux initial de participation des établissements se situait entre 65 % et 85 %, le recours à des établissements de remplacement a permis d'obtenir un taux de participation acceptable.
Lorsqu'un établissement est sélectionné pour participer à l'enquête PISA, deux autres établissements — avec des caractéristiques similaires au regard des critères statistiques utilisés pour l'échantillonnage — le sont également en tant qu'établissements de remplacement, pour parer à l'éventualité d'une non-participation ou tout autre imprévu. Toutefois, malgré les similitudes statistiques, un biais d'échantillonnage peut encore être introduit lorsque les établissements de remplacement diffèrent des établissements initialement échantillonnés en présentant des caractéristiques différentes de celles considérées pour l'échantillonnage. Les pays et économies ont donc été encouragés à convaincre le plus grand nombre possible d'établissements de l'échantillon initial de participer à l’évaluation.
Les établissements intégrés à l'échantillon, mais dont le taux de participation des élèves est compris entre 25 % et 50 % ne sont pas considérés comme participants, mais leurs résultats (tant à l'évaluation cognitive qu'aux questionnaires contextuels) ont été inclus dans la base de données et ont été pris en compte dans l'estimation des divers indicateurs dérivés de l'évaluation. En revanche, les résultats des établissements dont le taux de participation des élèves est inférieur à 25 % n'ont pas été inclus dans la base de données.
Dans l'enquête PISA 2022, 14 pays et économies, à savoir les États-Unis (51 %), Hong Kong (Chine) (60 %), la Nouvelle-Zélande (61 %), les Pays-Bas (66 %), le Royaume-Uni (67 %), la Communauté flamande (Belgique) (72 %), les régions ukrainiennes (18 sur 27) (80 %), la Belgique (80 %), le Brésil (81 %), le Canada (81 %), le Taipei chinois (83 %), la Lettonie (84 %), le Panama (84 %) et le Chili (84 %), n'ont pas atteint le taux pondéré de participation des établissements fixé à 85 % ; et trois d'entre eux n'ont pas atteint le seuil de participation établi à 65 % parmi les établissements sélectionnés initialement pour prendre part à l'évaluation. Même après le recours aux établissements de remplacement, sept pays n'ont pas atteint un taux de participation acceptable, il s'agit des États-Unis (63 %), de la Nouvelle-Zélande (72 %), de Hong Kong (Chine) (80 %), du Royaume-Uni (82 %), du Taipei chinois (84 %), du Canada (86 %) et des Pays-Bas (90 %).7 Tous les autres pays et économies participants ont atteint le seuil de participation acceptable après la prise en compte des établissements de remplacement.
L'enquête PISA 2022 exigeait également un seuil de participation de 80 % pour les élèves sélectionnés au sein des établissements participants. Ce seuil a été calculé au niveau national et ne devait pas nécessairement être atteint dans chaque établissement participant. Des séances de rattrapage ont été imposées dans les établissements où un nombre insuffisant d'élèves avait participé aux séances d'évaluation planifiées. Le taux de participation des élèves a été calculé dans tous les établissements de l'échantillon initial et dans tous les établissements participants, y compris dans les établissements de remplacement. Les élèves qui ont participé à la séance d'évaluation planifiée ou à la séance de rattrapage ont été pris en compte dans le calcul de ce taux de participation ; ceux qui ont seulement répondu au questionnaire ont été inclus dans la base de données internationale et pris en compte dans les statistiques présentées dans ce rapport s'ils ont indiqué au moins la profession de l'un ou l'autre de leur parent.
Les neuf pays et économies suivants ne sont pas parvenus à respecter le seuil de participation des élèves fixé à 80 % : la Jamaïque (68 %), la Nouvelle-Zélande (72 %), le Royaume-Uni (75 %), Hong Kong (Chine) (75 %), l'Australie (76 %), l'Irlande (77 %), le Panama (77 %), le Canada (77 %) et Malte (79 %).
Le tableau I.A2.6 indique le taux de participation des élèves et des établissements, avant et après le recours aux établissements de remplacement.
La colonne 1 indique le taux pondéré de participation des établissements avant le recours aux établissements de remplacement ; ce taux équivaut au nombre indiqué dans la colonne 2 divisé par le nombre indiqué dans la colonne 3 (multiplié par 100 pour obtenir un pourcentage).
La colonne 2 indique le nombre d'établissements participants avant le recours aux établissements de remplacement, pondéré en fonction des effectifs d'élèves.
La colonne 3 indique le nombre d'établissements échantillonnés avant le recours aux établissements de remplacement, pondéré en fonction des effectifs d'élèves. Le nombre indiqué inclut les établissements participants et les établissements non participants.
La colonne 4 indique le nombre non pondéré d'établissements participants avant le recours aux établissements de remplacement.
La colonne 5 indique le nombre non pondéré d'établissements échantillonnés avant le recours aux établissements de remplacement, qu’il s’agisse d’établissements participants ou non participants.
Les colonnes 6 à 10 reprennent les colonnes 1 à 5 pour l'échantillon final après le recours aux établissements de remplacement, c'est-à-dire après le remplacement des établissements non participants par des établissements de remplacement identifiés lors de la procédure initiale d'échantillonnage.
Les colonnes 11 à 15 reprennent les colonnes 6 à 10, mais pour les élèves des établissements après le recours aux établissements de remplacement. Il convient de noter que les nombres pondérés et non pondérés d'élèves échantillonnés (voir les colonnes 13 à 15) incluent les élèves évalués et les élèves qui auraient dû être évalués, mais étaient absents le jour de l'évaluation. Comme mentionné précédemment, les élèves des établissements où le taux de participation des élèves était inférieur à 50 % n'ont pas été considérés comme scolarisés dans les établissements participants et ont donc été exclus des colonnes 14 et 15 (et, de la même manière, des colonnes 4, 5, 9 et 10).
Tous les pays et économies se sont efforcés d'obtenir une représentativité optimale des effectifs d'élèves de 15 ans dans leurs échantillons nationaux et y ont inclus les élèves scolarisés dans des établissements d'enseignement spécialisé. Les normes techniques ainsi utilisées dans l'enquête PISA permettent seulement aux pays et économies d'exclure jusqu'à 5 % d'élèves et d'établissements de leur population cible théorique (soit les élèves de 15 ans scolarisés en 7e année d'études ou à un niveau supérieur).
Les seize pays et économies suivants ne sont pas parvenus à respecter cette norme dans l'évaluation PISA 2022 : les régions ukrainiennes (18 sur 27) (14.9 %), le Danemark (11.6 %), les Pays-Bas (8.4 %), la Lettonie (7.9 %), la Suède (7.4 %), la Norvège (7.3 %), l'Australie (6.9 %), l'Écosse (Royaume-Uni) (6.6 %), la Lituanie (6.5 %), les États-Unis (6.1 %), l'Estonie (5.9 %), le Canada (5.8 %), la Suisse (5.8 %), la Nouvelle-Zélande (5.8 %), la Türkiye (5.6 %) et la Croatie (5.4 %). Dans 31 pays et économies, le taux global d'exclusion est inférieur à 2 % (voir le tableau I.A2.1). Une fois les exclusions d'élèves pour raisons linguistiques comptabilisées8 (c'est-à-dire soustraites du taux global d'exclusion), les taux d'exclusion aux États-Unis, en Suisse et en Türkiye passent sous la barre des 5 %. En Ukraine, la quasi-totalité des élèves exclus l'a été en raison de la guerre. Pour plus d'informations, consultez le rapport technique sur l'enquête PISA 2022 (OCDE, 2023[1]).
Les exclusions contenues dans les limites précisées ci-dessus comprennent :
Au niveau des établissements :
les établissements géographiquement inaccessibles ou dans lesquels l'enquête PISA a été jugée impossible à administrer ;
les établissements accueillant exclusivement des élèves relevant des catégories définies sous la rubrique des exclusions « intra-établissement », tels que les établissements pour les élèves ayant des besoins spécifiques.
Le pourcentage d'élèves de 15 ans inscrits dans ces établissements doit être inférieur à 2.5 % de la population nationale cible théorique (0.5 % maximum dans la première catégorie d'établissements et 2 % maximum dans la deuxième). L’ampleur, la nature et la justification des exclusions réalisées au niveau des établissements sont documentées dans le rapport technique sur l'enquête PISA 2022 (OCDE, 2023[1]). Par ailleurs, en raison des différences observées quant à la date de réouverture des établissements et du retour à l'enseignement en présentiel à temps plein suite à la pandémie de COVID-19, un code relatif à l'exclusion d'élèves a été ajouté dans l'enquête PISA 2022 (code 6) pour tenir compte des élèves scolarisés, mais suivant un enseignement à distance.
Au niveau des élèves :
les élèves atteints d'un handicap intellectuel, c'est-à-dire un handicap mental ou émotionnel entraînant un retard cognitif tel que l'élève n'est pas apte à passer les épreuves PISA ;
les élèves atteints d'un handicap fonctionnel, c'est-à-dire un handicap physique permanent modéré à grave qui les rend inaptes à passer les épreuves PISA ;
les élèves dont les compétences dans la langue d'évaluation sont limitées. Ces élèves sont incapables de lire ou de parler l'une ou l'autre des langues d'évaluation du pays à un niveau suffisant, et ne peuvent surmonter cette barrière linguistique dans le cadre des épreuves PISA. Ce sont généralement des élèves qui ont suivi moins d'un an d'enseignement dans la langue d'évaluation ;
les élèves n'assistant pas à des cours en présentiel ou ne se rendant pas à l'école lors de la période d'administration des épreuves du PISA, mais dont l'ensemble des cours se déroule plutôt en ligne ;
autres exclusions — catégorie définie par les centres nationaux PISA dans chaque pays participant et approuvée par le consortium international PISA ;
les élèves suivant un enseignement dans le domaine majeur d'évaluation donné dans une langue pour laquelle aucune ressource n'est disponible.
Les élèves ne peuvent être exclus au seul motif d'un faible niveau de compétences ou de problèmes de discipline courants. Le pourcentage d'individus âgés de 15 ans exclus au sein des établissements doit être inférieur à 2.5 % de la population nationale cible théorique.
Le tableau I.A2.1 présente la population cible des pays et économies qui ont participé à l'enquête PISA 2022. Des informations plus détaillées sur la population cible et la mise en œuvre des normes d'échantillonnage se trouvent dans le rapport technique sur l'enquête PISA 2022 (OCDE, 2023[1]).
La colonne 1 indique la population totale d'individus âgés de 15 ans, calculée sur la base des informations les plus récentes, soit celles de 2021 (l'année précédant celle de l'évaluation) dans la plupart des pays et économies.
La colonne 2 indique le nombre total d'individus âgés de 15 ans inscrits dans un établissement d'enseignement en 7e année ou dans une année d'études supérieure, qui représente la « population admissible ».
La colonne 3 indique la population nationale cible théorique. Les pays et économies ont été autorisés à exclure jusqu'à 0.5 % des élèves de leur population admissible a priori, essentiellement pour des raisons pratiques et sous réserve d'approbation du consortium PISA.
La colonne 4 indique le nombre d'élèves scolarisés qui ont été exclus de la population nationale cible théorique soit au moment de la constitution de l'échantillon, soit ultérieurement, lors de la collecte des données sur le terrain. En d'autres termes, il s'agit d'exclusions au niveau des établissements.
La colonne 5 indique la population nationale cible théorique, déduction faite des élèves scolarisés dans des établissements exclus. Ce chiffre s'obtient en soustrayant le nombre de la colonne 4 du nombre de la colonne 3.
La colonne 6 indique le pourcentage d'élèves scolarisés dans des établissements exclus, un chiffre obtenu en divisant le nombre de la colonne 4 par le nombre de la colonne 3, puis en multipliant le total obtenu par 100.
La colonne 7 indique le nombre d'élèves qui ont participé à l'enquête PISA 2022. Dans certains cas, ce nombre exclut les jeunes de 15 ans soumis à une évaluation dans le cadre d'options nationales supplémentaires.
La colonne 8 indique le nombre pondéré d'élèves participants, c'est-à-dire le nombre d'élèves de la population nationale cible représentés par l'échantillon PISA.
La colonne 9 indique le pourcentage d'élèves exclus au sein des établissements. Dans chaque établissement échantillonné, tous les élèves admissibles, c'est-à-dire les individus de 15 ans quelle que soit leur année d'études, ont d'abord été répertoriés, puis une liste indiquant les motifs de l'exclusion des élèves échantillonnés à exclure a été établie. Les différentes catégories de ces motifs sont définies et classées dans le tableau I.A2.4.
La colonne 10 indique le nombre pondéré d'élèves exclus au sein des établissements, c'est-à-dire le nombre total d'élèves exclus de la population nationale cible, représenté par le nombre d'élèves exclus de l'échantillon. Ce nombre pondéré est également défini et classé selon différentes catégories d'exclusion dans le tableau I.A2.4.
La colonne 11 indique le pourcentage d'élèves exclus au sein des établissements. Ce pourcentage est calculé en divisant le nombre pondéré d'élèves exclus (colonne 10) par le nombre pondéré d'élèves exclus et participants (somme des colonnes 8 et 10), et en multipliant le tout par 100.
La colonne 12 indique le taux global d'exclusion qui représente le pourcentage pondéré de la population nationale cible théorique exclue de l'enquête PISA, soit au niveau des établissements soit au niveau des élèves au sein des établissements. Il équivaut à la somme du taux d'établissements exclus (colonne 6) et du taux d'exclusion intra-établissement multiplié par un, moins le pourcentage d'élèves exclus dans les établissements exprimé en nombre décimal (le nombre de la colonne 6 divisé par 100).9
La colonne 13 indique la mesure dans laquelle l'échantillon PISA est représentatif de la population nationale cible théorique. Comme indiqué précédemment, 15 pays et économies n'ont pas atteint le taux de couverture de 95 %. Ce taux est également appelé Indice de couverture 1.
La colonne 14 indique la mesure dans laquelle l'échantillon PISA est représentatif des effectifs d'élèves de 15 ans scolarisés. Cet indice, également nommé Indice de couverture 2, mesure la proportion totale de la population nationale scolarisée représentée par la proportion d'élèves non exclus des échantillons d'élèves, et tient compte des exclusions au niveau des établissements et des élèves. Les valeurs proches de 100 indiquent que l'échantillon PISA est représentatif de l'ensemble du système d'éducation (soit les élèves scolarisés en 7e année ou dans une année d'études supérieure) défini dans le cadre de l'évaluation PISA 2022. Le calcul du taux est similaire à celui de la colonne 13 ; toutefois, la population totale des élèves de 15 ans inscrits en 7e année ou dans une année d'études supérieure (colonne 2) sert de base au lieu de la population nationale cible théorique (colonne 3).
La colonne 15 présente l'indice de la représentativité de la population d'individus de 15 ans. Cet indice correspond au nombre pondéré d'élèves participants (colonne 8) divisé par la population totale d'élèves de 15 ans (colonne 1). Ce taux est également appelé Indice de couverture 3.
Une forte représentativité contribue à la comparabilité des résultats de l'évaluation. En effet, même en partant du principe que les élèves exclus auraient systématiquement obtenu des scores plus faibles que les élèves ayant participé et que cette corrélation est moyennement forte, un taux d'exclusion de 5 % aurait vraisemblablement abouti à une surestimation des scores moyens nationaux inférieure à 5 points de score sur l'échelle de compétence PISA (dont l'écart-type s'établit à 100 points de score)10.
La représentativité constitue un sujet de préoccupation majeur en 2022 en raison de la pandémie mondiale de COVID-19 et ses bouleversements sur les systèmes d'éducation en général et sur l'administration de la campagne définitive de l'enquête PISA 2022 en particulier. La représentativité des échantillons a vraisemblablement pu être affectée à la fois par une évolution du comportement des élèves (par exemple, en ne retournant pas à l'école après la réouverture des établissements) et par des facteurs d'ordre opérationnel relatifs à l'administration même des épreuves (par exemple, une plus faible participation des élèves due à une interférence entre les dates de l'évaluation et les plans de réouverture des établissements dans un pays ou une économie).
Le tableau I.A2.2 offre une perspective au fil des différentes enquêtes sur :
le nombre estimé d'individus dans l'effectif des jeunes de 15 ans d'un pays ou une économie spécifique (colonne 1 pour le PISA 2022),
le nombre estimé d'individus de 15 ans inscrits dans un établissement d'enseignement en 7e année ou dans une année d'études supérieure (colonne 2 pour le PISA 2022),
le nombre d'élèves ayant passé les épreuves du PISA 2022 pondéré en fonction de leur représentativité de la population (colonne 3 pour le PISA 2022), et
la représentativité de la population d’élèves âgés de 15 ans (indice de couverture 3, colonne 4 pour le PISA 2022).
Ces mêmes données sont également présentées pour l'ensemble des enquêtes PISA depuis 2003. Entre les enquêtes PISA de 2018 et de 2022, l'indice de couverture 3 a diminué dans 23 pays et économies, avec une diminution supérieure à 5 % en l'Allemagne, à Hong Kong (Chine)*, aux Pays-Bas*, dans les Régions ukrainiennes (18 sur 27) et en République dominicaine. Ces baisses importantes de la couverture doivent toutefois être interprétées avec prudence, dans la mesure où Hong Kong (Chine) et les Pays-Bas ont eu des difficultés à respecter les normes d'échantillonnage du PISA. En Ukraine, les établissements de plusieurs régions n'étaient pas accessibles en 2022, entraînant une chute de l'indice de couverture 3 passant de 86,7 % en 2018 à 63,9 % en 2022.
À l'inverse, tous les autres pays et économies participants ont maintenu, voire augmenté, la couverture de leur population entre les enquêtes PISA 2018 et PISA 2022. Sur cette même période, 31 pays et économies ont enregistré de faibles augmentations de l'indice (jusqu'à 5 %), tandis que d'autres ont connu des augmentations assez importantes.
Le Groupe d'adjudication PISA, composé du Groupe consultatif technique et de l'expert en échantillonnage, a révisé l'ensemble des données de l'évaluation PISA 2022. Globalement, cet examen a permis d'établir que la mise en œuvre de l'enquête PISA à l'échelle nationale a dans l'ensemble respecté les normes techniques, malgré des circonstances difficiles lors de la pandémie de COVID-19 ayant influencé les opérations de l'enquête et, de manière plus générale, la scolarité des élèves. Toutefois, plusieurs écarts par rapport aux normes ont été observés et leurs conséquences sur la qualité des données ont fait l'objet d'un examen minutieux. S'agissant des écarts par rapport aux normes d'échantillonnage, les tendances globales suivantes ont été observées :
Près d'une entité sur cinq dont les données ont été adjugées affichait un taux d'exclusion supérieur au seuil défini selon les normes techniques (norme 1.7).
Sept entités ne sont pas parvenues à atteindre le seuil de participation des établissements, et trois d'entre elles n'ont pu respecter le niveau plus strict de 65 % avant le recours aux établissements de remplacement (norme 1.11). Cette situation n'est toutefois pas en contradiction avec les précédentes évaluations PISA.
Un nombre bien plus important d'entités n'a pas satisfait au seuil de participation des élèves (norme 1.12) : dix entités ne sont pas parvenues à respecter cette norme en 2022, contre une seule entité en 2018.
Il a été demandé aux pays et économies se trouvant dans cette situation de fournir un rapport d'analyse sur le biais de non-réponse. Ces rapports, examinés par le Groupe PISA d'adjudication, contiennent des analyses supplémentaires s'appuyant sur le contexte national et les sources de données pour évaluer les biais potentiels découlant de la non-participation tant des établissements que des élèves.
Les détails de l'examen réalisé par le Groupe d'adjudication PISA concernant les écarts par rapport aux normes de l'enquête PISA sont proposés dans le Guide du lecteur et à l'annexe A4.
Certains pays ont échantillonné des sous-groupes d'établissements et non des établissements, ce qui est susceptible d'altérer l'estimation des composantes de la variance inter-établissements. En Allemagne, en Autriche, à El Salvador, en Hongrie, au Japon, en République tchèque et en Roumanie, les établissements proposant plus d'un programme d'études ont été divisés en unités distinctes pour chaque programme. Aux Pays-Bas, les implantations physiques ont été répertoriées en tant qu'unités d'échantillonnage. Dans la Communauté flamande (Belgique), chaque campus comportant plusieurs sites a été échantillonné indépendamment, alors que dans la Communauté française (Belgique) les établissements ont été échantillonnés par unité administrative.
En Australie et en Colombie, chaque campus comptant plusieurs sites a été échantillonné indépendamment. En Argentine, chaque campus comportant plusieurs sites a été échantillonné indépendamment et les campus proposant plus d'un programme d'études ont été divisés en unités distinctes pour chaque programme. En Espagne, les établissements du Pays basque comptant plusieurs modèles linguistiques ont été divisés par modèle linguistique lors de l’échantillonnage.
Aux Émirats arabes unis, certains établissements ont été échantillonnés comme une unité à part entière, tandis que d'autres ont été divisés en plusieurs unités en fonction des programmes de cours ou du sexe des élèves. En Suède, suite à la réorganisation de l’enseignement, certains établissements ont été divisés en deux unités, chacune ayant son propre directeur. Au Portugal, certains établissements ont été organisés en groupements scolaires, toutes les unités d'un groupement partageant les mêmes enseignants et le même chef d’établissement ; chacun de ces groupements scolaires constituait une seule unité d'échantillonnage. À Singapour certains établissements ont été échantillonnés comme une unité à part entière, tandis que d'autres ont été divisés en plusieurs unités en fonction des campus ou des modèles linguistiques. En Türkiye, certains établissements ont été échantillonnés comme une unité à part entière, tandis que d'autres ont été divisés en plusieurs unités en fonction des programmes d'études. En Uruguay, les établissements ont été échantillonnés comme une unité à part entière, à l'exception de ceux proposant des cours du soir. Les programmes de cours du soir ont été échantillonnés indépendamment des établissements.
Les élèves évalués lors de l'enquête PISA 2022 sont scolarisés dans des années d'études différentes. Le pourcentage d'élèves dans chaque pays selon l’année d'études est représenté dans le tableau I.A2.8 et le tableau I.A2.9, et selon le sexe dans le tableau I.A2.12 et tableau I.A2.13.
Remarques : Le Costa Rica, les Émirats arabes unis, la Géorgie, la Malaisie, Malte et la Moldova ont administré l'enquête PISA 2009 en 2010 dans le cadre de PISA 2009+.
Pour l'Albanie, le Brésil, le Chili, la Jordanie, les Pays-Bas, la Roumanie et l'Uruguay, les estimations de la Population totale de jeunes âgés de 15 ans ont été mises à jour au fil des ans afin d'harmoniser les sources de données avec celles utilisées en 2018. Par conséquent, les estimations présentées dans ce tableau ne correspondent pas à celles qui apparaissent dans les rapports PISA précédents.
Pour le Mexique, en 2015, la population totale de jeunes de 15 ans scolarisés en 7e année d’études ou à un niveau supérieur est une estimation de la taille de la population cible du cadre d’échantillonnage à partir duquel les élèves de 15 ans ont été sélectionnés pour l’évaluation PISA. Lorsque le Mexique a fourni ces informations à PISA, la statistique officielle de cette population s’établissait à 1 573 952.
Remarques : Le Costa Rica, les Émirats arabes unis, la Géorgie, la Malaisie, Malte et la Moldova ont administré l'enquête PISA 2009 en 2010 dans le cadre de PISA 2009+.
Pour l'Albanie, le Brésil, le Chili, la Jordanie, les Pays-Bas, la Roumanie et l'Uruguay, les estimations de la Population totale de jeunes âgés de 15 ans ont été mises à jour au fil des ans afin d'harmoniser les sources de données avec celles utilisées en 2018. Par conséquent, les estimations présentées dans ce tableau ne correspondent pas à celles qui apparaissent dans les rapports PISA précédents.
Pour le Mexique, en 2015, la population totale de jeunes de 15 ans scolarisés en 7e année d’études ou à un niveau supérieur est une estimation de la taille de la population cible du cadre d’échantillonnage à partir duquel les élèves de 15 ans ont été sélectionnés pour l’évaluation PISA. Lorsque le Mexique a fourni ces informations à PISA, la statistique officielle de cette population s’établissait à 1 573 952.
Remarques : Le Costa Rica, les Émirats arabes unis, la Géorgie, la Malaisie, Malte et la Moldova ont administré l'enquête PISA 2009 en 2010 dans le cadre de PISA 2009+.
Pour l'Albanie, le Brésil, le Chili, la Jordanie, les Pays-Bas, la Roumanie et l'Uruguay, les estimations de la Population totale de jeunes âgés de 15 ans ont été mises à jour au fil des ans afin d'harmoniser les sources de données avec celles utilisées en 2018. Par conséquent, les estimations présentées dans ce tableau ne correspondent pas à celles qui apparaissent dans les rapports PISA précédents.
Pour le Mexique, en 2015, la population totale de jeunes de 15 ans scolarisés en 7e année d’études ou à un niveau supérieur est une estimation de la taille de la population cible du cadre d’échantillonnage à partir duquel les élèves de 15 ans ont été sélectionnés pour l’évaluation PISA. Lorsque le Mexique a fourni ces informations à PISA, la statistique officielle de cette population s’établissait à 1 573 952.
Remarques : Le Costa Rica, les Émirats arabes unis, la Géorgie, la Malaisie, Malte et la Moldova ont administré l'enquête PISA 2009 en 2010 dans le cadre de PISA 2009+.
Pour l'Albanie, le Brésil, le Chili, la Jordanie, les Pays-Bas, la Roumanie et l'Uruguay, les estimations de la Population totale de jeunes âgés de 15 ans ont été mises à jour au fil des ans afin d'harmoniser les sources de données avec celles utilisées en 2018. Par conséquent, les estimations présentées dans ce tableau ne correspondent pas à celles qui apparaissent dans les rapports PISA précédents.
Pour le Mexique, en 2015, la population totale de jeunes de 15 ans scolarisés en 7e année d’études ou à un niveau supérieur est une estimation de la taille de la population cible du cadre d’échantillonnage à partir duquel les élèves de 15 ans ont été sélectionnés pour l’évaluation PISA. Lorsque le Mexique a fourni ces informations à PISA, la statistique officielle de cette population s’établissait à 1 573 952.
Remarques : Le Costa Rica, les Émirats arabes unis, la Géorgie, la Malaisie, Malte et la Moldova ont administré l'enquête PISA 2009 en 2010 dans le cadre de PISA 2009+.
Pour l'Albanie, le Brésil, le Chili, la Jordanie, les Pays-Bas, la Roumanie et l'Uruguay, les estimations de la Population totale de jeunes âgés de 15 ans ont été mises à jour au fil des ans afin d'harmoniser les sources de données avec celles utilisées en 2018. Par conséquent, les estimations présentées dans ce tableau ne correspondent pas à celles qui apparaissent dans les rapports PISA précédents.
Pour le Mexique, en 2015, la population totale de jeunes de 15 ans scolarisés en 7e année d’études ou à un niveau supérieur est une estimation de la taille de la population cible du cadre d’échantillonnage à partir duquel les élèves de 15 ans ont été sélectionnés pour l’évaluation PISA. Lorsque le Mexique a fourni ces informations à PISA, la statistique officielle de cette population s’établissait à 1 573 952.
Remarques : Le Costa Rica, les Émirats arabes unis, la Géorgie, la Malaisie, Malte et la Moldova ont administré l'enquête PISA 2009 en 2010 dans le cadre de PISA 2009+.
Pour l'Albanie, le Brésil, le Chili, la Jordanie, les Pays-Bas, la Roumanie et l'Uruguay, les estimations de la Population totale de jeunes âgés de 15 ans ont été mises à jour au fil des ans afin d'harmoniser les sources de données avec celles utilisées en 2018. Par conséquent, les estimations présentées dans ce tableau ne correspondent pas à celles qui apparaissent dans les rapports PISA précédents.
Pour le Mexique, en 2015, la population totale de jeunes de 15 ans scolarisés en 7e année d’études ou à un niveau supérieur est une estimation de la taille de la population cible du cadre d’échantillonnage à partir duquel les élèves de 15 ans ont été sélectionnés pour l’évaluation PISA. Lorsque le Mexique a fourni ces informations à PISA, la statistique officielle de cette population s’établissait à 1 573 952.
* Pour cette entité, le domaine couvert par le code 6 (exclusions relatives à la pandémie de COVID) a été élargi pour prendre en compte les élèves qui remplissaient les critères en raison de la pandémie mais également de la guerre.
* Pour cette entité, le domaine couvert par le code 6 (exclusions relatives à la pandémie de COVID) a été élargi pour prendre en compte les élèves qui remplissaient les critères en raison de la pandémie mais également de la guerre.
* Pour cette entité, le domaine couvert par le code 6 (exclusions relatives à la pandémie de COVID) a été élargi pour prendre en compte les élèves qui remplissaient les critères en raison de la pandémie mais également de la guerre.
* Pour cette entité, le domaine couvert par le code 6 (exclusions relatives à la pandémie de COVID) a été élargi pour prendre en compte les élèves qui remplissaient les critères en raison de la pandémie mais également de la guerre.
Références
[1] OCDE (2023), PISA 2022 Technical Report, Éditions OCDE, Paris, https://doi.org/10.1787/01820d6d-en.
← 1. Lors de l'évaluation PISA 2022, les pays souhaitant disposer de résultats par année d'études à des fins d'analyse nationale se sont vu proposer une option permettant d'ajouter un échantillon basé sur l'année d'études à l'échantillon basé sur l'âge.
← 2. L'enquête PISA a plus précisément évalué les élèves qui avaient au moment des épreuves entre 15 ans et 3 mois accomplis et 16 ans et 3 mois accomplis (soit ceux âgés au plus de 16 ans, 2 mois et 30 jours), la tolérance étant de 1 mois dans ce groupe d'âge. Si les épreuves du PISA ont été administrées en avril 2022 (comme ce fut le cas dans de nombreux pays et économies), tous les élèves nés en 2006 pouvaient être échantillonnés.
← 3. Les établissements d'enseignement sont les « écoles » ainsi qu'on les désigne communément, mais il est possible que certains d'entre eux (en particulier en filière professionnelle) ne soient pas connus sous ce nom dans différents pays.
← 4. Ce type de comparaison est compliqué par le fait que les élèves immigrés de la première génération ont suivi une partie de leur éducation dans un pays autre que celui dans lequel ils ont été évalués. Le score moyen d'un pays ou d'une économie doit être interprété au regard des caractéristiques démographiques locales des élèves. Par ailleurs, la population cible de l'enquête PISA ne comprend pas les ressortissants nationaux scolarisés à l’étranger, contrairement aux ressortissants étrangers scolarisés dans les pays participant à l'enquête.
← 5. Dans les systèmes d'éducation de trop petite taille (pour des raisons démographiques, par exemple), tous les établissements et les élèves admissibles ont été échantillonnés. En Macédoine du Nord et au Qatar, tous les établissements admissibles ont été sélectionnés pour participer à l'évaluation PISA 2022. Au Brunei Darussalam, en Islande, à Macao (Chine) et à Malte, tous les élèves de tous les établissements ont été sélectionnés.
← 6. Toutes les normes, y compris celles relatives à la non-réponse, mises en œuvre pour garantir une collecte de données cohérente, précise, généralisable et opportune dans le cadre du PISA 2022 sont présentées dans le document intitulé Normes techniques (OCDE, 2023).
← 7. Le seuil de participation acceptable après le recours aux établissements de remplacement varie entre 85 % et 100 %, selon le taux de participation avant remplacement.
← 8. Ces exclusions ne s'appliquent qu'aux élèves dont la maîtrise de la langue d'enseignement ou d'évaluation est limitée. Cette analyse ne tient pas compte des exclusions liées à la non-disponibilité du matériel d'enquête dans la langue d'enseignement.
← 9. Le taux global d'exclusion comprend les élèves qui ont été exclus au niveau des établissements (colonne 6) et au sein des établissements (colonne 11). Toutefois, seuls les élèves scolarisés dans des établissements n'ayant pas été exclus ont été affectés par des exclusions intra-établissement, d'où la présence du nombre équivalent à 1 moins le nombre de la colonne 6 (exprimé en nombre décimal).
← 10. Si la corrélation entre la propension à l'exclusion et la performance des élèves était de 0.3, les scores moyens risquaient d'être surestimés de 1 point de score si le taux d'exclusion était de 1 %, de 3 points de score si le taux d'exclusion était de 5 %, et de 6 points de score si le taux d'exclusion était de 10 %. Si la corrélation entre la propension à l'exclusion et la performance des élèves était de 0.5, les scores moyens risquaient d'être surestimés de 1 point de score si le taux d'exclusion était de 1 %, de 5 points de score si le taux d'exclusion était de 5 %, et de 10 points de score si le taux d'exclusion était de 10 %. Ce calcul repose sur un modèle partant de l'hypothèse d'une répartition bivariée normale pour la performance et la propension à la participation.