Résultats du PISA 2022 (Volume II)

Guide du lecteur

L’enquête PISA pendant la pandémie :

L’enquête PISA 2022 comporte des données de 81 pays et économies. Cette évaluation devait initialement se tenir en 2021, mais a dû être repoussée d’une année en raison de la pandémie de COVID-19. Les circonstances exceptionnelles pendant toute cette période, notamment les confinements et les fermetures d’établissement à de nombreux endroits, ont parfois posé des difficultés pour recueillir certaines données. Si la vaste majorité des pays et des économies ont pu répondre aux normes techniques de l’enquête PISA (disponible en ligne), un petit nombre d’autres pays et économies ont été dans l’incapacité d’y répondre. Dans les enquêtes précédentes, les pays et économies qui n’arrivaient pas à se conformer aux normes, et si le Groupe d’adjudication estimait que c’était préjudiciable, pouvait se voir exclus de la partie principale du rapport. Toutefois, compte tenu de la situation sans précédent causée par la pandémie, les résultats du PISA 2022 comprennent des données de tous les systèmes d’éducation des pays et économies participants, notamment de ceux qui ont fait face à des problèmes, comme de faibles taux de participation (voir les annexes A2 et A4). La section qui suit explique les limites possibles des données issues de ces pays qui n’ont pas pu se conformer aux normes techniques spécifiques. Le lecteur trouvera des indications de ces limites tout au long du volume lorsque cela s’avère nécessaire.

Il est important de noter que les réserves émises et leurs implications ont été évaluées par le Groupe d’adjudication PISA en juin 2023. Il est possible qu’il soit nécessaire de procéder à des ajustements par la suite au fur et à mesure de l’apparition de nouveaux éléments sur la qualité et la comparabilité des données. PISA reviendra au mode de rapport classique pour l’évaluation 2025.

Les entités adjugées non conformes aux normes d'échantillonnage

Les résultats de 13 entités adjugées (c’est-à-dire les pays, économies et régions d’un pays), énumérées ci-dessous, seront rapportés avec des annotations. * La prudence est de mise lors de l’interprétation des résultats pour ces pays et économies, car une ou plusieurs normes d’échantillonnage n’ont pas été respectées.

• Taux global d’exclusion. Norme 1.7 : La population nationale représentée dans PISA couvre 95 % ou plus de la population nationale cible théorique du PISA. En d’autres termes, les exclusions combinées au niveau et au sein des établissements ne dépassent pas 5 %.

• Taux de participation des établissements. Norme 1.11 : Le taux de participation final pondéré des établissements est d’au moins 85 % des établissements échantillonnés. Si un taux de participation est inférieur à 85 %, alors un taux de participation acceptable peut encore être atteint grâce au recours à des établissements de remplacement.

• Taux de participation des élèves. Norme 1.12 : Le taux de participation des élèves est d’au moins 80 % de tous les élèves échantillonnés dans les établissements qui ont répondu.

On peut regrouper les 13 entités en deux groupes :

(i) Les entités ayant transmis de solides analyses techniques signalant qu'un faible taux de participation (inférieur aux normes de l'enquête PISA) avait probablement introduit un biais plus que minime dans les estimations : le Canada, l’Écosse, l'Irlande, la Nouvelle-Zélande et le Royaume-Uni.

(ii) Les entités n'ayant pas satisfait à une ou plusieurs normes d'échantillonnage et dont les données disponibles à l'heure de l'adjudication ne permettent pas d'exclure la possibilité d'un biais important : l'Australie, le Danemark, les États-Unis, Hong Kong (Chine), la Jamaïque, la Lettonie, le Panama et les Pays-Bas.

Le Groupe d’adjudication a également remarqué que le biais associé aux tendances et aux comparaisons entre pays pourrait être moins important si les données antérieures ou les données d’autre pays sont biaisées dans la même direction. En conséquence, les déviations des normes du PISA 2022 ont été comparées avec celles du PISA 2018, le cas échéant.

(i) Les entités ayant transmis de solides analyses techniques signalant qu'un faible taux de participation (inférieur aux normes de l'enquête PISA) avait probablement introduit un biais plus que minime dans les estimations :

Canada

• Taux global d’exclusion : 5.8 %. Les exclusions ont dépassé le taux acceptable de moins d’un point de pourcentage, en même temps, les taux d’exclusion observés en 2022 restent relativement près des taux d’exclusion observés en 2018 (6.9 %).

• Taux de participation des élèves : 77 %. Taux de participation des établissements : 81 % avant le recours aux établissements de remplacement, puis 86 % après prise en compte de ces derniers. Les taux de participation des élèves ont baissé par rapport à l'enquête PISA 2018 (84 %) et n’ont pas atteint l’objectif dans 7 des 10 provinces (toutes sauf l’Île-du-Prince-Édouard, le Nouveau-Brunswick et la Saskatchewan). Une analyse approfondie des biais de non-réponse a été fournie, des analyses ayant été menées séparément pour chaque province, utilisant les données sur les résultats scolaires des élèves comme informations complémentaires. Les taux de participation des établissements n’ont également pas atteint le seuil défini, en raison des faibles taux de participation de deux provinces (l’Alberta et le Québec). Pour ces provinces, le biais de non-réponse a aussi été étudié au niveau des établissements. Les analyses indiquent clairement que la non-réponse des établissements n’a pas entraîné de biais significatif, mais que la non-réponse des élèves a entraîné un léger biais à la hausse.

Irlande

• Taux de participation des élèves : 77 %. Les taux de participation ont baissé par rapport à l'enquête PISA 2018 (86 %). Une analyse approfondie des biais de non-réponse a été fournie, utilisant des données externes sur les résultats au niveau des élèves comme informations complémentaires. L’analyse a fourni des éléments suggérant un biais résiduel à la hausse d’un écart type d’environ 0.1, après prise en compte des ajustements pour non-réponse. Sur l’échelle PISA, si l’on considère que l’écart-type en Irlande variait (en 2018) de 78 points en mathématiques à 91 points en compréhension de l’écrit, cela pourrait se traduire par un biais à la hausse estimé à environ 8 ou 9 points.

Nouvelle-Zélande

• Taux global d’exclusion : 5.8 %. Les exclusions ont dépassé le taux acceptable de moins d’un point de pourcentage. Cela dit, les taux d’exclusion observés en 2022 restent relativement près des taux d’exclusion observés en 2018 (6.8 %).

• Taux de participation des élèves : 72 %. Taux de participation des établissements. 61 % avant le recours aux établissements de remplacement, puis 72 % après prise en compte de ces derniers. Les taux de participation ont baissé par rapport à l'enquête PISA 2018 (83 %). Les taux de participation des établissements n’ont également pas atteint l’objectif. Une analyse approfondie et détaillée des biais de non-réponse a été fournie, utilisant des données externes sur les résultats au niveau des élèves, mais également des informations sur l’absentéisme chronique, comme informations complémentaires, ainsi que des caractéristiques démographiques. L’analyse a fourni des éléments suggérant un biais résiduel à la hausse d’un écart type d’environ 0.1, après prise en compte des ajustements pour non-réponse, entièrement dû à la non-réponse des élèves (la non-participation des établissements scolaires n’a pas entraîné de biais significatif, en revanche). L’analyse a aussi indiqué que les élèves régulièrement absents sont surreprésentés parmi les non-répondants à l’enquête PISA. Sur l’échelle PISA, si l’on considère que l’écart-type en Nouvelle-Zélande variait (en 2018) de 93 points en mathématiques à 106 points en compréhension de l’écrit, cela pourrait se traduire par un biais à la hausse estimé à environ 10 points. Le Groupe d’adjudication a également remarqué que le biais associé aux tendances et aux comparaisons entre pays pourrait être moins important si les données antérieures ou les données d’autres pays sont biaisées dans la même direction. Pour plus d’informations, voir le site web : educationcounts.govt.nz.

Royaume-Uni

Royaume-Uni (à l’exclusion de l’Écosse)

• Taux de participation des élèves : 75 %. Taux de participation des établissements : 66 % avant le recours aux établissements de remplacement, puis 80 % après prise en compte de ces derniers. Les taux de participation des élèves ont baissé par rapport à l'enquête PISA 2018 (83 %). Les taux de participation des établissements n’ont également pas atteint l’objectif. Une analyse informative du biais de non-réponse a été fournie, utilisant des données externes sur les résultats au niveau des élèves, comme informations complémentaires, ainsi que des caractéristiques démographiques ; l’analyse a été limitée à l’Angleterre en tant que plus grande entité infranationale au sein du Royaume-Uni (à l’exclusion de l’Écosse), et a donc couvert plus de 90 % de l’échantillon prévu. L’analyse a fourni des éléments suggérant un biais résiduel à la hausse d’un écart type d’environ 0.07 en compréhension de l’écrit et 0.09 en mathématiques, après prise en compte des ajustements pour non-réponse, entièrement dû à la non-réponse des élèves (la non-participation des établissements scolaires n’a pas entraîné de biais significatif, en revanche). Sur l’échelle PISA, si l’on considère que l’écart-type en Angleterre variait (en 2018) de 101 points en compréhension de l'écrit à 93 points en mathématiques, cela pourrait se traduire par un biais à la hausse estimé à environ 7 ou 8 points.

Écosse

• Taux global d’exclusion : 6.6 %. Les exclusions ont dépassé le taux acceptable d’une petite marge. Cela dit, les taux d’exclusion observés en 2022 restent relativement près des taux d’exclusion observés en 2018 (5.4 %).

• Taux de participation des élèves : 79 %. Les taux de participation des élèves ont été inférieurs à la norme d’une courte marge, mais étaient autrement similaires aux taux de participation du PISA 2018 (81 %). Une analyse approfondie des biais de non-réponse a été fournie, utilisant plusieurs variables externes sur les résultats au niveau des élèves comme informations complémentaires, ainsi que des caractéristiques démographiques L’analyse a fourni des éléments suggérant un biais résiduel à la hausse d’un écart type d’environ 0.1, après prise en compte des ajustements pour non-réponse. Sur l’échelle PISA, si l’on considère que l’écart-type en Écosse était (en 2018) de 95 points en compréhension de l'écrit et en mathématiques, cela pourrait se traduire par un biais à la hausse estimé à environ 9 ou 10 points. Étant donné la similarité des taux de participation entre 2018 et 2022, on ne peut pas exclure qu’un biais similaire soit présent en 2018 également, et pour de nombreux participants à l'enquête PISA 2022 dont les taux de réponse frôlaient l’objectif de manière similaire. Pour cette raison, les données ont été jugées comparables aux cycles précédents.

(ii) Les entités n'ayant pas satisfait à une ou plusieurs normes d'échantillonnage et dont les données disponibles à l'heure de l'adjudication ne permettent pas d'exclure la possibilité d'un biais important :

Australie

• Taux global d’exclusion : 6.9 %. Les exclusions ont dépassé le taux acceptable d’une petite marge. Cela dit, les taux d’exclusion observés en 2022 restent relativement près des taux d’exclusion observés en 2018 (5.7 %).

• Taux de participation des élèves : 76 %. Les taux de participation des élèves ont baissé par rapport à l'enquête PISA 2018 (85 %). Une analyse techniquement solide des biais de non-réponse a été fournie. Toutefois, la force des éléments probants a été limitée par le fait qu’aucune variable externe relative aux résultats des élèves n’a pu être utilisée dans l’analyse. En s’appuyant sur les éléments probants disponibles, et sur l’expérience des autres pays participant au PISA, le Groupe d’adjudication a considéré que, même si les ajustements pour non-réponse limitaient probablement la gravité des biais de non-réponse, un léger biais résiduel à la hausse ne pouvait être exclu.

Danemark

• Taux global d’exclusion : 11.6 %. Les exclusions dépassaient le taux acceptable d’une bonne marge et montraient une augmentation marquée, comparées à 2018 (5.7 %). Le Groupe d’adjudication a noté qu’un nombre élevé d’exclusions d’élèves pouvait fausser les résultats à la hausse. Au Danemark, l’augmentation du nombre d’étudiants ayant été diagnostiqués dyslexiques et le fait qu’un plus grand nombre d’entre eux utilisent des dispositifs électroniques d’assistance pour les aider à lire à l’écran, y compris pendant les examens, semblent être la cause majeure de cette hausse. L’absence d’un tel aménagement pour les élèves souffrant de dyslexie dans l’évaluation PISA a conduit les établissements à exclure un grand nombre de ces élèves. Afin de réduire les taux d’exclusion à l’avenir, l’enquête PISA pourrait être amenée à prendre davantage en compte les élèves dyslexiques en autorisant l’utilisation d’appareil d’assistance.

Hong Kong (Chine)

• Taux de réponse des élèves : 75 %. Taux de participation des établissements : 60 % avant le recours aux établissements de remplacement, puis 80 % après prise en compte de ces derniers. Les taux de participation des élèves ont baissé par rapport à l'enquête PISA 2018 (85 %). Les taux de participation des établissements n’ont également pas atteint l’objectif (tout comme en 2018). Au niveau des établissements scolaires, le fait qu’une mesure brute, mais directe de la performance des établissements soit utilisée pour affecter les établissements aux strates d’échantillonnage (et donc que la non-réponse différentielle entre les strates ne soit pas susceptible d’entraîner un biais), limite le risque de biais dû à la non-réponse. Une analyse des biais de non-réponse a été fournie. Toutefois, la force des éléments probants a été limitée par le fait qu’aucune variable externe relative aux résultats des élèves n’a pu être utilisée dans l’analyse (seule l’information sur le niveau d’études des élèves, déjà utilisée dans les ajustements pour la non-réponse, était disponible). Les indicateurs de réussite des établissements et des élèves (taille de l’école et niveau d’études) qui ont été utilisés dans les analyses n’ont montré aucune relation ou une relation très limitée avec les taux de participation. Néanmoins, en s’appuyant sur les éléments probants disponibles, et sur l’expérience des autres pays participant au PISA, le Groupe d’adjudication a considéré que, même si les ajustements pour non-réponse limitaient probablement la gravité des biais de non-réponse, un léger biais résiduel à la hausse ne pouvait être exclu.

Jamaïque

• Taux de participation des élèves : 68 %. Les taux de participation des élèves ont été bien en dessous des normes. Une simple analyse des biais de non-réponse a été fournie, analysant les taux de participation des élèves selon les caractéristiques des établissements : cette analyse a montré en particulier des taux de participation plus faibles dans les établissements et les régions rurales. Une analyse des biais de non-réponse limitée a également été préparée par le Contractant principal pour le volet C, pour comparer les caractéristiques des répondants (avant et après l’ajustement de la non-réponse) aux caractéristiques de l’ensemble de l’échantillon d’élèves éligibles. Ceci indique que la non-réponse était aussi liée au niveau d’études et au sexe des élèves (les deux variables sont utilisées dans les ajustements de non-réponse). En s’appuyant sur l’information disponible, il n’est pas possible d’exclure la possibilité d’un biais, si l’on considère les analyses de la non-réponse des élèves menées dans d’autres pays, le biais résiduel après prise en compte de l’ajustement de la non-réponse est susceptible de correspondre à un biais à la hausse. Le Groupe d’adjudication a également remarqué qu’un nombre de problèmes rencontrés durant la collecte de la campagne définitive aurait pu être évité, si la Jamaïque avait été en mesure d’effectuer un essai de terrain complet. Cela n’a pas été possible en raison des perturbations liées à la pandémie de COVID-19 dans la scolarité en 2021. En particulier, l’information sur les inscriptions dont disposait le centre national pour l’échantillonnage au niveau des établissements s’est souvent révélée imprécise, et les faibles taux de participation des élèves auraient pu être anticipés si un essai de terrain régulier avait été mené. En raison de cadres d’échantillonnage imprécis et de faibles taux de participation, la taille de l’échantillon obtenu pour la campagne définitive était bien inférieure à l’objectif fixé, et les erreurs d’échantillonnage pour la Jamaïque sont plus importantes que prévu. Le Groupe d’adjudication a remarqué qu’en dehors des défis liés aux opérations d’échantillonnage, la qualité des données répondait aux attentes pour le rapport.

Lettonie

• Taux global d’exclusion : 7.9 %. Les exclusions dépassaient le taux acceptable d’une bonne marge et montraient une augmentation marquée, par rapport à 2018 (4.3 %). La plupart de ces élèves ont été exclus parce qu’ils fréquentaient leur établissement à distance ou en mode virtuel. Le Groupe d’adjudication a remarqué qu’un nombre élevé d’exclusions d’élèves pouvait fausser les résultats à la hausse.

Pays-Bas

• Taux global d’exclusion : 8.4 %. Les exclusions dépassaient le taux acceptable d’une bonne marge et montraient une augmentation marquée, par rapport à 2018 (6.2 %). La plupart des élèves ont été exclus parce qu’ils avaient un handicap physique ou mental et qu’il n’y avait pas de dispositif adapté à leur condition. Le Groupe d’adjudication a remarqué qu’un nombre élevé d’exclusions d’élèves pouvait fausser les résultats à la hausse.

• Taux de participation des établissements : 66 % avant le recours aux établissements de remplacement, puis 90 % après prise en compte de ces derniers. Une analyse du biais de non-réponse a été fournie, examinant les écarts de performance et les autres caractéristiques entre les établissements ayant répondu et la population totale des établissements, ainsi que les écarts entre les établissements de remplacement et les établissements initialement échantillonnés, mais n’ayant pas répondu. Cette analyse a confirmé le fait qu’aucun biais important ne résulterait de la non-réponse ; en outre, compte tenu des données disponibles, il n’y a pas d’indication quant à la direction d’un éventuel biais résiduel.

Panama

• Taux de réponse des élèves : 77 %. Étant donné les circonstances difficiles qui ont entouré la scolarité au Panama en 2022 (grèves des enseignants, barrages routiers et absentéisme des élèves), les taux de participation des élèves ont baissé par rapport à l'évaluation PISA 2018 (90 %). Aucune analyse des biais de non-réponse n'a été fournie. Selon l'explication apportée par le centre national PISA, la non-réponse est potentiellement liée au climat scolaire agité dans lequel se sont trouvés les élèves à leur retour à l'école une fois les grèves terminées. Une analyse des biais de non-réponse limitée a également été préparée par le Contractant principal pour le volet C, pour comparer les caractéristiques des répondants (avant et après l’ajustement de la non-réponse) aux caractéristiques de l’ensemble de l’échantillon d’élèves éligibles. Cette analyse indique que (avant la prise en compte de l’ajustement de la non-réponse), la non-réponse était liée au niveau scolaire des élèves et à leurs besoins spécifiques. En s’appuyant sur l’information disponible, il n’est pas possible d’exclure la possibilité d’un biais ; si l’on considère les analyses de la non-réponse des élèves menées dans d’autres pays, le biais résiduel après prise en compte de l’ajustement de la non-réponse est susceptible de correspondre à un biais à la hausse.

États-Unis

• Taux d’exclusion : 6.1 %. Les exclusions dépassaient le taux acceptable d’une petite marge, mais montraient une augmentation marquée, par rapport à 2018 (3.8 %), dans le taux d’exclusion des élèves ayant des handicaps fonctionnels ou intellectuels. Le Groupe d’adjudication a invité les centres nationaux à chercher les raisons de cette augmentation et à prendre les mesures pour y remédier dans les prochains cycles. On s’attend à ce que les taux d’exclusion diminuent de nouveau à l’avenir.

• Taux de participation des établissements : 51 % avant le recours aux établissements de remplacement, puis 63 % après prise en compte de ces derniers. Le taux de participation des établissements n’a nettement pas atteint le seuil défini et s’est avéré particulièrement faible parmi les établissements privés (qui représentent environ 7 % de l’effectif d’élèves). Selon l'analyse des biais de non-réponse fournie, après prise en compte des établissements de remplacement et des ajustements pour la non-réponse, plusieurs caractéristiques (exclusion faite des mesures directes de la performance de l'établissement) sont équitablement réparties entre les répondants et non-répondants. Le Groupe d’adjudication a également remarqué que le taux de participation des élèves n’était que légèrement supérieur au seuil défini (80 %). En s’appuyant sur l’information disponible, il n’est pas possible d’exclure la possibilité d’un biais ni d'en déterminer sa direction la plus probable.

L’entité d’adjudication n’atteint pas un niveau élevé de comparabilité

La possibilité de comparer les résultats de l’enquête PISA avec ceux d’autres pays, et dans le temps, dépend de l’utilisation d’items communs et de procédures standardisées d’administration des tests. En outre, les items communs doivent indiquer de manière cohérente une compétence élevée, moyenne ou faible, indépendamment du pays ou de l’économie ou de la langue de l’évaluation. Lorsque cette condition est remplie, un ensemble commun de paramètres (internationaux) est mis en place pour convertir les réponses correctes, en partie correctes et incorrectes des élèves en une estimation de score sur l’échelle PISA.

Le Groupe consultatif technique du PISA a émis une note en décembre 2021 indiquant que, dans chaque pays et économie, plus des deux tiers des items devraient utiliser les paramètres internationaux afin de garantir une forte comparabilité des scores PISA entre les pays et économies. En cas de pourcentage plus faible, une plus grande incertitude (au-delà de l’incertitude des estimations reflétée dans les erreurs-types) est associée aux comparaisons entre pays.

Au cours de l’examen des résultats du PISA 2022, les paramètres d’invariance des items par rapport aux paramètres internationaux ont été examinés pour chaque langue principale d’évaluation au sein d’un pays ou d’une économie participant à l’enquête. En compréhension de l’écrit, 40 % des items (35 sur 87) sont spécifiques au Viet Nam. Les résultats en compréhension de l’écrit du Viet Nam sont, en conséquence, rapportés dans ce volume avec une annotation indiquant qu’une corrélation solide avec l’échelle PISA internationale des compétences n'a pas pu être établie.

Données des graphiques

Les données auxquelles ce volume fait référence sont présentées dans l’ensemble à l’annexe B et dans le détail, y compris des tableaux supplémentaires, sur le site de l’enquête PISA (www.oecd.org/pisa). Les cinq lettres suivantes indiquent que des données sont manquantes :

• a La catégorie ne s’applique pas au pays concerné. Les données sont donc manquantes.

• c Les observations sont trop peu nombreuses pour calculer des estimations fiables (par exemple, il y a moins de 30 élèves ou moins de 5 établissements dont les données sont valides).

• m Les données ne sont pas disponibles. Il n'y avait pas d'observation dans l'échantillon ; ces données n’ont pas été fournies par le pays ou ont été recueillies, mais ont ensuite été exclues de la publication pour des raisons techniques.

• w Les données ont été exclues à la demande du pays ou de l’économie concerné.

• x Les données sont incluses dans une autre catégorie ou dans une autre colonne du tableau (« x(2) » signifie par exemple que les données sont incluses dans la colonne n° 2 du tableau).

Couverture

Ce rapport rend compte des données de 81 pays et économies : l'ensemble des pays membres de l’OCDE sauf le Luxembourg, ainsi que plus de 44 pays et économies non membres (voir la carte dans la section « Qu’est-ce que l’enquête PISA ? »).

L’expression « régions ukrainiennes (18 sur 27) » désigne les 18 territoires ukrainiens participant au PISA : oblast de Tcherkassy, oblast de Kirovohrad, oblast de Poltava, oblast de Vinnytsia, oblast de Chernihiv, oblast de Kyiv, oblast de Soumy, ville de Kyiv, oblast de Jitomir, oblast d’Odessa, oblast de Tchernivtsi, oblast d’Ivano-Frankivsk, oblast de Khmelnytskyi, oblast de Lviv, oblast de Rivne, oblast de Ternopil, oblast de Volyn et oblast de Transcarpatie. Compte tenu de l’agression massive de la Russie contre l’Ukraine, les neuf territoires suivants ne sont pas couverts : oblast de Dnipropetrovsk, oblast de Donetsk, oblast de Kharkiv, oblast de Louhansk, oblast de Zaporizhzhia, oblast de Kherson, oblast de Mykolaiv, République autonome de Crimée et la ville de Sébastopol.

Conformément aux règles de l’OCDE en matière de données, une séparation visuelle entre les pays et les territoires a été utilisée dans les graphiques afin de réduire le risque d’interprétation erronée des données.

Moyennes internationales

La moyenne de l'OCDE est la moyenne arithmétique des valeurs estimées de tous les pays de l'OCDE. La moyenne de l'OCDE est calculée dans la plupart des indicateurs présentés dans ce rapport.

Dans ce rapport, la moyenne de l'OCDE est la variable employée lorsqu’il s’agit de comparer les performances des systèmes d’éducation. Par ailleurs, il arrive que les données de certains pays ne soient pas disponibles pour des indicateurs spécifiques ou que des catégories particulières ne soient pas applicables. Le lecteur doit donc garder présent à l’esprit le fait que le concept « moyenne de l'OCDE » fait référence aux pays de l'OCDE inclus dans les comparaisons. Si les données ne sont pas disponibles ou ne s'appliquent pas à toutes les sous-catégories d'une population ou d'un indicateur donnés, la « moyenne de l'OCDE » n'est pas nécessairement calculée sur la base d'un ensemble cohérent de pays dans toutes les colonnes du tableau.

Dans les analyses où les données de plusieurs années différentes interviennent, la moyenne de l'OCDE est toujours calculée sur la base de groupes cohérents de pays de l'OCDE ; plusieurs moyennes de l'OCDE peuvent donc être indiquées dans le même tableau. Par exemple, la « moyenne de l’OCDE-35 » ne comprend que 35 pays membres de l'OCDE dont les données sont disponibles dans toutes les évaluations pour lesquelles cette moyenne elle-même n’est pas manquante. Cette restriction permet d’effectuer des comparaisons valables de la moyenne de l'OCDE au fil du temps.

Le nombre déterminant la moyenne de l'OCDE dans les graphiques et les tableaux indique le nombre de pays intervenant dans le calcul :

• Moyenne OCDE : Moyenne arithmétique de tous les pays de l'OCDE à l’exclusion du Luxembourg.

• Moyenne OCDE-35 : Moyenne arithmétique de tous les pays de l'OCDE à l’exclusion du Costa Rica, du Luxembourg et de l’Espagne.

• Moyenne OCDE-26 : Moyenne arithmétique de tous les pays de l'OCDE, sauf l’Australie, le Canada, le Danemark, l’Espagne, les États-Unis, l’Irlande, la Lettonie, le Luxembourg, la Nouvelle-Zélande, les Pays-Bas, le Portugal et le Royaume-Uni.

• Moyenne OCDE-23 : Moyenne arithmétique de tous les pays de l'OCDE, sauf l’Autriche, le Chili, la Colombie, le Costa Rica, l’Espagne, l’Estonie, les États-Unis, Israël, la Lituanie, le Luxembourg, les Pays-Bas, la République slovaque, le Royaume-Uni, la Slovénie et la Turquie.

Arrondis

Dans certains tableaux, il arrive que la somme des chiffres ne corresponde pas exactement au total mentionné en raison des ajustements d’arrondi. Les totaux, les différences et les moyennes sont systématiquement calculés à partir des chiffres exacts. Ils ne sont arrondis qu’une fois calculés.

Toutes les erreurs-types présentées dans ce rapport sont arrondies à la deuxième décimale. Si les valeurs « 0.0 » ou « 0.00 » sont indiquées, cela ne signifie pas que l’erreur-type est nulle, mais qu’elle est respectivement inférieure à 0.05 ou à 0.005.

Présentation des données relatives aux élèves

Le rapport désigne la population cible de l’enquête PISA par l’expression générique « les jeunes de 15 ans ». En pratique, il fait référence aux élèves qui avaient entre 15 ans et 3 mois et 16 ans et 2 mois au moment de l’évaluation, qui étaient scolarisés à ce moment-là et qui avaient suivi au moins 6 années de scolarité dans le cadre institutionnel, quels que soient leur mode de scolarisation (à temps plein ou à temps partiel), leur filière d’enseignement (générale ou professionnelle) ou le type de leur établissement (établissement privé, public ou étranger).

Présentation des données relatives aux établissements

Les chefs d’établissement des élèves soumis à l’évaluation ont été invités à remplir un questionnaire portant sur les caractéristiques de leur établissement. Les réponses des chefs d’établissement présentées dans ce rapport sont pondérées en fonction de l’effectif d’élèves de 15 ans de leur établissement.

Indication des différences statistiquement significatives

Ce volume traite uniquement des évolutions ou différences statistiquement significatives. Celles-ci sont indiquées dans une couleur plus foncée dans les graphiques et en gras dans les tableaux. Sauf indication contraire, le seuil de signification est fixé à 5 %. Voir l’annexe A3 pour plus de précisions.

Abréviations utilisées dans ce rapport

SESC	Indice PISA de statut économique, social et culturel
PIB	Produit intérieur brut
TIC	Technologies de l’information et de la communication
CITE	Classification internationale type de l’éducation
CITP	Classification internationale type des professions
PPA	Parités de pouvoir d’achat
Diff. de score	Différence de score
ÉC.-T.	Écart-type
ODD	Objectifs de développement durable
Er.-T.	Erreur-type
Diff. de %	Différence de pourcentage

Encadré 1. Interprétation des différences de score PISA

Les scores PISA n'ont pas de signification en soi, puisqu'ils ne s'expriment pas en unités métriques, en mètres ou en grammes par exemple. Ils sont déterminés en fonction de la variation des résultats de tous les élèves aux épreuves. En théorie, il n'y a ni score maximum, ni score minimum aux épreuves PISA ; les résultats sont en effet mis à l'échelle pour produire une répartition normale, où la moyenne est de l'ordre de 500 points et l'écart-type, de 100 points. En statistique, une différence de 1 point sur l'échelle PISA de compétence correspond donc à une taille de l'effet (le d de Cohen) de 0.01 point et à une différence de 10 points dans une taille de l'effet de 0.10.

Interprétation des différences de score significatives : niveaux de compétence

Les échelles PISA sont divisées en niveaux de compétence. Dans l'enquête PISA 2022 par exemple, les tâches mathématiques se répartissent entre huit niveaux de difficulté : les tâches classées au niveau 1c de l'échelle de compétence sont les plus faciles et leur degré de difficulté va croissant aux niveaux 1b, 1a, 2, 3, 4, 5 et 6. Les élèves situés au niveau 1c sont susceptibles de mener à bien des tâches de niveau 1c, mais pas des tâches situées à des niveaux supérieurs. Voir le chapitre 3 du Volume I (Résultats PISA 2022) pour une description détaillée des niveaux de compétence en mathématiques, en compréhension de l’écrit et en sciences.

En mathématiques, chaque niveau de compétence correspond à une fourchette d’environ 62 points, en compréhension de l’écrit la différence entre les seuils pour chaque niveau de compétence est d’environ 73 points, et en sciences d’environ 75 points. Il s'ensuit qu'une différence de score de cette ampleur peut être interprétée comme une différence dans les connaissances et compétences décrites entre deux niveaux de compétence.

Interprétation des faibles différences de score : signification statistique

Les faibles différences de score PISA ne peuvent être assimilées à des différences de connaissances et de compétences entre les niveaux de compétence. Toutefois, ils peuvent être comparés entre eux en vérifiant leur « signification statistique ».

Une différence est dite statistiquement significative si elle n’est pas susceptible de s’observer dans des estimations dérivées d’échantillons, alors qu’elle n’existe pas dans les populations dans lesquelles les échantillons sont prélevés. Les résultats aux épreuves PISA sont des estimations, car ils sont obtenus à partir d’échantillons d’élèves et non de l’effectif total d’élèves (ce qui introduit une « erreur d’échantillonnage »), et d’un nombre limité de tâches plutôt que de toutes les tâches possibles (ce qui introduit une « erreur de mesure »).

Il est possible d’évaluer le degré d’incertitude des estimations et de l'exprimer sous la forme d'un « intervalle de confiance », c'est-à-dire la plage définie de telle sorte que si la valeur réelle se situe au-dessus de sa limite supérieure ou en dessous de sa limite inférieure, une estimation différente de l’estimation rapportée ne serait observée qu’avec une faible probabilité (généralement inférieure à 5 %). L'intervalle de confiance doit être pris en considération lors des comparaisons entre les estimations pour écarter le risque que des différences résultant simplement d’erreur d'échantillonnage et d’erreur de mesure soient interprétées comme des différences réelles dans la population.

Interprétation des différences de score dans les évaluations PISA

Pour garantir la comparabilité des résultats PISA entre les évaluations, il faut utiliser des erreurs d’ancrage. L’erreur d’ancrage rend compte de l'incertitude résultant des différences entre évaluations (« le score de 432 points PISA en 2022 est-il équivalent au même score de 432 points PISA en 2018 ? ») et ne dépend donc pas de la taille des échantillons d'élèves. Dans les comparaisons de la performance en mathématiques entre les évaluations PISA 2022 et 2018, l’erreur d’ancrage est de l’ordre de 2.24 points. Pour des informations détaillées, voir l’encadré I.5.3 dans le chapitre 5 et l’annexe A7 du Volume I (Résultats PISA 2022).

Interprétation des différences de score en termes de gains d’apprentissage sur une année de scolarité

Connaître le gain d’apprentissage type que les élèves réalisent lorsqu’ils passent d’un niveau scolaire à l’autre peut s’avérer utile pour interpréter les différences dans les résultats PISA. Ainsi, 20 points représentent le rythme d'apprentissage moyen observé chez les jeunes de 15 ans dans les pays administrant l'enquête PISA. L’encadré I.5.1 dans le chapitre 5 du Volume I (Résultats PISA 2022) examine cette question.

Autres références

Pour plus d’informations sur les instruments d’évaluation et la méthodologie de l’enquête PISA, consulter le Cadre d’évaluation et d’analyse de l’enquête PISA 2022 (OCDE, 2023[1]) et le Rapport technique sur l’enquête PISA 2022 (OCDE, 2024[2]).

Statlinks

Ce rapport fournit des « StatLinks » des tableaux et graphiques dans chaque chapitre. Pour télécharger le classeur Excel® correspondant, il suffit aux lecteurs de taper le lien dans leur navigateur Internet, en commençant par le préfixe https://doi.org ou de cliquer directement sur les liens présents dans la version électronique.

Références

[2] OCDE (2024), PISA 2022 Technical Report, Éditions OCDE, Paris, https://doi.org/10.1787/01820d6d-en.

[1] OCDE (2023), PISA 2022 Assessment and Analytical Framework, PISA, Éditions OCDE, Paris, https://doi.org/10.1787/dfe0bf9c-en.