Les résultats des épreuves du PISA 2022 sont rapportés sur une échelle numérique constituée de points PISA. Cette section résume les procédures d’élaboration des épreuves et des échelles utilisées pour faire en sorte que les points PISA soient comparables entre les pays ainsi qu’avec les résultats des évaluations PISA précédentes.
Résultats du PISA 2022 (Volume I)
Apprentissage et équité dans l’éducation
Cadre d’évaluation et élaboration des épreuves
Dans la définition d'une échelle PISA de compétence, la première étape consiste à élaborer un cadre d'évaluation de chaque matière visée. Ce cadre conceptuel définit en quoi consiste la maîtrise de la matière ; structure la matière en fonction des différentes dimensions retenues ; et identifie les questions et les tâches qui peuvent être utilisées pour mesurer le savoir-faire des élèves dans la matière en fonction des contraintes liées à la structure de l’enquête PISA (OCDE, 2023[1]). Ces cadres d'évaluation sont rédigés par un groupe d'experts internationaux dans chaque matière et sont approuvés par les pays participants.
La deuxième étape consiste à élaborer les questions de l’épreuve (à savoir les items) pour évaluer la compétence dans chaque matière. Un consortium d’organisations spécialisées, que l’OCDE engage au nom des gouvernements des pays participants, élabore de nouveaux items et sélectionne des questions dans des épreuves PISA antérieures (c'est-à-dire, les items d’ancrage) dans la même matière. Le groupe d’experts qui a rédigé le cadre d’évaluation passe en revue les items proposés pour vérifier qu’ils respectent les exigences et spécifications énoncées dans le cadre.
Lors de la troisième étape, les pays et économies procèdent à un examen qualitatif des instruments d’évaluation afin de s’assurer de la qualité globale des items et que ceux-ci sont en adéquation avec leur propre contexte. Les conclusions de ces experts sont prises en considération lors de la sélection des items constituant les épreuves. Les items sélectionnés sont alors traduits et adaptés pour créer des versions nationales des instruments d’évaluation. Le Consortium du PISA vérifie ensuite ces versions nationales.
Celles-ci sont soumises dans la foulée à un échantillon d'élèves de 15 ans dans tous les pays et économies participants dans le cadre d'un essai de terrain, pour vérifier qu’elles respectent les normes les plus strictes en matière de qualité technique et de comparabilité internationale. L’essai de terrain sert, en particulier, à vérifier l’équivalence psychométrique des items et des épreuves entre les pays et économies (voir l’annexe A6).
Après l'essai de terrain, les items sont examinés afin d'identifier ceux qui sont à écarter, à réviser et à garder dans la batterie d'items. Le groupe d’experts internationaux responsable de chaque domaine d’évaluation formule alors des recommandations au sujet des items à inclure dans les épreuves de l’enquête principale. Les pays et économies examinent également la série définitive d’items. Les items retenus se répartissent entre les diverses dimensions du cadre d’évaluation et couvrent différents niveaux de difficulté, de sorte qu’ensemble ils permettent de mesurer toutes les compétences visées dans un large éventail de contextes et d’aptitudes.
Échelles de compétence en mathématiques, en compréhension de l’écrit et en sciences
Les scores des élèves en mathématiques, en compréhension de l'écrit, et en sciences sont dérivés de leurs réponses aux items conçus en fonction du cadre d'évaluation de chaque matière (voir la section ci‑dessus). Les élèves ont répondu à des questions différentes, mais la conception des épreuves, qui garantit que les items sont bien répartis entre les différents carnets de test, permet de construire dans chaque domaine des échelles de compétence qui sont communes à tous les élèves. Dans l'ensemble, les cadres d'évaluation PISA partent de l'hypothèse qu'une seule échelle continue peut être utilisée pour rendre compte de la performance des élèves dans chaque domaine, mais cette hypothèse est vérifiée de manière plus approfondie durant la mise à l'échelle (voir ci‑dessous).
Les échelles PISA de compétence sont construites à partir de modèles dérivés de la théorie de la réponse à l'item dans lesquels la probabilité que les élèves répondent correctement à une question dépend des caractéristiques de cette question et de la position des élèves sur l'échelle de compétence. En d'autres termes, le niveau des élèves correspond à un point particulier de l'échelle qui indique la probabilité qu'ils ont de répondre correctement à toute question. Plus les élèves se rapprochent du sommet de l'échelle, plus ils sont performants et, donc, plus la probabilité qu'ils répondent correctement à toute question augmente. Le rapport technique sur l’évaluation PISA 2022 (OCDE, 2024[2]) fournit des informations plus détaillées sur la technique de modélisation utilisée pour construire les échelles de compétence.
Dans les modèles PISA basés sur la théorie de la réponse à l'item, les caractéristiques des tâches sont résumées par deux paramètres : le degré de difficulté et le degré de discrimination. Premier paramètre, le degré de difficulté des items situe ceux-ci à l'endroit de l'échelle où la probabilité que les élèves y répondent correctement est égale ou supérieure à 50 % s'ils ont atteint ou dépassé cet endroit de l’échelle ; plus les valeurs sont élevées, plus les items sont difficiles. Pour décrire les niveaux de compétence (ou de maîtrise), les items se situent souvent en fonction de leur degré de difficulté à l'endroit de l'échelle où la probabilité que les élèves y répondent correctement est au moins égale à 62 % si leur niveau de compétence est égal ou supérieur à ce degré de difficulté.
Le deuxième paramètre, le degré de discrimination des items, indique le rythme auquel le pourcentage de réponses correctes augmente avec le niveau de compétence des élèves. Si le degré de discrimination d'un item est idéal, tous les élèves ou presque peuvent y répondre correctement si leur niveau de compétence est supérieur au degré de difficulté de l'item, mais à peine quelques élèves peuvent y répondre correctement si leur niveau de compétence est inférieur. Par contraste, si les items sont peu discriminants, la probabilité d'y répondre correctement augmente avec le niveau de compétence des élèves, mais uniquement progressivement.
Une seule échelle continue peut donc indiquer le degré de difficulté des questions et le niveau de compétence des élèves (voir le Graphique I.A1.1). Situer le degré de difficulté de chacune des questions sur cette échelle permet de situer le niveau de compétence qu'il faut avoir dans le domaine d'évaluation pour répondre à chacune d'entre elles, tandis que situer le niveau de compétence des élèves sur la même échelle permet de décrire ce dont ils sont capables en fonction du type de questions auxquelles ils répondent correctement la plupart du temps.
Le niveau de compétence est estimé en fonction des tâches que les élèves sont susceptibles de mener à bien. En d'autres termes, les élèves sont susceptibles de répondre correctement aux questions dont le degré de difficulté est égal ou inférieur à leur propre niveau sur l'échelle de compétence, mais pas de répondre correctement aux questions dont le degré de difficulté est supérieur à leur niveau sur l'échelle1.
Plus le niveau de compétence des élèves est supérieur au degré de difficulté d'une question, plus la probabilité d'une réponse correcte augmente. Le degré de discrimination d'une question indique à quel rythme la probabilité d'y répondre correctement augmente. Plus le niveau de compétence des élèves est inférieur au degré de difficulté d'une question, plus leur probabilité d'y répondre correctement diminue. Dans ce cas, le degré de discrimination d'une question indique à quel rythme la probabilité d'y répondre correctement diminue à mesure que l'écart se creuse entre son degré de difficulté et le niveau de compétence des élèves.
Définition des échelles de compétence et calibrage de leurs niveaux entre plusieurs évaluations
Les échelles de compétence ont été définies lorsque leur domaine a été le domaine majeur d'évaluation PISA pour la première fois : en 2000 en compréhension de l'écrit, en 2003 en mathématiques et en 2006 en sciences.
Les modèles PISA dérivés de la théorie de réponse à l'item décrivent la relation entre le niveau de compétence des élèves et le degré de difficulté et de discrimination des items, mais ils ne définissent pas d'unité de mesure unique pour ces paramètres. Dans l'enquête PISA, cette unité de mesure a été choisie la première fois qu'une échelle de compétence a été définie. Le score de 500 points PISA correspond au niveau moyen de compétence des élèves dans les pays de l'OCDE ; l'écart-type (l'indicateur de variabilité du niveau de compétence) a été fixé à 100 points PISA dans les pays de l'OCDE2.
Pour pouvoir suivre les tendances d’évolution de la performance, les résultats de chaque évaluation sont rapportés sur la même échelle de compétence. Il est possible de rapporter les résultats d'évaluations PISA sur la même échelle de compétence, car un nombre élevé d'items identiques sont administrés à chaque évaluation PISA. Ces items sont dits d'ancrage. En 2018, tous les items administrés en compréhension de l’écrit et en sciences et un nombre élevé d'items en mathématiques (74 items sur 234) ont été administrés lors d'évaluations précédentes. Leurs paramètres de difficulté et de discrimination avaient dès lors déjà été estimés lors d'évaluations PISA précédentes.
Les réponses des élèves aux items d'ancrage lors d'évaluations PISA précédentes et leurs réponses aux mêmes items lors de l'évaluation PISA 2022 ont été prises en compte lors de la mise à l'échelle des données du PISA 2022 pour estimer le niveau de compétence des élèves et le degré de difficulté et de discrimination des items. Lors de la mise à l'échelle des données du PISA 2022, les paramètres des nouveaux items ont été estimés librement, mais ceux des items d'ancrage sont ceux de l'évaluation PISA 2018 qui ont été estimés sur la base des évaluations PISA lors desquelles ils ont été administrés. Toutes les contraintes liées aux paramètres des items d'ancrage ont été évaluées et ont dans certains cas été assouplies pour mieux décrire les comportements de réponse des élèves. Le rapport technique sur l’enquête PISA 2022 fournit des informations plus détaillées (OCDE, 2024[2])
La mesure dans laquelle les caractéristiques des items estimées lors de la mise à l'échelle des données PISA de 2018 diffèrent de celles estimées lors de mises à l'échelle antérieures est résumée dans l'erreur d'ancrage (exprimée en points PISA) qui rend compte de l'incertitude associée à la comparaison des résultats PISA dans le temps. Si l'erreur d'ancrage est nulle, le degré de difficulté des items ou leur capacité de distinguer les élèves peu et très performants sont identiques d'évaluation en évaluation, mais si l'erreur d'ancrage n'est pas nulle, ces paramètres ont évolué au fil du temps, de sorte que les comparaisons de tendances sont entourées d'une plus grande incertitude.
Combien d'échelles par domaine ? Évaluation des dimensions des domaines PISA
Les cadres PISA d'évaluation en mathématiques, en compréhension de l'écrit, et en sciences partent de l'hypothèse qu'une seule échelle continue peut résumer la performance dans chaque domaine dans tous les pays. Cette hypothèse est intégrée dans le modèle PISA dérivé de la théorie de réponse à l'item. Les écarts par rapport à cette hypothèse entraînent donc une inadéquation du modèle, qui peut s'évaluer grâce aux indices d'adéquation.
Après l'essai de terrain, l'adéquation du modèle a été estimée pour chacun des items dans chaque pays et dans chaque groupe linguistique, ce qui donne des informations à propos de l'hypothèse de l'unidimensionnalité et de l'équivalence des échelles entre les pays. Ces estimations initiales sont utilisées pour améliorer la batterie d'items dans chaque domaine : les items problématiques sont parfois corrigés (par exemple, si une erreur de traduction est détectée) ; et les consignes de correction et de codage peuvent être modifiées (par exemple, le crédit partiel qui affecte la fiabilité du codage peut être supprimé ou les réponses à plusieurs items peuvent être combinées s'il apparaît que la probabilité de répondre correctement à une question dépend de la probabilité de répondre correctement à une question posée précédemment). Des items peuvent également être supprimés de la batterie après l'essai de terrain. Les items à supprimer sont choisis avec soin pour faire en sorte que la batterie d'items continue de respecter l'équilibre entre tous les aspects du cadre d'évaluation. Après la campagne définitive, les estimations de l'adéquation du modèle servent essentiellement à améliorer le modèle de mise à l'échelle (il est possible d’envisager d’apporter des modifications minimes aux consignes de codage ou de supprimer quelques items).
Malgré les éléments à l'appui de l'échelle unidimensionnelle, la décision a été prise d'opter pour des estimations multiples de la performance, avec des sous-échelles en plus de l'échelle principale, dans le domaine majeur (les mathématiques en 2022). Les sous-échelles se rapportent à des dimensions différentes du cadre d'évaluation, de sorte qu'elles permettent de rendre compte des compétences des élèves de manière plus nuancée dans un domaine. Les sous-échelles d'un domaine d'évaluation sont généralement fortement corrélées (ce qui conforte la thèse qu'une échelle globale peut être constituée grâce à la combinaison d'items entre les sous-échelles). Malgré cette forte corrélation, des écarts de performance intéressants s'observent souvent entre les sous-échelles après agrégation (entre les pays, entre les systèmes d’éducation au sein des pays ou entre les garçons et les filles, par exemple).
Les tableaux I.A1.1 à I.A1.8 (ci-après) présentent les descriptions des niveaux de compétence pour chacune des sous-échelles en mathématiques. Dans certaines sous-échelles, l’évaluation PISA 2022 en mathématiques ne comportait pas d’items permettant de décrire les compétences au niveau 1c ou 1b.
Les résultats du PISA 2022 liés aux sous-échelles en mathématiques figurent à l’annexe B1 (pour les pays et économies) et à l’annexe B2 (pour les régions au sein des pays). Les résultats concernant le pourcentage d’élèves à chaque niveau de compétence des sous-échelles en mathématiques ont été estimés uniquement pour les niveaux de compétence pour lesquels il existait des descripteurs de compétence (c’est-à-dire des items de test mesurant ces niveaux).
En plus des scores PISA qui indiquent la performance des élèves en mathématiques, en compréhension de l'écrit et en sciences, ce volume présente des indices dérivés du questionnaire « Élève » afin de replacer les résultats du PISA 2022 dans leur contexte ou d'estimer les tendances à imputer à l'évolution démographique dans le temps. Les variables et indices de la base de données suivants sont utilisés dans ce rapport.
Statut économique, social et culturel (SESC)
L’indice SESC est un score composite qui combine en un seul score des informations dérivées de trois composantes : le niveau de formation le plus élevé des parents (l’indice PAREDINT) ; le statut professionnel le plus élevé des parents (l’indice HISEI) ; et le patrimoine familial (l’indice HOMEPOS).
Plus haut niveau de formation des parents : les réponses des élèves aux questions ST005, ST006, ST007 et ST008 relatives à la formation des parents ont été codifiées conformément à la CITE 11 (UNESCO, 2012[3]). Les indices sur la formation parentale ont été élaborés en recodant les niveaux de formation dans les catégories suivantes : (1) niveau CITE 02 (enseignement préprimaire), (2) niveau CITE 1 (enseignement primaire), (3) niveau CITE 2 (premier cycle de l’enseignement secondaire), (4) niveau CITE 3.3 (deuxième cycle de l'enseignement secondaire ne menant pas directement à l’enseignement tertiaire), (5) niveau CITE 3.4 (deuxième cycle de l’enseignement secondaire menant directement à l’enseignement tertiaire), (6) niveau CITE 4 (enseignement postsecondaire non tertiaire), (7) niveau CITE 5 (cycle court de l’enseignement tertiaire), (8) niveau CITE 6 (enseignement tertiaire niveau licence ou équivalent), (9) niveau CITE 7 (master ou équivalent) et (10) niveau CITE 8> (doctorat ou équivalent). Ces indices sont propres à la mère (MISCED) et au père (FISCED) des élèves. Dans l’éventualité où les réponses des élèves entre ST005 et ST006 (pour le niveau de formation de la mère) ou entre ST007 et ST008 (niveau de formation du père) entraient en conflit (par exemple, dans ST006, si un élève indique que l’un de ses parents est diplômé de l’enseignement postsecondaire mais qu’il a indiqué dans ST005 que ce parent n’avait pas terminé le premier cycle de l'enseignement secondaire), la valeur de formation la plus élevée fournie par l’élève a été retenue. C’est une procédure différente de celle suivie lors de l'évaluation PISA 2018, car c’était la valeur la plus basse qui était alors retenue. En outre, l’indice de niveau de formation le plus élevé des parents (HISCED) correspond au niveau le plus élevé de la CITE atteint par l’un ou l’autre des parents. Cet indice a été aussi recodé en une estimation du nombre d’années d’études (PAREDINT). La conversion des niveaux de la CITE en années d’études est commune à tous les pays. Cette conversion internationale a été déterminée en utilisant les valeurs cumulées d’années d’études attribuées dans PISA 2018 à chaque niveau de la CITE. La correspondance de ces années d’études est disponible dans le rapport technique PISA 2022 (OCDE, 2024[2]).
Afin de rendre les scores PAREDINT de PISA 2012, PISA 2015 et PISA 2018 comparables aux scores PAREDINT de PISA 2022, de nouveaux scores PAREDINT ont été créés pour chaque élève ayant participé aux cycles antérieurs, utilisant le schéma de codage employé dans PISA 2022. Ces nouveaux scores PAREDINT ont servi à calculer la tendance des scores de l’indice SESC.
Statut professionnel le plus élevé des parents : les données sur le statut professionnel du père et de la mère d’un élève proviennent de réponses à des questions ouvertes. Les réponses ont été codées à l’aide des codes à quatre chiffres de la CITP (OIT, 2007), puis cartographiées selon l’indice de statut socio-économique international du statut professionnel (ISEI) (Ganzeboom et Treiman, 2003[4]). PISA 2022 utilise les versions 2008 de la Classification CITP et l’indice ISEI. Trois indices ont été calculés en fonction de cette information : le statut professionnel du père (BFMJ2) ; le statut professionnel de la mère (BMMJ1) ; et le statut professionnel le plus élevé des parents (HISEI), qui correspond à l’indice ISEI le plus élevé des deux parents ou à celui du seul parent disponible. Pour ces trois indices, une valeur élevée de l’indice ISEI dénote un statut professionnel élevé.
Le patrimoine familial (HOMEPOS) est une mesure approximative de la richesse du patrimoine familial. Dans PISA 2022, les élèves ont indiqué s’ils disposaient d’articles ménagers chez eux, y compris des livres et des articles ménagers spécifiques au pays, permettant de mesurer la richesse familiale en fonction de chaque contexte national. L’indice HOMEPOS est un indice synthétique de tous les articles et possessions de la famille (ST250, ST251, ST253, ST254, ST255 et 256). Certains items HOMEPOS utilisés dans PISA 2018 ont été retirés du PISA 2022 tandis que d’autres ont été ajoutés (par exemple, de nouveaux items ont été élaborés spécifiquement pour les pays à faible revenu). Par ailleurs, certaines questions HOMEPOS qui étaient auparavant dichotomiques (oui/non) ont été transformées en questions polytomiques (1,2,3…), ce qui permet d’obtenir une plus grande variation dans les réponses.
Pour calculer l’indice PISA de statut socio-économique, social et culturel (SESC), des valeurs prédictives ont été imputées en lieu et place des indices PAREDINT, HISEI ou HOMEPOS manquants, avec l’inclusion d’une composante aléatoire, sur la base d’une régression des deux autres variables. En cas de données manquantes pour plus d’une des trois variables, l’indice SESC n’a pas été calculé et une valeur manquante a été attribuée.
Dans PISA 2022, l’indice SESC a été calculé en attribuant une pondération égale aux trois composantes normalisées. Les trois composantes ont été normalisées pour tous les pays de l’OCDE, chaque pays de l’OCDE y contribuant de manière égale. La variable finale de l’indice SESC a été transformée, 0 correspondant au score d’un élève moyen de l’OCDE et 1 étant l’écart-type dans les pays de l’OCDE dont le coefficient de pondération est équivalent.
Statut au regard de l'immigration (IMMIG)
L’information sur le pays de naissance des élèves et de leurs parents a été collectée. La base de données comprend trois variables spécifiques par pays relatives au pays de naissance de l’élève, de la mère et du père (ST019). Les variables sont binaires et indiquent si l’élève, la mère et le père sont nés dans le pays de l’évaluation ou ailleurs. Elles permettent de calculer l’indice du statut au regard de l’immigration (IMMIG) qui comprend les catégories suivantes : (1) les élèves autochtones (élèves dont au moins un parent est né dans le pays de l’évaluation) ; (2) les élèves de deuxième génération (élèves nés dans le pays de l’évaluation d’un parent ou de parents nés à l’étranger) ; et (3) les élèves de première génération (élèves nés à l’étranger de parents nés à l’étranger). L'indice est déclaré manquant si les élèves n’ont pas répondu à la question les concernant eux ou leurs parents.
Langue parlée en famille (ST022)
Les élèves ont indiqué la langue qu’ils parlent le plus souvent en famille, et la base de données comprend une variable comparable au niveau international (ST022Q01TA) qui a été dérivée de cette information et classée dans les catégories suivantes : (1) la langue parlée en famille est identique à la langue de l’évaluation ; (2) la langue parlée en famille est une autre langue.
La cartographie des options fournies dans les versions nationales des questionnaires « Élève » pour les deux valeurs possibles de la variable « Langue internationale en famille » (ST022Q01TA) relève de la responsabilité des centres nationaux du PISA. Par exemple, pour les élèves de la Communauté flamande de Belgique, le « dialecte flamand » a été pris en considération (de même que le « néerlandais ») comme équivalent de la « langue de l’évaluation » ; pour les élèves de la Communauté française et de la Communauté germanophone de Belgique (respectivement), le « wallon » (dialecte français) et un dialecte allemand ont été considérés comme une « autre langue ».
Anxiété à l'égard des mathématiques (ANXMAT)
L’indice d’anxiété à l’égard des mathématiques (ANXMAT) a été construit à l’aide des réponses des élèves à la question (ST345) sur la mesure dans laquelle ils sont tout à fait d’accord, d’accord, pas d’accord ou pas du tout d’accord avec l’affirmation suivante lorsqu’on leur demande de penser à l’étude des mathématiques : « J’ai souvent peur d'avoir des difficultés en cours de mathématiques » ; « J’ai peur d'avoir de mauvaises notes en mathématiques » ; « Je suis très tendu(e) quand je dois faire des devoirs de mathématiques à la maison » ; « Je deviens très nerveux(-se) quand je travaille sur des problèmes mathématiques » ; « Je me sens perdu(e) quand je travaille sur un problème mathématique » ; et « J’ai peur d'échouer en mathématiques ».
En plus des indices listés plus haut, les variables suivantes de la base de données ont été utilisées dans ce rapport.
Le sexe des élèves (variable dérivée de l'item ST004) ;
L’âge d’arrivée dans le pays de l’évaluation (ST021) (seulement pour les élèves qui sont nés dans un pays qui est différent du pays de l’évaluation).
L’insécurité alimentaire (ST258).
Références
[4] Ganzeboom, H. et D. Treiman (2003), « Three Internationally Standardised Measures for Comparative Research on Occupational Status », dans Advances in Cross-National Comparison, Springer US, Boston, MA, https://doi.org/10.1007/978-1-4419-9186-7_9.
[2] OCDE (2024), PISA 2022 Technical Report, PISA, Éditions OCDE, Paris, https://doi.org/10.1787/01820d6d-en.
[1] OCDE (2023), PISA 2022 Assessment and Analytical Framework, PISA, Éditions OCDE, Paris, https://doi.org/10.1787/dfe0bf9c-en.
[3] UNESCO (2012), Classification Internationale Type de l’Éducation CITE 2011, UNESCO, Paris.