Résultats du PISA 2022 (Volume I)

Annexe A7. Comparaison de la performance en compréhension de l'écrit, en mathématiques et en sciences entre les évaluations PISA

La méthodologie utilisée dans l'analyse des tendances d'évolution de la performance dans les enquêtes internationales est complexe. Un certain nombre de conditions doivent être réunies pour garantir la comparabilité des résultats PISA entre les évaluations.

Il faut en particulier que les évaluations successives du même domaine comportent un nombre suffisant d'items communs et que ceux-ci gardent leurs propriétés psychométriques au fil du temps pour que les résultats des élèves puissent être rapportés sur la même échelle de compétence. La batterie d'items doit couvrir de façon adéquate les différents aspects du cadre d'évaluation dans chaque domaine.

De plus, l'échantillon d'élèves doit être aussi représentatif de la population cible à chaque évaluation ; seuls les résultats dérivés des échantillons conformes aux strictes normes PISA peuvent être comparés dans le temps. Certains pays et économies ne peuvent comparer tous leurs résultats PISA au fil du temps, et ce, même s'ils ont participé à plusieurs évaluations PISA.

Les comparaisons dans le temps peuvent être affectées par un changement dans les conditions d'administration des épreuves ou les méthodes employées pour estimer le score des élèves sur les échelles PISA de compétence. Rappelons en particulier à cet égard que depuis 2015, les épreuves sont principalement administrées sur ordinateur. Par ailleurs, un modèle plus souple a été adopté pour mettre les données à l'échelle et les items non atteints (c’est-à-dire les items auxquels les élèves n’ont pas répondu à la fin du questionnaire) ont été considérés comme non administrés (la non-réponse à ces items valait une réponse incorrecte dans l'estimation du niveau des élèves sur l'échelle PISA de compétence lors des évaluations précédentes). Au lieu de procéder à une nouvelle estimation des résultats antérieurs en fonction des nouvelles méthodes, l'incertitude découlant de ces changements a été intégrée dans le calcul statistique de la signification des tendances (voir la section « Erreurs d'ancrage » ci-dessous).

Les variations des taux de scolarisation n’affectent pas la nature représentative de l’échantillon PISA en ce qui concerne sa population cible (les jeunes âgés de 15 ans scolarisés en 7^e année au moins), néanmoins de telles variations peuvent affecter l’interprétation des tendances.

Enfin, les comparaisons des résultats des épreuves basées sur des cadres d'évaluation différents peuvent aussi refléter la réorientation des priorités. Par exemple, les différences de résultats PISA entre 2018 (et des années antérieures) et PISA 2022 en mathématiques ne révèlent pas seulement si les élèves répondent mieux aux items communs aux épreuves des années retenues dans la comparaison (les items d'ancrage qui ont été conçus sur la base de cadres d'évaluation antérieurs), mais aussi s'ils sont relativement performants (par rapport à d'autres élèves, dans d'autres pays) dans des aspects plus prioritaires du cadre d'évaluation le plus récent.

Erreurs d'ancrage

Les erreurs d'ancrage estiment l'incertitude entourant les comparaisons qui impliquent des étalonnages différents de la même échelle (par exemple les étalonnages de l'échelle PISA de mathématiques faits en 2012 et en 2022). Les erreurs-types des estimations de l’évolution de la performance et des tendances entre les évaluations PISA tiennent compte de cette incertitude.

Comme lors des évaluations précédentes, seule l’incertitude associée à la localisation des scores des évaluations précédentes sur l’échelle de compétence de 2022 est reflétée dans l’erreur d’ancrage. Comme cette incertitude relative à la localisation dans la distribution (un changement dans l’intercept) disparaît si l’on analyse les estimations invariantes en termes de localisation (par exemple les estimations de la variance, de la plage inter-quartiles, des écarts entre les sexes, des coefficients de régression, des coefficients de corrélation, etc.), les erreurs-types de ces estimations n’incluent pas l’erreur d’ancrage.

Erreur d’ancrage des scores entre deux évaluations PISA

Dans l’évaluation PISA de 2022, les erreurs d’ancrage sont estimées sur la base de la comparaison des scores moyens des pays et économies dans chaque domaine après nouvelle mise à l’échelle des scores moyens publiés qui ont été générés selon la méthode de mise à l’échelle retenue lors de l’évaluation dont ils relèvent. Cette méthode d’estimation des erreurs d’ancrage a été utilisée pour la première fois lors de l’évaluation PISA de 2015 (OCDE, 2017[1]). Le nombre d’observations utilisé pour calculer chaque erreur d’ancrage est égal au nombre de pays dont les résultats des deux évaluations sont disponibles. Comme les données sous-tendant le calcul de l’erreur d’ancrage ne sont pas nombreuses, une estimation probante de l’écart-type a été utilisée, sur la base de la valeur statistique S_n (Rousseeuw et Croux, 1993[2]).

Tableau I.A7.1. Erreurs d’ancrage des comparaisons entre l'évaluation PISA de 2022 et les évaluations antérieures

Remarque : Les scores PISA de 2022 et des années antérieures ne peuvent être comparés que depuis la première fois où le domaine concerné a été le domaine majeur d’évaluation. Il n’est donc pas possible, par exemple, de comparer la performance en mathématiques et en sciences entre les évaluations PISA de 2000 et 2022.

Source : OCDE, Base de données PISA 2022, PISA 2022 Technical Report (OCDE, 2024[3]).

Erreur d’ancrage des autres types de comparaison de la performance des élèves

Dans l'enquête PISA, les erreurs d'ancrage des comparaisons entre deux évaluations sont réputées constantes sur l'ensemble de l’échelle : l'erreur d'ancrage associée à un score de 400 points est équivalente à celle associée à un score de 600 points. Toutefois, les indicateurs ne concernent pas tous l'échelle PISA de compétence et certaines comparaisons portent sur plus de deux évaluations. Dans quelle mesure l'erreur d'ancrage affecte-t-elle le pourcentage d'élèves dont le score est supérieur à un certain seuil ? Dans quelle mesure les erreurs d'ancrage affectent-elles les tendances basées sur des régressions ?

Erreur d’ancrage des tendances basées sur des régressions

Les erreurs d’ancrage de l’évolution de la performance calculée à partir de régressions et des comparaisons basées sur des transformations non linéaires des scores peuvent être estimées par simulation, compte tenu de l’erreur d’ancrage de la comparaison des scores entre deux évaluations PISA. Le tableau I.A7.2 indique l’ampleur de l’erreur d’ancrage associée à l’estimation de la tendance décennale moyenne d’évolution (voir ci-dessous la définition de la tendance décennale moyenne).

L’estimation des erreurs d’ancrage dans les tendances d’évolution basées sur des régressions repose aussi sur l’hypothèse que l’incertitude de l’ancrage suit une distribution normale, que la moyenne est égale à zéro et que l'écart-type est égal à l’erreur d’ancrage indiquée dans le Tableau I.A7.1. Comme ce sont les tendances entre plus de deux évaluations dont il est question ici, la covariance entre les erreurs d’ancrage doit être prise en considération en plus des erreurs d’ancrage indiquées dans le Tableau I.A7.1.

Pour simuler les données de plusieurs évaluations PISA, 2 000 observations ont été prélevées dans une distribution normale à plusieurs variables dont toutes les moyennes sont égales à zéro et dont la structure de variance et de covariance est identifiée par l’erreur d’ancrage indiquée dans le tableau I.A7.1, ainsi que par celles des échelles PISA antérieures indiquées dans le tableau 12.31 du rapport technique sur l'enquête PISA de 2012, dans le tableau 12.8 du rapport technique sur l’enquête de 2015 et dans le tableau 12.8 du rapport technique sur l’enquête PISA 2018 (OCDE, 2014[4] ; OCDE, 2017[1] ; OCDE, 2020[5]). Ces observations représentent 2 000 scénarios possibles où la tendance réelle est égale à zéro et où la tendance estimée reflète totalement l’incertitude de la comparabilité des scores entre les échelles. Les erreurs d’ancrage de la tendance décennale moyenne d’évolution des scores PISA entre 2022 et les évaluations précédentes dépendent du nombre d’évaluations retenu dans l’estimation, mais pas de la forme du spectre de performance dans chaque pays.

Erreur d’ancrage des transformations non linéaires des scores

Alors que dans les évaluations précédentes l’erreur d’ancrage des comparaisons basées sur les transformations non linéaires des scores (c’est-à-dire les niveaux de compétence) était estimée par simulation de l’erreur d’ancrage utilisée pour comparer deux évaluations PISA, dans PISA 2022, l’erreur d’ancrage est estimée à l’aide d’une approximation paramétrique de la distribution des compétences des élèves (la distribution normale), ainsi que de la « méthode delta ».

À titre d’exemple, le calcul de l’erreur d’ancrage à l’aide de la méthode delta peut se faire en prenant le pourcentage d’élèves en dessous du niveau de compétence 2 comme la variable d’intérêt. Toutefois, cette méthode s’applique à toute transformation générique non linéaire des scores PISA.

Dans cette illustration, la variable d’intérêt est une valeur dans une distribution cumulée normale (Graphique I.A7.1). Les valeurs sur l’échelle PISA (y compris l’erreur d’ancrage) sont placées en abscisse ; le « pourcentage en dessous » d’une valeur particulière sur l’échelle PISA (X) peut se lire en ordonnée (environ .25 ou 25 %, dans cet exemple) ; et les erreurs d’échelle seront traduites en erreurs sur l’ordonnée en fonction de la pente de la courbe autour de la valeur X. Comme le montre clairement le graphique, l’erreur d’ancrage sur l’axe des abscisses affectera différemment l’erreur sur l’axe des ordonnées, selon la localisation de la valeur d’intérêt (X) sur l’axe des ordonnées. Aux endroits où la courbe est plus forte, une erreur sur l’axe des abscisses se traduira en une plus grande erreur sur l’axe des ordonnées, tandis que si la courbe s’aplatit (aux extrémités de la distribution), une erreur en abscisse se traduira par une erreur plus petite en ordonnée.

En supposant que la répartition des scores PISA est approximativement normale, il est possible de calculer le facteur de « pente » qui affecte la traduction des erreurs d’ancrage de l’échelle PISA en une échelle de pourcentages utilisée pour rapporter les valeurs de la distribution cumulée (par exemple, le « pourcentage d’élèves n’atteignant pas le niveau de compétence 2).

Graphique I.A7.1. Fonction de la distribution normale cumulée

Comparaisons de la performance : différence entre deux évaluations et tendance décennale moyenne

La variation de la performance entre deux évaluations et le taux moyen de la tendance décennale moyenne sont analysés afin d’évaluer comment la performance évolue au fil du temps. Lorsqu’au moins cinq valeurs sont disponibles, des tendances curvilinéaires sont également estimées.

Les comparaisons entre deux évaluations (par exemple, la variation de la performance d’un sous-groupe ou d’un pays ou d’une économie entre les évaluations PISA de 2009 et de 2022) sont calculées comme suit :

Équation I.A7.1

${\mathrm{\Delta }}_{2022-t}=PIS{A}_{2022}-PIS{A}_t\mathrm{ }$

où ${\mathrm{\Delta }}_{2022-\mathrm{t}}$ est l’écart de score PISA entre 2022 et une année précédente ; où $PIS{A}_{2022}$ est le score PISA en mathématiques, en compréhension de l’écrit ou en sciences en 2022 et où $-PIS{A}_t$ est le score PISA en mathématiques, en compréhension de l’écrit ou en sciences lors d’une évaluation précédente. (Les comparaisons ne sont possibles que depuis la première année où une matière a été le domaine majeur de l’évaluation ; il n’est donc pas possible de comparer le score PISA en mathématiques entre 2022 et 2000 ni ne sont possibles les comparaisons des scores en sciences entre PISA 2022 et PISA 2000 ou PISA 2003).

L’erreur-type de la variation de la performance ${\mathrm{\sigma }(\mathrm{\Delta }}_{2022-\mathrm{t}})$ est égale à :

Équation I.A7.2

${\mathrm{\sigma }(\mathrm{\Delta }}_{2022-\mathrm{t}})=\sqrt{{\sigma }_{2022}^2+{\sigma }_t^2+erreu{r}_{2022,t}^2}$

où ${\mathrm{\sigma }}_{2022}$ est l’erreur-type du score $-PIS{A}_{2022}$, ${\mathrm{\sigma }}_{\mathrm{t}}$ est l’erreur-type du score observé pour $-PIS{A}_t$ et $erreu{r}_{2022,t}^2$ est l’erreur d’ancrage des comparaisons du score PISA en mathématiques, en compréhension de l’écrit et en sciences entre PISA 2022 et une évaluation (t) précédente. La valeur de l’$erreur{r}_{2022,t}^2$est indiquée dans le tableau I.A7.1.

Un second ensemble d’analyses présenté dans ce volume se rapporte à la tendance décennale moyenne d'évolution de la performance. Il s’agit de la mesure moyenne dans laquelle la performance a évolué dans les pays et économies participant à l’enquête PISA par intervalle de dix ans. Une tendance décennale positive de x points en moyenne indique donc que le score a augmenté de x points tous les dix ans dans un pays ou économie depuis la première évaluation PISA à laquelle il a participé et dont les données sont comparables. La tendance décennale moyenne d’évolution de la performance est calculée selon la régression suivante :

Équation I.A7.3

${PISA}_{i,t}={\beta }_0-{\beta }_{1}temp{s}_t+{\mathrm{\epsilon }}_{\mathrm{i},\mathrm{ }\mathrm{t}}$

où ${PISA}_{i, t}$ est le rang du pays i sur l’échelle des sciences, de compréhension de l’écrit ou de mathématiques de l’année t (le score moyen ou le score du centile du spectre de performance), où $temp{s}_t$ est le nombre d'intervalles de dix ans et où ${\mathrm{\epsilon }}_{\mathrm{i},\mathrm{ }\mathrm{t}}$ est le terme d’erreur indiquant l’incertitude associée à l’échantillonnage et à l'estimation de ${PISA}_{i, t}$. Dans l’estimation, les erreurs d’ancrage et de mesure sont réputées être indépendantes dans le temps. Selon ces spécifications, l’estimation de ${\beta }_1$ indique le taux moyen d'évolution de la performance par intervalle de dix ans. Les erreurs-types de ${\beta }_1$ sont, comme les comparaisons entre deux évaluations PISA, assorties d'une erreur d’ancrage :

Équation I.A7.4

$\sigma \left({\beta }_1\right)=\sqrt{{\sigma }_{s,i}^2\left({\beta }_1\right)+{\sigma }_l^2\left({\beta }_1\right)}$

où ${\sigma }_{s, i}^2\left({\beta }_1\right)$ est l’erreur d’échantillonnage et d’imputation associée à l’estimation de ${\beta }_1$ et ${{\sigma }_l^2(\beta }_1)$ est l’erreur d’ancrage associée à l’évolution moyenne de la performance par intervalle de dix ans. Elle est présentée dans le tableau I.A7.2.

La tendance décennale moyenne d’évolution de la performance est un indicateur plus probant de l’évolution des résultats scolaires dans les pays ou économies, car elle est calculée en fonction des informations recueillies lors de toutes les évaluations. Elle est donc moins sensible aux mesures anormales qui peuvent affecter les comparaisons basées sur deux évaluations seulement. La tendance décennale moyenne d’évolution de la performance est la meilleure estimation de l’évolution des résultats des pays et économies au fil de leur participation aux évaluations PISA. Elle est calculée (par intervalle de dix ans) par une régression basée sur les années où les pays et économies ont participé à l’évaluation PISA.

Les tendances curvilinéaires sont estimées selon une méthode similaire, par fonction de régression quadratique des scores PISA du pays i entre les évaluations indexées par t :

Équation I.A7.5

$PIS{A}_{i,t}={\beta }_2+\mathrm{ }{\beta }_{3}année_t+\mathrm{ }{\beta }_{4}année{e}_t^2+{\mathrm{\epsilon }}_{\mathrm{i},\mathrm{ }\mathrm{t}}$

où l'$année{e}_t$ est le nombre d'années jusqu’en 2022 et l’$année{e}_t^2$ est l’année t au carré. Comme l’année est mise à l’échelle pour être égale à zéro en 2022, ${\beta }_3$ indique le taux estimé de variation annuelle jusqu’en 2022 et ${\beta }_4$, l’accélération ou le ralentissement de la tendance. Si ${\beta }_4$ est positif, la tendance observée est en forme de « U » et les taux de variation de la performance sont plus élevés (plus positifs) dans les années plus proches de 2022 que dans les années précédentes. Si ${\beta }_4$ est négatif, la tendance observée est en forme de « U » inversé et les taux de variation de la performance sont moins élevés (plus négatifs) dans les années plus proches de 2022 que dans les années précédentes. Les erreurs-types de ${\beta }_3$ et de ${\beta }_4$ sont, comme les estimations des erreurs-types de la tendance décennale moyenne, assorties d'une erreur d'ancrage (voir le tableau I.A7.3). Les tendances curvilinéaires sont uniquement estimées dans les pays et économies dont la performance peut être comparée entre cinq évaluations au moins pour éviter un ajustement excessif des données.

Tendances ajustées

L’enquête PISA conserve les mêmes normes techniques au fil du temps. Cette constance permet de calculer des tendances dans des populations définies de manière cohérente, mais le pourcentage de l’effectif de jeunes de 15 ans que ces populations représentent peut évoluer.

Comme les tendances révèlent le rythme de la progression de cohortes d’élèves successives, il est important d’examiner la mesure dans laquelle elles sont influencées par la variation de la représentativité des échantillons pour tirer des conclusions fiables de ces résultats. C’est pourquoi deux séries de tendances ont été élaborées : les tendances non ajustées et les tendances ajustées compte tenu de l’évolution des taux de scolarisation.

Tendances ajustées compte tenu de l’évolution des taux de scolarisation

Pour neutraliser l’impact de l’évolution des taux de scolarisation (ou, plus précisément, de la variation de la mesure dans laquelle l’échantillon PISA est représentatif de l'effectif total de jeunes de 15 ans ; voir l’indice de couverture 3 à l’annexe A2), l’hypothèse est que les jeunes de 15 ans qui ne sont pas représentés dans l’échantillon auraient tous obtenu des scores inférieurs au centile visé, tous jeunes de 15 ans confondus. Grâce à cette hypothèse, le score médian de tous les jeunes de 15 ans (dans les pays dont la représentativité de l'échantillon atteint au moins 50 %) et le score des centiles supérieurs ont pu être calculés sans qu’il faille préciser le score des jeunes de 15 ans non représentés dans l’échantillon (cette hypothèse est plus contraignante pour le centile médian que pour des centiles supérieurs, le 75^e centile par exemple).

Dans les faits, l’estimation des tendances ajustées compte tenu de l’évolution des taux de scolarisation requiert l’ajout, dans la base de données, d’une observation par pays et économie correspondant aux jeunes de 15 ans qui ne sont pas représentés par l’échantillon PISA. La pondération finale de niveau « Élève » de cette observation correspond à la différence entre l’effectif total de jeunes de 15 ans (voir le tableau I.A2.1) et la somme des pondérations finales de niveau « Élève » des observations représentées dans l’échantillon (le nombre pondéré d’élèves participants). De même, chaque réplique de pondération de cette observation est égale à la différence entre l'effectif total de jeunes de 15 ans et la somme des répliques de pondération correspondantes. Toutes les pondérations négatives résultant de cette procédure sont remplacées par une valeur nulle. Une valeur inférieure aux valeurs plausibles de l’échantillon PISA est imputée dans les variables de performance de cette observation.

Dans un deuxième temps, les scores du centile médian et des centiles supérieurs du spectre de performance sont calculés sur la base de cet échantillon majoré. Dans les quelques cas où la représentativité de l'échantillon est inférieure à 50 %, l’estimation du score médian après ajustement est déclarée manquante.

Comparaison de la moyenne de l'OCDE entre les évaluations PISA

La moyenne de l’OCDE sert de valeur de référence dans l'ensemble de ce rapport. Elle correspond à la moyenne des résultats de tous les pays de l’OCDE, chaque pays étant pondéré de façon égale. Plusieurs pays de l’OCDE n’ont pas participé à certaines évaluations. Dans d’autres pays, les résultats de certaines évaluations ne sont pas comparables ou des questions ont été exclues des questionnaires ou ont été largement modifiées entre des évaluations. Dans les graphiques et tableaux relatifs aux tendances, la moyenne de l’OCDE est calculée sur la base d’ensembles cohérents de pays de l’OCDE et plusieurs moyennes sont parfois incluses. La « moyenne OCDE-35 » est par exemple calculée sur la seule base des 35 pays de l’OCDE sans aucune observation manquante dans les évaluations PISA depuis 2012 ; d'autres moyennes sont calculées sur la seule base des pays de l'OCDE sans aucune observation manquante concernant les années de référence des moyennes. Cette restriction permet de faire des comparaisons valables de la moyenne de l’OCDE au fil du temps et neutralise l'effet de l'adhésion de nouveaux pays à l'OCDE et de la variation de l'effectif de pays participant à l'enquête PISA sur les tendances estimées.

Tableau I.A7.4. Tableaux de comparaison de la performance entre les évaluations PISA

	Tableau I.A7.1.	Erreurs d’ancrage des comparaisons entre l'évaluation PISA de 2022 et les évaluations antérieures
WEB	Tableau I.A7.2.	Erreurs d’ancrage de la tendance linéaire des évaluations PISA entre 2022 et les années précédentes
WEB	Tableau I.A7.3.	Erreurs d’ancrage de la tendance curvilinéaire des évaluations PISA entre 2022 et les années précédentes

Statlink

Références

[3] OCDE (2024), PISA 2022 Technical Report, Éditions OCDE, Paris, https://doi.org/10.1787/01820d6d-en.

[5] OCDE (2020), PISA 2018 Technical Report, Éditions OCDE, Paris, https://www.oecd.org/en/about/programmes/pisa/pisa-data.html#methodology.

[1] OCDE (2017), PISA 2015 Technical Report, Éditions OCDE, Paris, https://www.oecd.org/en/about/programmes/pisa/pisa-data.html#methodology.

[4] OCDE (2014), PISA 2012 Technical Report, Éditions OCDE, Paris, https://doi.org/10.1787/6341a959-en.

[2] Rousseeuw, P. et C. Croux (1993), « Alternatives to the Median Absolute Deviation », Journal of the American Statistical Association, vol. 88/424, pp. 1273-1283, https://doi.org/10.1080/01621459.1993.10476408.