Résultats du PISA 2022 (Volume I)

Annexe A3. Remarques techniques sur les analyses du présent volume

Erreurs-types, intervalles de confiance, tests de signification et valeurs p

Les statistiques du présent volume sont des estimations faites à partir d'échantillons d'élèves et non les valeurs qui auraient pu être calculées si tous les élèves de chaque pays avaient répondu à tous les items. C'est la raison pour laquelle il est important d'évaluer le degré d'incertitude qui entoure les estimations. Dans l'enquête PISA, le degré d'incertitude, exprimé sous la forme d'une erreur-type, est calculé dans toutes les estimations. Les intervalles de confiance permettent d'avancer des hypothèses au sujet des caractéristiques de la population d'une façon qui reflète l'incertitude entourant les estimations dérivées d'échantillons. Si plusieurs échantillons différents sont prélevés dans la même population, selon les mêmes procédures que celles utilisées pour prélever l'échantillon initial, l'intervalle de confiance indique que les observations faites dans 95 échantillons sur 100 seraient conformes aux caractéristiques réelles de cette population. Dans de nombreux paramètres, les estimations dérivées des échantillons suivent une distribution normale et l'intervalle de confiance de 95 % est égal au paramètre estimé plus ou moins 1.96 fois l'erreur-type.

Dans de nombreux cas, ce qui intéresse avant tout le lecteur, c'est de savoir si une valeur dans un pays s'écarte d'une autre valeur dans le même pays ou dans un autre pays, par exemple si les filles l'emportent sur les garçons dans un pays. Dans les tableaux et graphiques du présent rapport, les différences sont dites statistiquement significatives si une différence égale ou supérieure s'observait dans moins de 5 % des cas dans les échantillons en l'absence de différence réelle. Dans les analyses du présent rapport, des tests de signification ont été effectués pour évaluer la signification statistique des comparaisons.

Certaines analyses du présent volume font état de valeurs p (voir par exemple le tableau I.B1.5.4). Les valeurs p indiquent la probabilité que dans un modèle particulier, un résumé statistique des données puisse correspondre à une valeur égale à la valeur observée ou différente de cette valeur (Wasserstein et Lazar, 2016[1]). Dans le tableau I.B1.5.4 par exemple, la valeur p indique la probabilité d'observer dans les échantillons PISA une tendance égale à la tendance présentée ou différente de cette tendance, alors que dans les faits, cette tendance n'existe pas (et est égale à zéro).

Signification statistique des différences entre les moyennes de sous-groupes, après contrôle d'autres variables

Dans de nombreux tableaux, les comparaisons entre divers sous-groupes ont été faites sur la base de différences observées (« avant contrôle d'autres variables ») ainsi qu'après contrôle d'autres variables, telles que l'indice PISA de statut économique, social et culturel des élèves. Les différences ajustées ont été estimées par régression linéaire et leur signification a été évaluée à 95 %. Les différences statistiquement significatives sont indiquées en gras.

Plage de classement (intervalles de confiance des plages de classement des pays)

Le rang des pays dans les classements peut être estimé sur la base des estimations des scores moyens dérivées des échantillons des pays. Toutefois, comme les estimations sont entourées d'un degré d'incertitude, celui-ci doit aussi se refléter dans le rang estimé. Les estimations dérivées d'échantillons suivent une distribution normale, contrairement aux rangs estimés. C'est pourquoi des méthodes de simulation ont été employées pour déterminer l'intervalle de confiance du rang des pays dans les classements.

Des simulations sont faites dans l'hypothèse que dans chaque pays, d'autres estimations suivent une distribution normale autour de la moyenne estimée et sont associées à un écart-type égal à cette moyenne. Quelque 1 000 simulations sont effectuées, et 1 000 estimations possibles sont générées pour chaque pays sur la base de ces valeurs.

La méthode pour estimer les régions de confiance des classements comporte deux étapes. Pour chaque pays, toutes les éventuelles différences dans les estimations de score sont prises en compte entre le pays de référence et l'ensemble des autres pays participants. Puis, des régions de confiance pour les classements sont calculées pour chaque pays par rapport à l'ensemble des autres pays participants (ou par rapport à tous les autres pays de l'OCDE dans le cas du classement propre à cet ensemble). Une région de confiance simultanée est alors calculée sur la base de ces régions de confiance définies pour chaque pays, tenant compte de toutes les différences potentiellement observées entre le pays de référence et tous les autres pays, avec un intervalle de confiance de 95 %. Les régions de confiance simultanées qui se trouvent bien au-dessus ou bien en dessous de zéro (lorsque les différences s'écartent de zéro dans une mesure statistiquement significative) permettent de déterminer les régions de confiance du classement d'un pays.

Une procédure progressive d'essais multiples permet d'obtenir le classement résultant de ces régions de confiance simultanées. Cela suppose que dans un premier temps certains pays soient mieux ou moins bien classés par rapport au pays de référence, comme décrit ci-dessus. Dans les étapes suivantes, le classement des autres pays tient compte des pays qui étaient mieux ou moins bien classés lors des précédentes étapes, jusqu'à ce que tous les pays soient classés en fonction du pays de référence. Il s'agit des classements figurant dans les tableaux I.2.4, I.2.5 et I.2.6 (voir le chapitre 2). Pour plus de détails sur cette procédure, voir l'ouvrage de (Mogstad et al., 2023[2]).

La différence principale entre la plage de classement (voir par exemple le tableau I.2.4) et la comparaison des scores moyens des pays (voir par exemple le tableau I.2.1) réside dans le fait que la première variable, mais pas la seconde, tient compte des comparaisons multiples dans le classement des pays et économies. C'est pourquoi il peut y avoir une légère différence entre le rang des pays et le nombre de pays situés au-dessus d'eux dans les comparaisons du score de deux pays. Par exemple, l'Espagne, la Hongrie et le Portugal, parmi les pays de l'OCDE, affichent un score moyen similaire et ont en commun le même groupe de pays dont le score moyen ne s'écarte pas du leur dans une mesure statistiquement significative (voir le tableau I.2.1), mais dans le classement des pays de l'OCDE, la plage de classement de la Hongrie est comprise entre le 16^e et le 30^e rang et celle du Portugal entre le 17^e et le 30^e avec un intervalle de confiance de 97.5 %, tandis que celle de l'Espagne (entre le 18^e et le 29^e rang) est moins étendue (voir le tableau I.2.4). Si le lecteur s'intéresse au classement des pays, il est invité à examiner ces plages de classement.

Statistiques basées sur les modèles multiniveaux

Les statistiques basées sur les modèles multiniveaux comprennent les composantes de la variance (intra-établissement et entre les établissements) et l'indice d'inclusion dérivé de ces composantes (par « indice d'inclusion », on entend l'indice d'inclusion scolaire [voir les tableaux I.B1.2.12 et I.B1.2.13] et l'indice d'inclusion sociale [voir les tableaux I.B1.4.40 et I.B1.4.41]). Ces modèles multiniveaux sont généralement des modèles de régression à deux niveaux (élèves et établissements), avec une distribution normale des résidus, et sont estimés au moyen d'une estimation du maximum de vraisemblance. Lorsque la variable dépendante est la performance en mathématiques, l'estimation s'appuie sur 10 valeurs plausibles de la performance de chaque élève sur l'échelle de culture mathématique. Les modèles sont estimés à l'aide du module « mixte » Stata (version 17).

L'indice d'inclusion est défini et estimé comme suit :

Equation I.A3.1

$100\mathrm{*}\frac{{\sigma }_W^2}{{\sigma }_W^2+{\sigma }_B^2}$

où ${\sigma }_W^2$ et ${\sigma }_B^2$ représentent, respectivement, les estimations de la variance intra-établissement et entre les établissements.

Pour les statistiques basées sur des modèles multiniveaux (comme l'estimation des composantes de la variance), les erreurs-types ne sont pas calculées à l'aide de la méthode habituelle de réplication qui représente la stratification et les taux d'échantillonnage dans des populations finies. Les erreurs-types sont en effet « fondées sur un modèle » et leur calcul repose sur l'hypothèse d'un échantillonnage aléatoire des établissements et des élèves au sein des établissements (les pondérations au niveau « élève » et « établissement » prenant en compte les probabilités d'échantillonnage) à partir d'une population infinie et théorique d'établissements et d'élèves, conformément au modèle d'hypothèses paramétriques. L'erreur-type pour l'estimation de l'indice d'inclusion est calculée en déduisant une distribution approximative à partir des erreurs-types (fondées sur un modèle) pour les composantes de la variance, à l'aide la méthode delta.

Indice de parité

L'indice de parité est un indicateur utilisé par l'Institut de statistique de l'UNESCO pour rendre compte des progrès relatifs à la cible 4.5 des objectifs de développement durable. Il correspond au rapport entre la valeur d'une variable d'un groupe et la valeur de la même variable dans un autre groupe. Le plus souvent, le groupe le plus susceptible d'être défavorisé est le numérateur, et l'indice de parité varie entre 0 et 1 (« 1 » étant la situation de parité).

Dans certains cas toutefois, la valeur du numérateur est plus élevée. Un indice de parité ajusté est alors défini pour limiter la valeur de l'indice entre 0 et 2 et faire en sorte que la distribution soit symétrique autour de 1. L'indice de parité filles-garçons est par exemple calculé chez les élèves situés au moins au niveau 2 de l'échelle PISA de compétence sur la base du pourcentage de filles ($p_f$) et du pourcentage de garçons ($p_g$) comme suit :

Equation I.A3.2

$P{I}_{g,f}=\begin{array}{c}\frac{p_g}{p_f}\text{S}\text{i} p_g\ge p_f\\ 2-\frac{p_f}{p_g} \text{s}\text{i}{p}_g<p_f\end{array}$

L'indice de parité indiqué dans le tableau I.B1.3.13 correspond à l'indice de parité ajusté.

Rapport de cotes

Le rapport de cotes permet d'évaluer la probabilité relative qu'un résultat particulier s'observe entre deux groupes. Le rapport de cotes associé à l'observation d'un résultat en présence de l'antécédent est simple :

Equation I.A3.3

$\mathrm{R}\mathrm{C}=\frac{\left(p_{11}/p_{12}\right)}{\left(p_{21}/p_{22}\right)}$

où $p_{11}/p_{12}$ représente la « probabilité » d'observer le résultat en présence de l'antécédent, et $p_{21}/p_{22}$ représente la « probabilité » de l'observer en l'absence de l'antécédent.

Une régression logistique peut permettre d'estimer le rapport logarithmique : le coefficient exponentiel logit d'une variable binaire équivaut au rapport de cotes. Après contrôle des autres différences entre les groupes, un rapport de cotes « généralisé » peut être estimé moyennant l'ajout de variables de contrôle dans la régression logistique.

Les chiffres figurant en gras dans les tableaux de l'annexe B1 de ce rapport indiquent que le rapport de cotes s'écarte de la valeur 1 dans une mesure statistiquement significative à un intervalle de confiance de 95 %. Pour obtenir un intervalle de confiance du rapport de cotes équivalent à 95 %, on suppose que l'estimateur suit davantage une distribution normale logarithmique qu'une distribution normale.

Références

[2] Mogstad, M. et al. (2023), « Inference for Ranks with Applications to Mobility across Neighbourhoods and Academic Achievement across Countries », Review of Economic Studies, https://doi.org/10.1093/restud/rdad006.

[1] Wasserstein, R. et N. Lazar (2016), « The ASA Statement on <i>p</i>-Values: Context, Process, and Purpose », The American Statistician, vol. 70/2, pp. 129-133, https://doi.org/10.1080/00031305.2016.1154108.