Résultats du PISA 2022 (Volume II)

Annexe A3. Remarques techniques sur les analyses du présent volume

Erreurs-types, intervalles de confiance, tests de signification et valeurs p

Les statistiques du présent volume sont des estimations faites à partir d'échantillons d'élèves et non les valeurs qui auraient pu être calculées si tous les élèves de chaque pays avaient répondu à tous les items. C'est la raison pour laquelle il est important d'évaluer le degré d'incertitude qui entoure les estimations. Dans l'enquête PISA, le degré d'incertitude, exprimé sous la forme d'une erreur-type, est calculé dans toutes les estimations. Les intervalles de confiance permettent d'avancer des hypothèses au sujet des caractéristiques de la population d'une façon qui reflète l'incertitude entourant les estimations dérivées d'échantillons. Si de nombreux échantillons différents sont prélevés dans la même population, selon les mêmes procédures que celles utilisées pour prélever l'échantillon initial, l'intervalle de confiance indique que les observations faites dans 95 échantillons sur 100 seraient conformes aux caractéristiques réelles de cette population. Dans de nombreux paramètres, les estimations dérivées des échantillons suivent une distribution normale et l'intervalle de confiance de 95 % est égal au paramètre estimé plus ou moins 1.96 fois l'erreur-type.

Dans de nombreux cas, ce qui intéresse avant tout le lecteur, c'est de savoir si une valeur dans un pays s'écarte d'une autre valeur dans le même pays ou dans un autre pays, par exemple si les élèves sont plus performants dans les établissements publics plutôt que privés dans le même pays. Dans les tableaux et graphiques du présent rapport, les différences sont dites statistiquement significatives si une différence égale ou supérieure s'observerait dans moins de 5 % des cas dans les échantillons en l'absence de différence réelle. En d'autres termes, le risque de faire état d'une différence significative qui n'existe pas est limité à 5 %.

Signification statistique des différences entre types d'établissements et des différences de moyenne entre sous-groupes

La signification statistique des différences de score entre les types d'établissements et de celles imputables à d'autres indices a été testée. Les différences sont positives si le score des élèves est plus élevé dans les établissements privés et négatives s'il l'est dans les établissements publics. Dans l'ensemble, les différences indiquées en gras dans les tableaux du présent volume sont statistiquement significatives à 95 %.

Il en va de même pour les différences entre autres groupes d'élèves (selon qu'ils sont favorisés ou défavorisés ou que leur établissement est favorisé ou défavorisé ou situé en milieu rural ou urbain), dont la signification statistique a également été testée. Les sous-groupes sont généralement définis dans les tableaux et la description des analyses. Toutes les différences indiquées en gras à l'annexe B du présent rapport sont statistiquement significatives à 95 %, sauf mention contraire.

Signification statistique des différences de moyenne entre sous-groupes, après contrôle d'autres variables

Dans de nombreux tableaux, les comparaisons entre divers sous-groupes ont été faites sur la base de différences observées (« avant contrôle d'autres variables ») ainsi qu'après contrôle d'autres variables, telles que l'indice PISA de statut économique, social et culturel des élèves. Les différences ajustées ont été estimées par régression linéaire et leur signification a été évaluée à 95 %. Les différences statistiquement significatives sont indiquées en gras.

Signification statistique des différences de score entre les quartiles supérieur et inférieur des indices et échelles PISA

La signification statistique des différences de score moyen entre les quartiles supérieur et inférieur des indices et échelles PISA a été testée. Les différences de score statistiquement significatives à 95 % entre les quartiles supérieur et inférieur de l'indice visé sont indiquées en gras.

Signification statistique des relations entre les indices et les items PISA à l'échelle des systèmes

La signification statistique des relations entre deux variables à l'échelle des systèmes d’éducation (par exemple entre le climat de discipline et le score en mathématiques) a également été testée. Les chiffres sont indiqués en gras si les relations, positives ou négatives, entre deux variables sont statistiquement significatives à 95 %. Ils sont indiqués en italique si les relations entre deux variables sont marginalement significatives (à 90 %).

Variation du score associée à la variation de 1 unité des indices

La différence de score associée à la variation de 1 unité d'indice est calculée dans de nombreux tableaux. Les chiffres sont indiqués en gras si les différences s'écartent de zéro dans une mesure statistiquement significative à 95 %.

Rapport de cotes

Le rapport de cotes permet d'évaluer la probabilité relative qu'un résultat particulier s'observe entre deux groupes. Le rapport de cotes associé à l'observation d'un résultat en présence de l'antécédent est simple :

$\mathrm{R}\mathrm{C}=\frac{\left(p_{11}/p_{12}\right)}{\left(p_{21}/p_{22}\right)}$

où $p_{11}/p_{12}$ est la « probabilité » d’observer le résultat en présence de l’antécédent, et $p_{21}/p_{22}$, la « probabilité » de l’observer en l’absence de l’antécédent.

Une régression logistique peut permettre d'estimer le rapport logarithmique : le coefficient exponentiel logit d'une variable binaire équivaut au rapport de cotes. Après contrôle des autres différences entre les groupes, un rapport de cotes « généralisé » peut être estimé moyennant l'ajout de variables de contrôle dans la régression logistique.

Signification statistique des rapports de cotes

Les chiffres sont indiqués en gras dans les tableaux de l’annexe B1 du présent rapport si le rapport de cotes s’écarte de 1 dans une mesure statistiquement significative à 95 %. L'hypothèse retenue pour établir un intervalle de confiance égal à 95 % dans le rapport de cotes est que l'estimateur suit une distribution normale logarithmique plutôt qu'une distribution normale.

Dans certains tableaux, les rapports de cotes sont également estimés après contrôle d'autres variables. Ils ont été obtenus par régression logistique et leur signification a été testée en fonction de l'hypothèse nulle d'un rapport de cotes égal à 1 (probabilité équivalente, après contrôle d'autres variables).

Coefficients de pondération des élèves

Les élèves âgés de 15 ans constituent la population cible de l'enquête PISA, mais l'échantillonnage a été réalisé en deux temps. Une fois la population définie, des échantillons d'établissements ont été prélevés moyennant une probabilité proportionnée à l'effectif d'élèves admissibles prévu dans chaque établissement. Ce n'est que dans un second temps que les échantillons d'élèves ont été prélevés dans l'effectif d'élèves admissibles de chaque établissement.

Les échantillons d'élèves ont été prélevés dans des échantillons d'établissements, certes, mais ceux-ci ont été conçus pour optimiser les échantillons d'élèves, plutôt que les échantillons d'établissements. Il est dès lors préférable d'analyser les variables de niveau Établissement comme s'il s'agissait des attributs des élèves âgés de 15 ans (plus précisément à la lumière du pourcentage d'élèves concernés) et non comme des attributs des établissements.

La plupart des analyses relatives aux caractéristiques des élèves et des établissements sont dès lors pondérées en fonction des pourcentages d'élèves (ou d'effectif d'élèves, dans le cas des caractéristiques des établissements), et les erreurs-types sont estimées sur la base de coefficients répliqués de niveau Élève.

Calcul de la couverture des items et des indices relatifs à la fermeture des établissements décrétée du fait du COVID-19

Dans le questionnaire « Élève », la question sur la durée de la fermeture des établissements du fait du COVID-19 (ST347Q01JA) sert de filtre à toutes les questions relatives à la façon dont les élèves ont vécu leur scolarité à domicile pendant cette période. La plupart des questions concernées sont abordées dans le chapitre 2 du présent volume ; il en va de même pour les indices (SCHSUST, PROBSELF, FAMUPSL, FEELLAH and SDLEFF) dérivés des réponses des élèves à ces questions (ST348, ST352, ST354 et ST355).

Si les élèves ont répondu par la négative à la question sur la fermeture de leur établissement du fait du COVID-19, ils n’ont en toute logique pas répondu aux questions relatives à cette fermeture, et les items les concernant sont déclarés sans objet dans la base de données de l’enquête PISA de 2022. Si les élèves ont répondu que leur établissement a été fermé pendant un certain temps à cause de la pandémie, mais n'ont pas répondu aux questions relatives à cette fermeture, leurs réponses manquantes sont traitées comme non valides. Ces réponses sont dites manquantes dans la base de données de l'enquête PISA de 2022.

Les élèves dont les réponses sont non valides sont déduits de l'échantillon pour calculer la couverture réelle de ces questions. Quant aux indices, l'échantillon est limité aux élèves qui ont répondu par l'affirmative à la question relative à la fermeture de leur établissement du fait du COVID-19 (ST347Q01JA), puisque les indices peuvent être calculés même si des items ont été laissés sans réponse. La réduction de l'échantillon ne modifie pas le résultat, mais uniquement sa représentativité (c'est-à-dire le pourcentage de l'échantillon concerné, indiqué à côté de l'erreur-type dans les tableaux).

Les différents types de données manquantes sont décrits de façon plus détaillée dans le rapport technique sur l'enquête PISA de 2022 (OCDE, 2023[1]).

Calcul de l'indice d'isolement

L'indice d'isolement utilisé dans le présent rapport correspond à l'indicateur d'exposition normalisé (Frankel et Volij, 2011[2]),

$I=1-\frac{\sum _{j=1}^J\frac{n_j^a}{N^a}\frac{(1-n_j^a)}{n_j}}{1-p^a}$

où $n_j^a$ et $N^a$ sont le nombre d'élèves de type a (les élèves issus de l'immigration, par exemple) inscrits dans l'établissement j et dans le système d'éducation ;$n_j$ est le nombre total d'élèves dans l'établissement j ; et $p^a=\frac{n^a}{N}$ est la proportion d'élèves de type a dans le système d'éducation. L'indice varie entre 0 (exposition totale) et 1 (isolement total) ; en d'autres termes, plus il est élevé, plus les élèves de type a se concentrent dans certains établissements. Dans le présent rapport, il sert à déterminer l'isolement scolaire de ces groupes d'élèves :

• les élèves soit favorisés, soit défavorisés (par définition ceux situés dans les quartiles soit supérieur, soit inférieur de l'indice SESC national)

• les élèves soit peu performants, soit très performants en mathématiques (par définition ceux situés dans les quartiles soit inférieur, soit supérieur du score national en mathématiques)

• les élèves issus de l’immigration

• les garçons et les filles

Les résultats des établissements et les établissements de l'année d'études modale

L'interprétation des résultats des établissements (par exemple, les différences entre le premier et le deuxième cycle de l'enseignement secondaire, soit les niveaux 2 et 3 de la CITE) dépend de la façon dont les établissements sont définis et s'organisent dans chaque pays et des unités choisies aux fins d'échantillonnage. Dans certains pays, les établissements de l'échantillon PISA se définissent comme des unités de gestion (même lorsqu'il s'agit d'implantations dispersées sur le plan géographique, comme aux Pays-Bas) ; alors que dans d'autres pays, ils se définissent comme des implantations d'établissements plus grands accessibles aux élèves âgés de 15 ans, des implantations propres dans d'autres ou encore comme des entités dirigées par un chef d'établissement. La façon de définir les établissements est décrite à l'annexe A2 ainsi que dans le rapport technique sur l'enquête PISA de 2022 (OCDE, 2023[1]). En Slovénie par exemple, l'unité primaire d'échantillonnage des élèves inscrits dans le deuxième cycle de l'enseignement secondaire (le niveau 3 de la CITE) correspond aux élèves inscrits dans la même filière dans le même établissement.

Plusieurs indicateurs présentés dans le chapitre 5 (les enseignants exerçant à temps plein et à temps partiel, les enseignants qualifiés et le taux d'encadrement) sont calculés séparément dans les établissements du niveau d'enseignement modal à l'âge de 15 ans. Le niveau d'enseignement « modal » correspond ici au niveau d'un tiers minimum de l'échantillon PISA. Les élèves de l'échantillon PISA sont représentatifs de tous les élèves âgés de 15 ans, indépendamment du type d'établissement qu'ils fréquentent, mais ils ne sont pas nécessairement représentatifs de l'effectif de leur établissement. Dans l'enquête PISA, limiter l'échantillonnage aux établissements correspondant au niveau d'enseignement modal à l'âge de 15 ans permet de garantir que les caractéristiques des élèves échantillonnés sont celles de l'élève type des établissements. L'année modale peut relever du premier ou du deuxième cycle de l'enseignement secondaire (voire des deux cycles, puisque ceux-ci peuvent être organisés dans le même établissement). Cette restriction ayant lieu au niveau des établissements, certains élèves fréquentant une autre année d'études que l'année modale définie dans le pays peuvent également être inclus dans l'analyse. La façon de définir les établissements est décrite à l'annexe A2 ainsi que dans le rapport technique sur l'enquête PISA de 2022 (OCDE, 2023[1]).

Ratios généraux et ratios moyens

Dans le présent rapport, les ratios (par exemple, le ratio d’enseignants pleinement qualifiés ou le taux d’encadrement) sont soit généraux, soit spécifiques à l’année d’études modale. En d'autres termes, ils sont calculés par division de l'effectif total de la population cible (dérivé de tous les établissements accueillant des élèves âgés de 15 ans ou des seuls établissements où le niveau d'enseignement modal à l'âge de 15 ans est organisé) par le nombre total d'enseignants dans le groupe cible. Les ratios sont calculés comme suit : le numérateur et le dénominateur, soit la somme (pondérée) des taux par établissement, sont déterminés, puis le numérateur est divisé par le dénominateur. Des estimations du même ordre sont faites en ce qui concerne la proportion d'enseignants diplômés en licence, en master et en doctorat, d'enseignants pleinement qualifiés et d'enseignants exerçant à temps plein et à temps partiel. Dans la plupart des cas (c'est-à-dire sauf si les établissements sont exactement de la même taille), les ratios généraux s'écartent des ratios spécifiques à l'année d'études.

Durée des cours

Dans l'enquête PISA, la durée moyenne des cours par semaine a été calculée après combinaison des réponses des élèves et des chefs d’établissement en 2022 et n'est pas comparable à celle calculée en 2018. En 2022, les élèves ont indiqué le nombre de cours à suivre par semaine dans toutes les matières et les chefs d’établissement, la durée moyenne de chaque cours prévu dans l'année d'études modale à l'âge de 15 ans. Les chiffres pourraient être légèrement biaisés du fait de cette combinaison, par exemple si des élèves ou des chefs d’établissement ont mal compris la notion de cours ou ont mal répondu.

Calcul des relations entre les caractéristiques des établissements et des systèmes d'éducation et des indicateurs de résilience des systèmes

Des corrélations à l'échelle des systèmes d’éducation ainsi que des corrélations partielles ont été utilisées pour déterminer si des caractéristiques des systèmes pourraient être des composantes de résilience. La signification statistique et la direction des relations entre diverses caractéristiques des systèmes d’éducation (le climat de discipline moyen ou encore le pourcentage d'élèves préscolarisés un an minimum) et tous les indicateurs de résilience (le score moyen en mathématiques, l'équité socio-économique, le sentiment d'appartenance à l'établissement) ont été testés.

Des analyses corrélationnelles ont été faites séparément dans les pays de l'OCDE et dans tous les pays et économies ayant administré l'enquête PISA en 2022. Les coefficients de corrélation ont par ailleurs été calculés avant et après contrôle du PIB par habitant, ce qui permet de tenir compte du niveau de développement économique de chaque pays et économie. Les tableaux de corrélation à l'échelle des systèmes indiquent les coefficients de corrélation et de corrélation partielle ainsi que leur signification. Les graphiques indiquent le pourcentage de la variation des indicateurs de résilience (le score moyen en mathématiques, par exemple) qui s'explique par la caractéristique des systèmes à l'étude (le climat de discipline moyen, par exemple). Les relations entre tendances (l'évolution du harcèlement et du score en mathématiques, par exemple) portent sur les mêmes périodes. La plupart des tendances se rapportent à la période allant de 2018 à 2022, mais certaines caractéristiques n'ont pas été évaluées en 2018 (le climat de discipline en cours de mathématiques, par exemple). Dans ces cas, les relations portent sur l'évolution entre 2012 et 2022 (en l'espèce, l'évolution du climat de discipline et du score en mathématiques entre 2012 et 2022). Aucune relation n'est présentée en ce qui concerne le sentiment d'appartenance, car cet indice n'est pas comparable entre 2012 et 2022.

Considérations à garder présentes à l'esprit lors de l'interprétation des résultats de l'enquête PISA

Comparabilité internationale et interculturelle des données PISA

Lors de l'enquête PISA 2022, les élèves et les chefs d’établissement ont été priés de répondre à des questions sur l'organisation de leur établissement et le contexte social et économique de la scolarité. Ce ne sont pas des observations externes, mais des constats faits par les élèves et les chefs d’établissement, qui sont donc susceptibles d’être influencés par des différences culturelles.

L'enquête PISA vise à optimiser la comparabilité internationale et interculturelle de constructs complexes, tout en gardant les questionnaires d'une concision relative et en limitant le caractère intrusif des questions. En dépit des investissements massifs dans le suivi du processus de traduction, la normalisation de l'administration des instruments, le choix des questions et l'analyse de la qualité des données de l'enquête PISA, la comparabilité totale entre les pays et des sous-groupes de la population ne saurait être systématiquement garantie.

Les indicateurs relatifs au climat scolaire et au bien-être qui sont analysés dans le présent rapport sont dérivés des réponses des élèves et des chefs d'établissement, mais celles-ci sont susceptibles d'être biaisées par divers facteurs, notamment la défaillance de la mémoire, la désirabilité sociale (la tendance des personnes à répondre d'une façon plus acceptable dans leur contexte social et culturel), le biais du groupe de référence dans les comparaisons et le biais lié au style de réponse (linéarité, exagération, modestie, consentement, etc.) (Pekrun, 2020[3] ; Harzing et al., 2012[4] ; Spooren, Mortelmans et Thijssen, 2012[5]). Ces biais peuvent avoir des effets différents selon le contexte culturel, de sorte qu'ils limitent la comparabilité internationale des réponses (Benítez, Van de Vijver et Padilla, 2019[6] ; Van de Vijver et al., 2019[7]). La plus grande prudence est recommandée au lecteur lors de l'interprétation des indicateurs ayant une forte composante subjective, tels que les sentiments des élèves et leur satisfaction dans la vie, qui sont plus susceptibles d'être influencés par les normes culturelles et la personnalité des élèves.

Pour réduire le risque d'interprétation abusive, les indices PISA auxquels il fait référence dans le présent rapport ont fait l'objet d'analyses de fiabilité et d'invariance (des détails sont fournis à ce sujet à l'annexe A1 et dans le rapport technique sur l'enquête PISA de 2022 (OCDE, 2023[1])), qui permettent au lecteur d'évaluer la fiabilité des comparaisons internationales.

Interprétation des informations fournies par les chefs d'établissement et des résultats des établissements

En plus des réserves générales inhérentes aux informations fournies par les intéressés, d'autres réserves, en particulier celles relatives aux informations recueillies auprès des chefs d'établissement ou à l'interprétation des résultats des établissements, doivent être prises en compte lors de l'interprétation des chiffres.

• L'environnement d'apprentissage décrit dans l'enquête PISA pourrait n'être révélateur qu'en partie de l'environnement pendant les années d'études antérieures, en particulier dans les systèmes d'éducation où les élèves changent de type d'établissements entre l'enseignement préprimaire, l'enseignement primaire et le premier et le deuxième cycle de l'enseignement secondaire. Comme l'environnement actuel des élèves peut différer de celui de leurs années d'études antérieures, les données contextuelles recueillies dans l'enquête PISA ne sont qu'un indicateur imparfait des environnements cumulés par les élèves au fil de leur scolarité, et les effets de ces environnements sur les résultats scolaires sont vraisemblablement sous-estimés. Dans la plupart des cas, les élèves âgés de 15 ans fréquentent leur établissement actuel depuis moins de trois ans (voir le tableau II.B1.2.3). En d'autres termes, ils ont à ce jour suivi la plus grande partie de leur scolarité dans d'autres établissements, qui peuvent n'avoir que peu de choses en commun avec l'établissement où ils étaient inscrits au moment de passer les épreuves PISA. Les parents peuvent avoir moins d'occasions d'entrer en interaction avec le personnel scolaire si leur enfant n'est inscrit que depuis quelques mois dans l'établissement. Les élèves peuvent quant à eux n'avoir pas passé suffisamment de temps dans leur établissement pour y être profondément attachés.

• La plupart des élèves âgés de 15 ans sont déjà entrés dans le deuxième cycle de l'enseignement secondaire dans certains pays, alors qu'ils en sont encore au premier cycle de l'enseignement secondaire dans d'autres. Les élèves peuvent répondre à certaines questions d'une façon qui dépend de leur niveau d'enseignement, en particulier dans les pays où entrer dans le deuxième cycle de l'enseignement secondaire implique de s'inscrire dans un nouvel établissement.

• Dans certains pays et économies, la définition de l'établissement n'est pas univoque, car les établissements varient selon le niveau d'enseignement et la filière. Des sections d'établissements (propres à une filière ou à une implantation) ont par exemple été échantillonnées dans certains pays et économies en lieu et place des établissements en tant qu'unités administratives (voir ci-dessus).

• Les chefs d'établissement peuvent fournir des informations sur leur établissement, mais faire des généralisations à partir d'une seule source d'information, puis les recouper avec les informations fournies par les élèves n'est pas un processus direct. Les perceptions des chefs d'établissement ne sont de surcroît pas les informations les plus exactes qui soient à propos des enseignants, par exemple de leur état d'esprit et de leur zèle.

• L'échantillonnage fondé sur l'âge qui s'applique dans l'enquête PISA implique que les élèves ne sont pas toujours représentatifs de leur établissement dans certains systèmes d’éducation. Il faut disposer d'informations précises sur la structure des systèmes d'éducation pour bien interpréter les différences entre établissements.

• Les résultats ne sont présentés par profil socio-économique, situation, type ou niveau d'enseignement des établissements que si chaque sous-échantillon est constitué de minimum 30 élèves et 5 établissements, selon les prescriptions de l'enquête PISA. Et même lorsque ces seuils sont respectés, le lecteur doit interpréter les résultats avec prudence si le nombre prescrit d'élèves ou d'établissements est atteint de justesse.

En dépit de ces réserves, les informations fournies par le questionnaire « Établissement » donnent des indications uniques sur la façon dont les autorités nationales et infranationales tentent d'atteindre leurs objectifs dans le domaine de l'éducation.

Effets de la scolarité et de l'établissement

Lors de l'utilisation de données non expérimentales sur le score des établissements, comme celles contenues dans la base de données PISA, il est important de veiller à distinguer les effets de la scolarité des effets de l'établissement, en particulier dans l'interprétation de l'association modeste entre des facteurs tels que les ressources, politiques et caractéristiques scolaires, d'une part, et le score des élèves, d'autre part. Par effets de l'établissement, les experts entendent l'effet sur les résultats scolaires produit par le fait de fréquenter un établissement plutôt qu'un autre, sachant qu'en règle générale, les ressources, les politiques et les caractéristiques institutionnelles varient entre les établissements. Les effets de l'établissement peuvent être modestes si les établissements et les systèmes d'éducation ne varient pas à des égards fondamentaux. Il ne faut toutefois pas assimiler ces effets modestes à des effets nuls de la scolarité (l'effet sur les résultats entre le fait d'être et de ne pas être scolarisé).

Interprétation des corrélations et des tendances

Une corrélation indique l'intensité et la direction d'une relation linéaire, positive ou négative, entre deux variables. Il s'agit d'une donnée statistique simple qui montre dans quelle mesure deux variables sont associées l'une à l'autre, sans toutefois établir de causalité entre les deux.

Les comparaisons des résultats entre les ressources, les politiques et les pratiques et le score en mathématiques au fil du temps (analyses tendancielles) doivent elles aussi être interprétées avec prudence. La variation de l'intensité de la relation entre des caractéristiques des systèmes d’éducation et les résultats scolaires (le score en mathématiques, par exemple) ne saurait être causale, puisqu'elle peut être imputable à deux éléments principaux. Le premier de ces éléments tient au fait qu'un groupe particulier de ressources, de politiques et de pratiques peut avoir été choisi par les élèves plus performants (ou les établissements plus performants ou les systèmes très performants), alors que ce même groupe pourrait n'avoir pas existé dans le cas d'élèves, établissements ou systèmes moins performants. Selon cette interprétation, la relation entre le score en mathématiques et les ressources, politiques et pratiques est plus intense parce que celles-ci existent dans le cas des élèves, des établissements et/ou des systèmes plus performants. Quant au deuxième élément, il tient au fait qu'un groupe particulier de ressources, de politiques et de pratiques peut avoir été plus utilisé en 2022 qu'auparavant, auquel cas il a plus dopé l'apprentissage en 2022 qu'auparavant. Les tendances PISA indiquent que la situation a évolué, mais des analyses plus poussées s'imposent pour comprendre en quoi elle a évolué.

Interprétation des résultats avant et après contrôle du profil socio-économique

Dans le présent volume, la relation entre les résultats scolaires et les ressources, politiques et pratiques des systèmes d'éducation est analysée compte tenu des disparités socio-économiques entre élèves, établissements et systèmes. Cette méthode présente un avantage dans la mesure où les comparaisons portent sur des entités similaires, à savoir des élèves, établissements et systèmes dont le profil socio-économique est proche. Elle implique toutefois vu l'ajustement des comparaisons le risque de sous-estimer l'intensité de la relation entre les résultats scolaires et les ressources, politiques et pratiques, car les différences sont souvent imputables en grande partie à la fois à des politiques et au profil socio-économique.

Inversement, les analyses faites indépendamment du profil socio-économique peuvent surestimer l'intensité de la relation entre les résultats scolaires et les ressources, politiques et pratiques, car la nature des politiques adoptées peut aussi dépendre du profil socio-économique des élèves, établissements et systèmes. Il reste que ces analyses non ajustées peuvent décrire d'une manière plus fidèle à la réalité les établissements où les parents choisissent d'inscrire leur enfant. Elles sont aussi plus instructives pour les parties prenantes qui portent un intérêt plus général aux résultats des élèves, des établissements et des systèmes, y compris aux éventuels effets liés au profil socio-économique des établissements et des systèmes. Les parents peuvent se préoccuper principalement des normes absolues de résultats, même si les résultats plus brillants d'un établissement particulier s'expliquent en partie par le fait que cet établissement accueille davantage d'élèves favorisés.

Quant aux analyses faites à l'échelle des systèmes, les coefficients de corrélation sont calculés avant et après contrôle du PIB par habitant, ce qui permet de montrer dans quelle mesure les relations observées subissent l'influence du niveau de développement économique des pays et économies.

Références

[6] Benítez, I., F. Van de Vijver et J. Padilla (2019), « A Mixed Methods Approach to the Analysis of Bias in Cross-cultural Studies », Sociological Methods & Research, vol. 51/1, pp. 237-270, https://doi.org/10.1177/0049124119852390.

[2] Frankel, D. et O. Volij (2011), « Measuring school segregation », Journal of Economic Theory, vol. 146/1, pp. 1-38, https://doi.org/10.1016/j.jet.2010.10.008.

[4] Harzing, A. et al. (2012), « Response Style Differences in Cross-National Research », Management International Review, vol. 52/3, pp. 341-363, https://doi.org/10.1007/s11575-011-0111-2.

[1] OCDE (2023), PISA 2022 Technical Report, Éditions OCDE, Paris, https://doi.org/10.1787/01820d6d-en.

[3] Pekrun, R. (2020), « Self-Report is Indispensable to Assess Students’ Learning », Frontline Learning Research, vol. 8/3, pp. 185-193, https://doi.org/10.14786/flr.v8i3.637.

[5] Spooren, P., D. Mortelmans et P. Thijssen (2012), « ‘Content’ versus ‘style’: acquiescence in student evaluation of teaching? », British Educational Research Journal, vol. 38/1, pp. 3-21, https://doi.org/10.1080/01411926.2010.523453.

[7] Van de Vijver, F. et al. (2019), « Invariance analyses in large-scale studies », Documents de travail de l’OCDE sur l’éducation, n° 201, Éditions OCDE, Paris, https://doi.org/10.1787/254738dd-en.