Dans le cadre de l'enquête PISA 2022, les épreuves ont principalement été administrées sur ordinateur, soit dans 77 pays et économies sur les 81 participants. Quatre pays (le Cambodge, le Guatemala, le Paraguay et le Viet Nam) ont néanmoins administré les épreuves dans une version papier. Cette annexe décrit les différences entre les épreuves sur papier et sur ordinateur et explique ce qu'elles impliquent pour l'interprétation des résultats.
Résultats du PISA 2022 (Volume I)
Apprentissage et équité dans l’éducation
Depuis l'évaluation PISA de 2015, les épreuves ont essentiellement été administrées sur ordinateur. Les tâches existantes ont été adaptées pour être administrées sur ordinateur et de nouvelles tâches ont pu être conçues grâce aux possibilités offertes par les tests informatisés. Ce mode d'administration permet à l'enquête PISA d'évaluer de nouveaux aspects relatifs aux contructs de chaque domaine et de les approfondir. Le nouveau matériel pour les épreuves PISA de mathématiques en 2022 comprend des items conçus pour l'évaluation du raisonnement mathématique en tant que catégorie de processus distincte ainsi que des items mettant à profit le recours à un environnement numérique (par exemple, l'utilisation de tableurs, de simulateurs, de générateurs de données, de la fonction « glisser-déposer », etc.). Une conception mixte comportant une évaluation adaptative avec plusieurs épreuves sur ordinateur a été utilisée pour le domaine de la culture mathématique afin d'améliorer la précision et l'efficacité des mesures, notamment aux deux extrémités de l'échelle de compétence (voir l'annexe A9 du présent rapport et le rapport technique sur l'enquête PISA de 2022 (OCDE, 2024[1]) pour plus de détails sur l'évaluation adaptative).
Les instruments de l'évaluation papier-crayon de chaque domaine sont constitués d'un sous-groupe d'items figurant dans la version informatisée des épreuves administrées lors des précédentes enquêtes PISA. En 2022, une version papier-crayon de l'évaluation PISA comprenant uniquement des unités d'ancrage a été élaborée pour les quatre pays n'ayant pas opté pour une administration des épreuves sur ordinateur (qualifiée d'« ancienne » évaluation papier-crayon). Toutefois, un seul participant (le Viet Nam) a utilisé le même matériel que celui administré en 2015 et 2018 (sur la base d'items utilisés pour la première fois lors de l'évaluation PISA 2012 ou d'évaluations précédentes). Les autres participants ayant opté pour une administration des épreuves sur papier ont eu recours aux instruments d'une « nouvelle » évaluation papier-crayon utilisés pour la première fois dans le cadre du programme PISA pour le développement (PISA-D). Ces instruments reprennent une grande partie du matériel inauguré en 2015 lors des épreuves PISA sur ordinateur ou provenant d'autres évaluations, notamment du « Programme d'évaluation et de suivi de l'alphabétisation » (LAMP), de l'Évaluation des compétences des adultes de l'OCDE (PIAAC) et de l'évaluation PISA à l'intention des établissements.
Le Tableau I.A5.1 présente les différences entre, respectivement, les épreuves sur ordinateur et sur papier dans le cadre du PISA 2022. Tous les nouveaux items de mathématiques ont été conçus en tant qu'items à administrer sur ordinateur. Aucun nouvel item n'a été élaboré pour les épreuves de compréhension de l'écrit ou de sciences lors de l'évaluation PISA 2022.
Source : OCDE, Base de données PISA 2022, PISA 2022 Technical Report (OCDE, 2024[1]).
Pour garantir la comparabilité des résultats entre les tâches administrées sur ordinateur et sur papier lors d'évaluations PISA précédentes (et encore administrées dans les pays où les épreuves ne sont pas informatisées), l'invariance des caractéristiques des items communs aux deux types d'épreuves a été analysée selon des procédures statistiques.
Ces procédures comportent notamment une analyse randomisée des effets du mode d'administration effectuée lors de l'essai de terrain de l'évaluation PISA de 2015 qui compare les réponses des élèves à des items identiques, mais administrés sur ordinateur, d'une part, et sur papier, d'autre part, dans des échantillons internationaux équivalents1. L'objectif consiste à déterminer si le fonctionnement des items varie selon le mode d'administration des épreuves, à savoir sur papier et sur ordinateur. Les résultats de cette étude sur les effets du mode d'administration des épreuves confirment la comparabilité de la plupart des items entre les deux modes d'administration. En d'autres termes, très peu d'échantillons présentent des différences statistiquement significatives quant au degré de difficulté et de discrimination entre une administration des épreuves sur ordinateur et sur papier. Certains items ont en revanche une relation avec le niveau de compétence des élèves qui varie entre leur version sur ordinateur et leur version initiale sur papier. Ces items se caractérisent par un degré différent de difficulté (et parfois de discrimination) dans les pays où les épreuves ont été administrées sur ordinateur. Dans les faits, cette approche de l'invariance partielle permet à la fois de neutraliser l’impact potentiel des différences de mode d’administration sur les résultats aux épreuves et d'en tenir compte.
Le Tableau I.A5.2 indique le nombre d'items d'ancrage qui confirment que rapporter sur la même échelle de compétence les résultats des épreuves sur ordinateur et sur papier est fondé. Le grand nombre d'items dont les paramètres de difficulté et de discrimination sont équivalents (« invariance scalaire ») indique que les échelles sont fortement corrélées. Cette forte corrélation corrobore la validité des comparaisons entre les pays qui n'ont pas opté pour le même mode d'administration.
Le Tableau I.A5.2 indique également qu'un grand nombre d'items PISA de compréhension de l'écrit et, dans une moindre mesure, de sciences ont été administrés sur ordinateur, mais pas sur papier en 2022. Il faut donc tirer avec prudence des conclusions sur la signification des scores dérivés des épreuves sur papier lorsque les éléments étayant ces conclusions sont basés sur la batterie d'items dans son ensemble. Il convient par exemple de décrire les compétences des élèves qui ont passé les épreuves PISA de mathématiques sur papier en 2022 en fonction des niveaux PISA de compétence de 2012 et non de 2022. En d'autres termes, il est difficile de déterminer si les élèves situés au niveau 1c après les épreuves sur papier ont acquis ces compétences élémentaires associées à ce niveau en mathématiques, et ce, même si les compétences des élèves situés sous le niveau 1b en mathématiques ont été décrites à l'occasion de l'évaluation PISA de 2022.
Invariance scalaire, invariance métrique et items spécifiques des épreuves PISA de 2022 sur papier et sur ordinateur
Remarque : le nombre d'items dans les catégories d'invariance scalaire et d'invariance métrique et le nombre d'items spécifiques à un mode d'administration sont calculés en fonction des paramètres internationaux. Il faut également tenir compte dans chaque pays des items dont les paramètres sont nationaux (voir l'annexe A6).
Source : OCDE, Base de données PISA 2022, PISA 2022 Technical Report (OCDE, 2024[1]).
Références
[1] OCDE (2024), PISA 2022 Technical Report, PISA, Éditions OCDE, Paris, https://doi.org/10.1787/01820d6d-en.
← 1. Pour les items d'ancrage compris dans les instruments de la nouvelle évaluation papier-crayon du PISA 2022, l'équivalence entre les modes d'administration a été évaluée dans le cadre du programme PISA pour le développement en utilisant les paramètres des items administrés sur ordinateur comme valeurs de départ lors de la mise à l'échelle.