Résultats du PISA 2022 (Volume I)

Annexe A9. L’évaluation adaptative dans l'enquête PISA 2022

Afin d’améliorer la précision des mesures d’aptitude des élèves aux extrémités de la distribution des scores (c’est-à-dire les groupes d’élèves très ou peu performants), PISA a mis en place une évaluation adaptative en compréhension de l’écrit en 2018 et l’a étendue aux mathématiques dans PISA 2022. Au lieu d’administrer des épreuves figées et de les alterner de manière aléatoire comme lors de l’évaluation PISA de 2015, les items du test que passe chaque élève sont des épreuves dynamiques, évolutives en fonction des réponses des élèves aux items précédents. L'évaluation adaptative permet de déterminer le niveau de compétence des élèves avec plus de précision, car les items qui leur sont soumis correspondent mieux à leurs aptitudes (Yamamoto, Shin et Khorramdel, 2018[1]).

PISA 2022 a mis en place l’évaluation adaptative pour les mathématiques et la compréhension de l’écrit. En mathématiques, une nouvelle évaluation adaptative mixte a été développée et utilisée. En compréhension de l’écrit, une version raccourcie de l’évaluation adaptative de PISA 2018 a été utilisée.

L’évaluation adaptative a été mise en place dans les pays et économies participants qui ont choisi l’ordinateur comme mode principal d’administration des épreuves PISA 2022. Une version non adaptative de l’évaluation a été utilisée dans les pays et économies dont le mode principal d’administration des épreuves PISA 2022 était la version sur papier.

La présente annexe fournit un résumé de l’évaluation adaptative de l'enquête PISA 2022. Le rapport technique sur l'enquête PISA 2022 (OCDE, 2024[2]) fournit une explication plus détaillée de l'évaluation adaptative et des principes et hypothèses qui ont présidé à sa conception.

Structure de l’évaluation adaptative dans l'enquête PISA 2022

Une structure mixte de l’évaluation adaptative a été utilisée dans PISA 2022 en mathématiques, qui combine une structure conceptuelle d’évaluation adaptative avec une structure de rotation aléatoire non adaptative (dans cette dernière, l’attribution des items n’est pas conditionnée par les performances antérieures).

Dans la conception mixte en mathématiques, on a séparé la batterie d’items composée de 234 items (99 unités) en trois catégories d’items mutuellement exclusifs (de 78 items chacune). Chaque ensemble d’items a été organisé en carnets, chacun constitué de 9 à 10 items : le module de base de niveau 1 (moyennement difficile), le module de niveau 2 (très difficile ou facile) et le module de niveau 3 (très difficile, moyennement difficile ou facile). On a fait alterner la séquence des ensembles d’items dans les instruments définitifs (chacun constituant un carnet de « module de base », de « niveau 1 » et de « niveau 2 », afin de former trois ensembles d’instruments équivalents à attribuer à trois groupes d’élèves sélectionnés de manière aléatoire (A, B et C).

Comme l’illustre le Graphique I.A9.1, pour les élèves auxquels on a attribué la partie adaptative de la structure, le groupe A commence par un module de base moyennement difficile (module 1 dans le graphique) du premier ensemble d’items, suivi d’un bloc soit très difficile, soit facile correspondant au deuxième ensemble d’items, suivi d’un bloc très difficile ou moyennement difficile ou facile correspondant au troisième ensemble. De même, le groupe B commence avec le module de base du deuxième ensemble d’items (module 2 dans le graphique) et le groupe C commence avec le module de base du troisième ensemble (module de base 3 dans le graphique). Pour les élèves auxquels on a attribué la partie non adaptative de la structure, une fois le module de base terminé, ils passent au niveau 2 et au niveau 3 vers les carnets de modules de base des autres ensembles d’items (surlignés en rouge dans le Graphique I.A9.1).

Pour chaque ensemble d’items, 16 carnets de test de 9 ou 10 items ont été mis au point à chaque niveau. En conséquence, entre les trois ensembles d’items et les trois groupes, il y a au total 144 carnets de test (16*3*3). Chaque élève répond aux items du carnet de test de chaque niveau ; le nombre total d’items auxquels répond chaque élève varie entre 28 et 30.

Des études de simulation utilisant les batteries d’items en mathématiques et les paramètres des items de l’essai de terrain ont été effectuées afin d’affiner la structure conceptuelle et de déterminer les paramètres opérationnels optimaux (par exemple, les seuils de passage, correspondant au nombre de bonnes réponses aux items corrigés qui déterminent si l’élève passe au carnet de test « difficile », « moyennement difficile » ou « facile » du niveau supérieur). À l’issue de ces études, la décision a été prise d’attribuer à 75 % des élèves la partie adaptative et à 25 % la partie non adaptative de la conception mixte.

Graphique I.A9.1. Structure de l’évaluation adaptative multiniveau en mathématiques de PISA 2022

Source :OCDE, PISA 2022 Technical Report (OCDE, 2024[2])..

Structure de l’évaluation adaptative multiniveau en compréhension de l’écrit de PISA 2022

En compréhension de l’écrit, PISA 2022 utilise une version raccourcie de l’évaluation adaptative de PISA 2018. Elle utilise la même structure adaptative (par exemple, le nombre de niveaux) qu’en 2018, mais l’ensemble des items de compréhension de l’écrit de la campagne définitive de 2018 a été réduit d’environ 25 %.

Dans l’évaluation en compréhension de l’écrit de PISA 2022, il y a trois niveaux : Le module de base et les niveaux 1 et 2. Le module de base est structuré autour de six carnets. Les niveaux 1 et 2 s’articulent autour de 12 carnets (6 carnets difficiles et 6 autres faciles).

Comme l’illustre le Graphique I.A9.2, au niveau du module de base, les élèves se voient attribuer un carnet en fonction d’un numéro aléatoire (entre 1 et 6). Au niveau 1, l’attribution des carnets dépend de trois critères : i) le module de base attribué ; ii) la performance des élèves au niveau du module de base (c’est-à-dire le nombre total de bonnes réponses aux items corrigés automatiquement du carnet de ce module) ; et iii) un numéro aléatoire et un ensemble de règles (matrice de couches de probabilités) pour remplacer l’attribution adaptative pour un certain pourcentage d’élèves. Au niveau 2, l’attribution des carnets dépend de trois critères : i) le module de base passé au niveau 1 ; ii) la performance des élèves au niveau du module de base et du niveau 1 (c’est-à-dire le nombre total de bonnes réponses aux items corrigés automatiquement des carnets déjà faits) ; et iii) un numéro aléatoire et une matrice de couches de probabilités.

Graphique I.A9.2. Structure de l’évaluation adaptative multiniveau en compréhension de l’écrit de PISA 2022 : parcours standards

Source : OCDE, PISA 2022 Technical Report (OCDE, 2024[2])..

Les parcours possibles présentés dans le Graphique I.A9.3 sont des parcours standards, par lesquels les élèves répondent d’abord à un carnet de module de base, puis à un carnet de niveau 1 et enfin à un carnet de niveau 3. Dans chaque pays, on s’attend à ce qu’environ 75 % des élèves suivent ce parcours standard.

Un autre ensemble de parcours a été créé, les parcours alternatifs, présenté dans le Graphique I.A9.3. Dans les parcours alternatifs, les élèves répondent d’abord aux items d’un carnet de module de base, puis d’un carnet de niveau 2 et enfin d’un carnet de niveau 1. Ces parcours supplémentaires doublent le nombre de parcours, qui sont de l’ordre de 48 dans les parcours standards et qui passent à 96 en tout, incluant les parcours alternatifs.

Dans chaque pays, on s’attend à ce que 75 % des élèves suivent les parcours standards présentés dans le Graphique I.A9.2 (module de base>niveau 1>niveau 2, avec 48 parcours au total) et que les 25 % restant suivent les parcours permutés du modèle alternatif tels que présentés dans le Graphique I.A9.3 (module de base>niveau 2>niveau 1, formant 96 parcours en tout).

Graphique I.A9.3. Structure de l’évaluation adaptative multiniveau en compréhension de l’écrit de PISA 2022 : parcours alternatifs

Source :OCDE, PISA 2022 Technical Report (OCDE, 2024[2])..

Références

[2] OCDE (2024), PISA 2022 Technical Report, PISA, Éditions OCDE, Paris, https://doi.org/10.1787/01820d6d-en.

[1] Yamamoto, K., H. Shin et L. Khorramdel (2018), « Multistage Adaptive Testing Design in International Large‐Scale Assessments », Educational Measurement: Issues and Practice, vol. 37/4, pp. 16-27, https://doi.org/10.1111/emip.12226.