Résultats du PISA 2022 (Volume I)

Annexe A8. Efforts consentis par les élèves lors des épreuves PISA

La performance aux épreuves scolaires reflète les savoirs et savoir-faire des élèves. Elle montre également la vitesse de traitement des informations des élèves et leur degré de motivation à faire le test correctement.

Afin d’encourager les élèves qui passent l’épreuve PISA à faire de leur mieux jusqu’à la fin de l’évaluation, on rappelle aux établissements scolaires et aux élèves l’importance de l’enquête pour leur pays. Au début de la séance, l’administrateur de test lit un script qui précise :

« Cette enquête est importante, car elle nous permet de savoir ce que vous avez appris et comment se passe l’école pour vous. Comme vos réponses contribueront à influencer les futures politiques d’éducation dans les <pays et/ou système d’éducation>, nous vous demandons de faire du mieux que vous pouvez. »

Toutefois, de nombreux élèves ont l’impression que les épreuves PISA sont sans grande importance : ils peuvent refuser de les passer sans s’exposer à des suites fâcheuses et ne reçoivent pas d’informations sur les résultats qu’ils y ont obtenus. Il y a donc un risque que les élèves ne fassent pas de leur mieux au cours de l’épreuve (Wise et DeMars, 2010[1]).

Plusieurs études ont montré qu'aux États-Unis, les résultats des élèves à des évaluations telles que la National Assessment of Educational Progress (NAEP) dépendaient des conditions dans lesquelles on les a fait passer. Une étude montre que les résultats des élèves ne sont pas aussi bons dans des épreuves classiques sans enjeu que lorsque leurs résultats valent de l’argent ou comptent dans leurs notes (Wise et DeMars, 2005[2]). En revanche, une étude menée en Allemagne n'a détecté aucune différence de zèle ou de résultats entre les élèves qui ont passé les épreuves PISA de mathématiques dans les conditions classiques d'administration des tests et ceux qui les ont passées dans des conditions expérimentales à enjeux élevés liés à la performance (Baumert et Demmrich, 2001[3]). Dans cette étude, les conditions expérimentales consistent entre autres à promettre aux élèves un retour sur leur performance, à leur faire miroiter une compensation financière variable selon leurs résultats et à leur annoncer que leurs résultats seront pris en compte dans leurs notes. La différence dans les résultats obtenus par ces deux études indique que la motivation des élèves lors d’évaluations sans enjeux comme PISA diffère significativement d’un pays à l’autre. En fait, la seule étude menée à ce jour dans plusieurs pays au sujet des effets des mesures incitatives sur les résultats des tests montre qu'inciter financièrement les élèves à s'appliquer dans des tests tels que les épreuves PISA — ce qui n'est pas possible selon les procédures normales de l'enquête PISA — a amélioré les résultats des élèves aux États-Unis, mais pas à Shanghai (Chine), où leurs résultats sont aussi bons avec que sans mesures incitatives (Gneezy et al., 2017[4]).

Les différences d’implication des élèves dans un test donné révèlent souvent des variations importantes dans les conditions d’administration du test. En 2018, par exemple, des élèves majoritairement concentrés dans un petit nombre d’établissements dans quelques régions d’Espagne ont présenté des schémas anormaux de réponses, ont obtenu des résultats inférieurs aux attentes et ont fait état de faibles niveaux d’implication dans le test. Une enquête approfondie a révélé que les régions où se situaient ces établissements avaient administré leurs examens à enjeux élevés pour les élèves en 10e année un peu plus tôt que d’habitude dans l’année. En fait, la période de test pour ces examens a coïncidé avec la fin de la fenêtre de test PISA. Les élèves avaient une attitude plus négative à l’égard du PISA dans les établissements où la journée des épreuves PISA et celle des examens à forts enjeux étaient très rapprochées (OCDE, 2020[5]).

En résumé, la variation du score moyen aux épreuves PISA entre les pays et économies et les comparaisons entre les résultats du PISA 2022 et les résultats d’enquêtes antérieures peuvent expliquer des différences entre élèves non seulement dans leurs savoirs et savoir-faire, mais aussi dans leur motivation à faire de leur mieux. En d'autres termes, l'enquête PISA ne mesure pas le potentiel maximum des élèves, mais ce dont ils sont capables dans des situations où leur performance individuelle est uniquement évaluée dans le cadre de leur groupe.

Cette annexe détermine plusieurs indicateurs de l’implication des élèves à l’aide des données PISA 2022 pour comparer les pays et économies et les indicateurs correspondants calculés à partir des données de 2018. Il ne s’agit pas de suggérer d'ajuster les scores moyens ou les spectres de performance, mais de proposer un contexte plus documenté pour interpréter les tendances et les différences de performance entre pays.

Un certain nombre d’approches ont été élaborées pour évaluer dans quelle mesure la motivation des élèves à l’idée de passer des épreuves sans enjeux varie (Buchholz, Cignetti et Piacentini, 2022[6]) entre des individus ou entre des groupes (dans les pays et économies). Il s’agit d’approches basées sur les déclarations (qui reposent sur la propre perception et les déclarations des participants sur leurs efforts et leurs dispositions) et d’approches basées sur des indicateurs comportementaux (qui s’appuient sur l’observation du comportement pendant le test). Pour ces dernières approches, il faut encore distinguer entre les approches invasives, qui demandent des ressources spécifiques telles que des surveillants humains, des dispositifs de suivi oculaire ou l’administration de modules de tests sur mesure, et les approches non invasives, qui s’appuient uniquement sur les interactions des étudiants avec les formulaires de test et les questionnaires. La présente annexe s’appuie sur les déclarations des élèves et les indicateurs non invasifs.

Efforts consentis selon les élèves

Dans PISA 2022, les élèves sont interrogés à propos des efforts qu'ils ont consentis pour passer les épreuves et de ceux qu'ils auraient consentis dans une situation fictive, par exemple pour passer des épreuves dont les résultats seraient pris en compte dans leurs notes (voir le Graphique I.A8.1). Les mêmes questions figuraient également dans l'enquête PISA 2018 (Graphique I.A8.1).

Graphique I.A8.1. Le thermomètre de l'effort consenti dans les épreuves PISA de 2018

Il peut sembler paradoxal de s’attendre à ce que les élèves qui ne s’impliquent pas, et ne lisent peut-être même pas les instructions contenues dans les questions du test, consacrent du temps et des efforts à cette question. Néanmoins, les indicateurs dérivés des déclarations ne sont pas seulement largement utilisés par les chercheurs dans ce domaine (Wise et DeMars, 2005[2] ; Eklöf, 2007[7]), mais ils ont aussi contribué à rendre plus fiables les résultats du PISA. Les indicateurs dérivés des déclarations des élèves concernant leur degré d’engagement (OCDE, 2020[5]) ont mis en évidence des anomalies affectant les données de 2018 pour l’Espagne.

Efforts consentis en 2022 selon les élèves

En 2022, plus des deux tiers des élèves dans les pays de l’OCDE (71 %) ont déclaré avoir fourni moins d'efforts pour passer les épreuves PISA que pour passer des examens qui sont pris en compte dans leurs notes (tableau I.A8.1). Ils ont évalué entre « 7 » et « 8 » en moyenne l'effort qu'ils venaient de consentir pour passer les épreuves PISA sur l'échelle de 1 à 10 présentée dans le Graphique I.A8.1. Ils auraient consenti un effort égal à « 9 » si leurs résultats à ces épreuves avaient été pris en compte dans leurs notes.

Les élèves en République dominicaine et en Ouzbékistan ont attribué la note la plus élevée à leurs efforts, en moyenne, dans l’ensemble des pays et économies participants. Au moins 75 % des élèves ont noté leur degré d’effort sur le thermomètre, atteignant une moyenne proche de « 9 ». Le pourcentage d'élèves ayant déclaré qu'ils se seraient davantage appliqués si les épreuves PISA avaient été prises en compte dans leurs notes atteint seulement 26 % en Ouzbékistan et 30 % aux Philippines. À l'autre extrême, plus de quatre élèves PISA sur cinq (80 %) au Danemark* et en Suède (par ordre décroissant), et 71 % en moyenne dans les pays de l’OCDE ont déclaré qu'ils auraient été plus zélés si les épreuves avaient été prises en compte dans leurs notes (tableau I.A8.1).

Dans la plupart des pays ainsi qu’en moyenne, les garçons ont déclaré consentir légèrement moins d’efforts dans le test PISA que les filles. Les efforts que les garçons auraient selon leurs dires consentis si les épreuves avaient été prises en compte dans leurs notes sont également moindres que ceux déclarés par les filles. Lorsqu’on tient compte de l’effort PISA « réel » et de l’effort « hypothétique », les filles sont plus susceptibles que les garçons de déclarer qu'elles se seraient davantage appliquées si les épreuves avaient été prises en compte dans leurs notes (tableau I.A8.4).

Évolution des efforts consentis selon les élèves entre 2018 et 2022

Les comparaisons entre les pays des efforts déclarés par les élèves révèlent non seulement les différences réelles dans le degré d’effort consenti, mais aussi les différences individuelles et culturelles dans l’utilisation de l’échelle d’évaluation de 1 à 10. Ces différences sont moins susceptibles d’affecter les comparaisons des efforts déclarés par les élèves entre différentes cohortes au sein du même pays et économie.

Les élèves ont déclaré consentir moins d’efforts pour le test de 2022 que pour celui de 2018, dans la plupart des pays et économies : la différence représente -0.2 sur une échelle de 10 points, en moyenne, dans les pays de l’OCDE (tableau I.A8.3). Les déclarations sur les efforts que les élèves auraient consentis si les épreuves avaient été prises en compte dans leurs notes ont également baissé (de 0.1 point en moyenne dans les pays de l’OCDE), mais la baisse a été plus prononcée concernant les déclarations sur l’effort réel fourni par les élèves. On a constaté une hausse, à quelques exceptions près, du pourcentage d’élèves qui ont considéré que l’effort réel consenti lors du test PISA était inférieur à celui qu’ils auraient fourni si les épreuves avaient été prises en compte dans leurs notes. Parmi les pays où au moins 75 % des élèves ont noté leur degré d’effort sur le thermomètre au cours des deux années, les plus fortes augmentations s’observent en Israël (+11 % de points de pourcentage), en Türkiye (+10 points de pourcentage), et en Hongrie (+8 %). L’Arabie saoudite, par contre, se situe à l’opposé : les efforts déclarés par les élèves ont augmenté de 0.3 point de pourcentage sur l’échelle de 10 points et le pourcentage d’élèves déclarant que les efforts consentis si les épreuves avaient été prises en compte dans leurs notes a baissé de 12 points de pourcentage entre 2018 et 2022. Il est intéressant de noter que l’Arabie saoudite a connu une amélioration significative de sa performance en mathématiques et que les élèves ont effectué le test sur ordinateur en 2022, mais sur papier en 2018.

Une baisse marquée des efforts déclarés par les élèves au test PISA s’observe dans deux des pays dont la performance en mathématiques a fortement baissé : l’Albanie (-0.6 point) et la Jordanie (-0.5 point) (tableau I.A8.3). Dans les deux cas, les efforts que les élèves auraient consentis si les épreuves avaient compté dans leurs notes étaient également significativement plus faibles qu’en 2018. Cela indique qu’une faible compétence dans PISA n’est pas simplement due au faible engagement des élèves dans le test PISA, mais qu’elle relève de l’apprentissage et des établissements scolaires en général. Dans ces deux pays, moins de 75 % des élèves ont noté le degré d’effort sur le thermomètre, que ce soit en 2022 ou en 2018. Il est possible que le manque de représentativité de l’échantillon des répondants affecte les simples comparaisons présentées ici. Toutefois, la forte association qui s’établit entre la différence d’effort que les élèves auraient fourni lors d’un test scolaire classique et l’écart de performance moyen observé dans PISA est frappante (tableau I.A8.3 et tableaux I.B1.5.4, I.B1.5.5 et I.B1.5.6) entre 2018 et 2022 dans l’ensemble des pays et économies1.

Indicateurs de comportement

Les indicateurs dérivés des déclarations des élèves présentent toutefois plusieurs inconvénients. Il est difficile de déterminer si les élèves — surtout ceux qui ont pris les épreuves à la légère — ont répondu sincèrement à la question de savoir dans quelle mesure ils se sont appliqués dans les épreuves qu'ils viennent de passer. En outre, il est difficile de déterminer si les évaluations subjectives des élèves peuvent être comparées entre eux, sans parler de les comparer entre les pays. La comparaison entre les efforts « réels » et « hypothétiques » est également problématique. Dans l'étude allemande évoquée plus haut dans l’annexe, les élèves ont déclaré qu'ils se seraient montrés plus zélés dans n'importe laquelle des trois conditions ; la différence moyenne était particulièrement grande parmi les garçons (Baumert et Demmrich, 2001[3]). Ce constat peut, entre autres, s'expliquer par le fait que les élèves sous-estiment leur effort réel et surestiment leur effort contrefactuel, peu importe le contexte hypothétique de ce dernier : ce faisant, ils peuvent imputer leurs réponses incorrectes dans les épreuves qu'ils viennent de passer à un manque de zèle, plutôt qu'à un manque de compétence.

En réponse à ces critiques, des chercheurs ont conçu de nouvelles façons d'examiner l'effort consenti lors d'épreuves grâce à l'observation du comportement des élèves pendant les épreuves. Deux ensembles d’indicateurs sont couverts dans cette section :

• les indicateurs d’endurance en fonction des comparaisons de performance sur des tâches similaires (ou identiques) à différents moments au cours du test (en particulier vers le début et vers la fin du test) ;

• des indicateurs de linéarité s’appuyant sur la présence (ou l’absence) de réponses logiquement incohérentes parmi des questions présentées dans un ordre rapproché.

Les deux types de mesures reposent sur l’idée que lorsque les répondants ne s’impliquent pas, ils adoptent un comportement de satisfaction, c’est-à-dire qu’ils ne donnent pas une réponse qui reflète leur meilleur jugement ou leurs connaissances aux questions posées dans le test et le questionnaire. Chaque mesure est sensible à des types distincts de comportements de satisfaction et présente des forces et des faiblesses.

Les mesures d’endurance sont sensibles à un large éventail de comportements de satisfaction (y compris les réponses au hasard ou stratégiques, le fait de sauter des questions et de s’engager dans une exploration hors tâche), mais elles ne peuvent être utilisées que dans les tests cognitifs (lorsque la « bonne » réponse est connue de l’examinateur). Leur interprétation comme mesures d’engagement suppose que l’engagement est optimal pour tous les élèves au début du test. La possibilité de mesurer l’endurance de cette façon dépend aussi fortement de la structure conceptuelle du test.

Les indicateurs de linéarité peuvent être dérivés à la fois des tests et des questionnaires, et exploitent la présence de paires d’antonymes parmi les éléments présentés à l’élève. Les antonymes sont des items pour lesquels la connaissance de la réponse d’un élève à un item implique logiquement (pour des raisons sémantiques ou psychométriques) une réponse opposée à l’autre item de la paire. Par exemple, les questions du questionnaire PISA qui mesurent le sentiment d’appartenance des élèves à leur établissement demandent aux élèves dans quelle mesure ils sont d’accord avec un certain nombre d’affirmations, notamment « Je me fais facilement des amis à l’école » et « Je me sens seul à l’école ». Le comportement de linéarité correspond à l’utilisation de la même catégorie de réponse (par exemple, « tout à fait d’accord ») à toutes les affirmations dans un ensemble qui comprend des antonymes.

Endurance et capacité de rester motivé

Borgonovi et Biecek (2016[8]) ont conçu un indicateur national d'« endurance académique » qui compare la performance entre le premier quart et le troisième quart des épreuves PISA de 2012 (la conception des épreuves PISA de 2012 est telle que le contenu des épreuves est parfaitement équilibré dans les premier et troisième quarts des carnets de test). Le raisonnement qui sous-tend cet indicateur est que l'effort consenti par les élèves peut varier durant les épreuves, contrairement à leurs savoirs et savoir-faire qui restent constants ; tout écart de performance est dès lors imputable à la variation de l'effort consenti2.

L’indicateur original proposé pour PISA 2012 peut être adapté au format utilisé en 2022 de deux façons.

Une première série d’indicateurs compare la performance des élèves à qui on a fait passer un test donné (par exemple, mathématiques) dans la première heure à la performance des élèves à qui on a fait passer le même test dans la deuxième heure de test. Les indicateurs utilisés peuvent être dérivés de la théorie de réponse à l’item (valeurs plausibles) ou de la théorie de test classique (pourcentage de bonnes réponses), même si les comparaisons reposant sur cette dernière ne sont valides que pour les élèves (ou domaines) dont les évaluations ne sont pas adaptatives, et donc, en toutes circonstances, d’une difficulté identique.

Un second indicateur exploite la structure conceptuelle du test en mathématiques de 2022, en divisant la batterie d’items en trois ensembles (mutuellement exclusifs), dont la position est répartie entre les élèves. Ainsi, les items de l’ensemble A ont été attribués à un tiers des élèves au début du test de mathématiques, à un autre tiers au milieu et au dernier tiers à la fin du test ; c’est le même scénario pour les ensembles B et C. En comparant les performances des élèves dont l’évaluation n’était pas adaptative (25 % de tous les élèves qui ont passé le test de mathématiques) à ces trois positions différentes (début, milieu et fin), il est possible de voir comment les performances varient (et généralement diminuent) au cours du test de mathématiques d’une durée d’une heure dans chaque pays et économie.

La performance des élèves par heure de test

Quand on compare les performances des élèves par heure de test, on observe une forte baisse entre la première et la deuxième heure de test dans plusieurs pays et économies, en particulier en compréhension de l’écrit.

• Dans cette matière, en moyenne dans les pays de l’OCDE, les élèves qui ont passé le test dans la deuxième heure (dans la plupart des cas, après avoir fait un test de mathématiques d’une heure) ont obtenu 14 points de moins que les élèves qui ont passé le test dans la première heure, ce qui constitue un très gros écart. On a constaté d’importantes baisses de performance pour ce test, de l’ordre de 20 à 30 points en Islande, en Israël, en Lettonie*, en Albanie, au Qatar, en Slovénie, à Malte, en Argentine et en Norvège (par ordre décroissant de l’importance de cette différence) (tableau I.A8.17).

• En mathématiques, en moyenne dans les pays de l’OCDE, l’écart de performance entre les élèves qui ont passé le test de mathématiques dans la deuxième heure et ceux qui l’on fait dans la première heure est de quatre points. Dans la plupart des pays, la différence n’est pas statistiquement significative ; toutefois, en Albanie et en Norvège la baisse est de plus de 10 points (tableau I.A8.14).

• En sciences, les résultats se situent entre ceux des mathématiques et de compréhension de l’écrit. La baisse moyenne entre la première et la deuxième heure de test est de huit points. Dans cette matière, où l’évaluation n’était pas adaptative, les résultats basés sur des valeurs plausibles correspondent étroitement au pourcentage de bonnes réponses (le coefficient de corrélation linéaire entre les deux séries d’estimation, une mesure de leur association qui varie entre -1 et 1, est égal à 0.95) (tableau I.A8.11 et tableau I.A8.20).

Globalement, la baisse de performance entre la première et la deuxième heure de test pour le même pays ou économie dans les différentes matières n’est que modérément corrélée. Ces baisses sont vraisemblablement la conséquence des effets de position (l’effet de faire le test dans la deuxième heure, qui existe dans toutes les matières) et des effets d’ordre (l’effet de faire un test de compréhension de l’écrit après un test de mathématiques, par exemple). Les effets d’ordre peuvent se manifester différemment en fonction des matières et du pays (tableaux I.A8.14, I.A8.17 et I.A8.20).

Néanmoins, quelques pays et économies se classent régulièrement parmi ceux ayant peu « d’endurance », c’est-à-dire que les résultats de la deuxième heure sont bien inférieurs à ceux de la première heure, quelle que soit la matière. Les pays et économies ayant peu d’endurance en 2022 comprennent l’Albanie, Malte et la Norvège (tableaux I.A8.14, I.A8.17 et I.A8.20).

La différence entre la première et la deuxième heure peut paraître énorme. Toutefois, des baisses d’une ampleur similaire ont été observées en 2018 dans la plupart des pays. En fait, en moyenne dans les pays de l’OCDE, la différence entre la première et la deuxième heure de test diminue quelque peu. Ceci signifie que la performance en 2022 était inférieure à celle de 2018 pendant toute la durée du test, mais davantage au début de celui-ci. Les exceptions les plus significatives sont l’Albanie en compréhension de l'écrit, ainsi que la République dominicaine et la Grèce en sciences, où l’écart de performance entre la première et la deuxième heure de test s’est élargi entre 2018 et 2022 (tableaux I.A8.16, I.A8.19 and I.A8.22).

Baisse de la performance pendant le test d’une heure de mathématiques

La baisse de performance pour un élève donné durant l’heure de test de mathématiques est souvent plus marquée que celle entre les élèves qui ont passé le test de mathématiques dans la première heure et la deuxième heure de test, car les élèves réussissent mieux au début de la deuxième heure de test (et après une pause) qu’à la fin de la première heure de test.

En moyenne, dans les pays de l’OCDE, les élèves à qui l’on a attribué une évaluation non adaptative en mathématiques ont répondu correctement à 47.6 % des questions s’ils ont passé le test au cours de la première heure et à 46.0 % s’ils l’ont passé dans la deuxième heure de test (tableau I.A8.7). Au tout début du test de mathématiques, le pourcentage de réponses correctes (moyenne des élèves de la première heure et de la deuxième heure) était de 48.1 %, mais il est tombé à 47.3 % au milieu de la section, puis à 44.2 % dans la dernière section — une chute de près de 4 points de pourcentage (tableau I.A8.23).

On observe la plus forte baisse dans le test de mathématiques en Israël : le pourcentage de réponses correctes s’est d’abord établi près du niveau de la moyenne de l’OCDE en 2022, mais a chuté d’environ sept points de pourcentage dans la troisième (et dernière) section. En revanche, la performance est restée à un niveau proche de la moyenne de l’OCDE pendant toute la durée du test en France, par exemple. Parmi les pays et économies très performants, Hong Kong (Chine)*, la Corée, Singapour et le Taipei chinois se distinguent par de faibles différences (deux points de pourcentage ou moins) de performance entre le début et la fin de l’heure de test (tableau I.A8.23).

Ces baisses de performance entre la première et la troisième section du test peuvent modifier le classement des pays à la marge (par exemple, Israël serait mieux classé si l’on ne tenait compte que de la performance au début du test de mathématiques), mais n’affectent pas les principales conclusions que l’on peut tirer des comparaisons des résultats PISA entre les pays. Autour de la moyenne de l’OCDE, une différence de 10 points sur l’échelle des mathématiques correspond approximativement à une différence de 4 points dans l’indicateur de pourcentage de réponses correctes3.

Comportement univoque

Le comportement univoque, c'est-à-dire la tendance des élèves à choisir la même catégorie de réponse dans tous les items de la même série (Herzog et Bachman, 1981[9]), peut également être révélateur des efforts consentis. Les mesures de comportement univoque indiquent un faible effort.

Réponses identiques dans la section de fluidité de la lecture

La section PISA de fluidité de la lecture de 2018 offre la possibilité d'examiner le comportement univoque des élèves. Une série de 21 ou 22 items au format de réponse dichotomique identique (« oui » ou « non ») ont été soumis aux élèves à un rythme rapide. Des phrases ineptes (telles que « La fenêtre a chanté à tue-tête ») appelant une réponse négative étaient disséminées parmi des phrases sensées (telles que « La voiture rouge a un pneu crevé ») appelant une réponse positive. Il est possible que certains élèves n'aient pas lu les consignes attentivement ou qu'ils aient vraiment cru que les phrases ineptes (sans fautes de grammaire ou de syntaxe) étaient sensées. Toutefois, on ne s’attend pas à ce comportement univoque (le fait d'opter pour la même réponse dans les 21 ou 22 items) de la part d’élèves ayant obtenu des résultats moyens à élevés à la partie principale des épreuves de compréhension de l'écrit.

Le tableau I.A8.25 montre qu'en effet ce comportement univoque dans les items de fluidité de la lecture concerne en moyenne 1.2 % seulement de l'effectif total d'élèves des pays de l'OCDE. Le pourcentage de réponses identiques s’accorde, en général, au pourcentage d’élèves qui n’ont pas atteint le niveau 2 en compréhension de l’écrit (le coefficient de corrélation linéaire entre les deux pourcentages est de 0.66). Toutefois, en Corée et en Türkiye, en dépit d’un pourcentage d’élèves peu performants proche, voire en dessous, de la moyenne de l’OCDE (29 % et 14 %, respectivement), le pourcentage de réponses identiques dans le test de fluidité de lecture a fortement dépassé le pourcentage moyen (5.3 % et 3.5 %). Il est possible que le format inhabituel de la réponse des items de fluidité de lecture ait conduit quelques élèves à répondre à cette section sans zèle et que ces élèves aient fait de leur mieux dans les sections suivantes. Il est cependant possible aussi que ces élèves n'aient fait de leur mieux dans aucune section des épreuves, pas seulement dans cette première section de trois minutes.

Alors que le contenu de la section de fluidité de lecture était identique dans les enquêtes PISA 2018 et PISA 2022, un changement mineur a été apporté au format de réponse dans PISA 2022 : les boutons « oui » et « non » changeaient de position de temps en temps. C’est une manière d’obliger les répondants à faire preuve d’un minimum d’attention pour avancer. Les comparaisons entre 2018 et 2022 doivent tenir compte de cet élément. En fait, en moyenne, dans les pays de l’OCDE, ces comparaisons montrent une légère diminution du pourcentage de réponses identiques — de 1.4 % à 1.2 % (tableau I.A8.27). Cette baisse est même plus marquée (3.1 points de pourcentage, passant de 3.6 % à 0.5 %) en Espagne, où des problèmes dans l’administration du test en 2018 avaient limité la mesure dans laquelle des inférences pouvaient être tirées des résultats (voir l’introduction de la présente annexe). Par contraste, le pourcentage de réponses identiques a connu une hausse significative à Bakou (Azerbaïdjan), aux Émirats arabes unis, à Hong Kong (Chine)* et en Finlande (par ordre décroissant de l’augmentation en points de pourcentage).

Réponses identiques aux items sur le sentiment d’appartenance dans le questionnaire contextuel

Les items du questionnaire PISA qui mesurent le sentiment d’appartenance peuvent être utilisés pour étudier l’effort consenti dans le questionnaire contextuel et comment il a évolué entre 2018 et 20224.

Dans la plupart des pays et économies, moins de 5 % des élèves ont donné des réponses identiques à tous les items de la série sur le sentiment d’appartenance (que les items indiquent un fort sentiment d’appartenance ou le contraire). De telles réponses contradictoires ont été courantes en Albanie, en Thaïlande et en Jordanie (8 %) ; à Hong Kong (Chine)*, aux Philippines et aux Émirats arabes unis (7 %), dans les territoires sous la juridiction de l'Autorité palestinienne, en Géorgie et au Qatar (6 %) ; et à Bakou (Azerbaïdjan) et en Bulgarie (5 %). Ces pourcentages élevés s’observent souvent dans les pays ayant un fort pourcentage d’élèves peu performants en compréhension de l’écrit. Il est possible que certains de ces élèves n’aient pas bien compris les items du questionnaire ; le plus fort pourcentage observé à Hong Kong (Chine)* s’apparente à une anomalie dans ce contexte (tableau I.A8.28).

Comparés aux pourcentages d’élèves au comportement univoque en 2018, les pourcentages de 2022 sont, en général, plus bas. Cependant plutôt que de s’expliquer par un engagement accru, ces pourcentages pourraient s’expliquer par des effets de position ou de présentation (en 2022, chaque élève a vu, au maximum, cinq items de cette série — et de toutes les questions similaires). Parmi les pays comptant un fort pourcentage de ce type d’élèves, cette proportion a augmenté uniquement en Albanie (tableau I.A8.30).

Conclusion

En général, l’examen des différents indicateurs d’effort et de motivation, et la comparaison avec des indicateurs similaires de 2018 indiquent que les conditions d’administration sont restées semblables à celles observées dans le passé, y compris en termes de disposition des élèves à l’égard des tests. Les élèves ont déclaré faire un peu moins d’efforts que par le passé, mais on ne sait pas très bien dans quelle mesure ce phénomène est limité au test PISA et si cela peut refléter une moindre implication des élèves dans leur apprentissage et au sein de l’établissement plus généralement (dans les deux cas, cela pourrait expliquer certaines des tendances négatives observées dans plusieurs pays, en particulier dans les résultats en mathématiques).

Au cours de cette analyse, l’Albanie a été mentionnée à plusieurs reprises comme un cas négativement anormal : les élèves ont déclaré avoir consacré beaucoup moins d’efforts à l’enquête PISA et ont enregistré des baisses plus importantes que par le passé entre la première et la deuxième heure de test. Il y a aussi un plus fort pourcentage d’élèves qui ont choisi la même catégorie de réponses aux items antinomiques dans l’ensemble portant sur le sentiment d’appartenance qu’en 2018. Ces schémas suggèrent que le déclin de la performance en Albanie — l’un des plus forts jamais enregistrés dans PISA — reflète, du moins en partie, l’absence d’engagement des élèves.

Tableau I.A8.1. Efforts consentis par les élèves lors des épreuves PISA – tableaux de l’annexe A8

Tableau I.A8.1	Efforts consentis lors des épreuves PISA (2022)
Tableau I.A8.2	Efforts consentis lors des épreuves PISA (2018)
Tableau I.A8.3	Variation des efforts consentis lors des épreuves PISA (2022 - 2018)
Tableau I.A8.4	Efforts consentis lors des épreuves PISA, selon le sexe (2022)
Tableau I.A8.5	Efforts consentis lors des épreuves PISA, selon le sexe (2018)
Tableau I.A8.6	Variation des efforts consentis lors des épreuves PISA (2022-2018), selon le sexe
Tableau I.A8.7	Endurance lors des épreuves PISA (pourcentage de bonnes réponses en mathématiques)
Tableau I.A8.8	Endurance lors des épreuves PISA (pourcentage de bonnes réponses aux items d'ancrage en mathématiques, 2022)
Tableau I.A8.9	Endurance lors des épreuves PISA (pourcentage de bonnes réponses aux items d'ancrage en mathématiques, 2018)
Tableau I.A8.10	Variation de l’endurance lors des épreuves PISA (pourcentage de bonnes réponses aux items d'ancrage en mathématiques, 2022-2018)
Tableau I.A8.11	Endurance lors des épreuves PISA (pourcentage de bonnes réponses en science, 2022)
Tableau I.A8.12	Endurance lors des épreuves PISA (pourcentage de bonnes réponses en science, 2018)
Tableau I.A8.13	Variation de l’endurance lors des épreuves PISA (pourcentage de bonnes réponses en science, 2022-2018)
Tableau I.A8.14	Endurance lors des épreuves PISA (score PISA en mathématiques, 2022)
Tableau I.A8.15	Endurance lors des épreuves PISA (score PISA en mathématiques, 2018)
Tableau I.A8.16	Variation de l’endurance lors des épreuves PISA (score PISA en mathématiques, 2022-2018)
Tableau I.A8.17	Endurance lors des épreuves PISA (score PISA en compréhension de l’écrit, 2022)
Tableau I.A8.18	Endurance lors des épreuves PISA (score PISA en compréhension de l’écrit, 2018)
Tableau I.A8.19	Variation de l’endurance lors des épreuves PISA (score PISA en compréhension de l’écrit, 2022-2018)
Tableau I.A8.20	Endurance lors des épreuves PISA (score PISA en science, 2022)
Tableau I.A8.21	Endurance lors des épreuves PISA (score PISA en science, 2018)
Tableau I.A8.22	Variation de l’endurance lors des épreuves PISA (score PISA en science, 2022-2018)
Tableau I.A8.23	Endurance lors des épreuves PISA de mathématiques
Tableau I.A8.24	Endurance lors des épreuves PISA de mathématiques (2)
Tableau I.A8.25	Comportements et temps de réponse des élèves lors des épreuves PISA de fluidité de la lecture (2022)
Tableau I.A8.26	Comportements et temps de réponse des élèves lors des épreuves PISA de fluidité de la lecture (2018)
Tableau I.A8.27	Variation des comportements et temps de réponse des élèves lors des épreuves PISA de fluidité de la lecture (2022-2018)
Tableau I.A8.28	Comportement univoque du sentiment d’appartenance (2022)
Tableau I.A8.29	Comportement univoque du sentiment d’appartenance (2018)
Tableau I.A8.30	Variation du comportement univoque du sentiment d’appartenance (2022-2018)

Statlink

Références

[3] Baumert, J. et A. Demmrich (2001), « Test motivation in the assessment of student skills: The effects of incentives on motivation and performance », European Journal of Psychology of Education, vol. 16/3, pp. 441-462, https://doi.org/10.1007/bf03173192.

[8] Borgonovi, F. et P. Biecek (2016), « An international comparison of students’ ability to endure fatigue and maintain motivation during a low-stakes test », Learning and Individual Differences, vol. 49, pp. 128-137, https://doi.org/10.1016/j.lindif.2016.06.001.

[6] Buchholz, J., M. Cignetti et M. Piacentini (2022), « Developing measures of engagement in PISA », Documents de travail de l’OCDE sur l’éducation, n° 279, Éditions OCDE, Paris, https://doi.org/10.1787/2d9a73ca-en.

[7] Eklöf, H. (2007), « Test-Taking Motivation and Mathematics Performance in TIMSS 2003 », International Journal of Testing, vol. 7/3, pp. 311-326, https://doi.org/10.1080/15305050701438074.

[4] Gneezy, U. et al. (2017), Measuring Success in Education: The Role of Effort on the Test Itself, National Bureau of Economic Research , Cambridge, MA, https://doi.org/10.3386/w24004.

[9] Herzog, A. et J. Bachman (1981), « Effects of questionnaire length on response quality », Public Opinion Quarterly, vol. 45, pp. 549–559.

[5] OCDE (2020), Annex A9. A note about Spain in PISA 2018: Further analysis of Spain’s data by testing date (updated on 23 July 2020), https://www.oecd.org/pisa/PISA2018-AnnexA9-Spain.pdf.

[1] Wise, S. et C. DeMars (2010), « Examinee Noneffort and the Validity of Program Assessment Results », Educational Assessment, vol. 15/1, pp. 27-41, https://doi.org/10.1080/10627191003673216.

[2] Wise, S. et C. DeMars (2005), « Low Examinee Effort in Low-Stakes Assessment: Problems and Potential Solutions », Educational Assessment, vol. 10/1, pp. 1-17, https://doi.org/10.1207/s15326977ea1001_1.

Notes

← 1.  Le coefficient de corrélation linéaire est de 0.64 dans l’ensemble des 69 pays et économies qui peuvent comparer les résultats en mathématiques du PISA 2018 et du PISA 2022. Il est de 0.55 lorsque l’on considère seulement les 57 pays et économies où au moins 75 % des élèves ont noté le degré d’effort sur le thermomètre.

← 2.  La vitesse de traitement de l'information et la gestion générale du temps peuvent aussi expliquer les différences de performance entre les sections des épreuves. Pour limiter l'impact de ce facteur parasite, Borgonovi et Biecek (2016[8]) n'utilisent pas le dernier quart des épreuves, mais le troisième. Dans les épreuves sur ordinateur de PISA 2018 et 2022, les épreuves sont divisées en deux parties d'une heure chacune. Dans ce format, on peut considérer que la vitesse de traitement de l'information et la gestion du temps ont le même impact dans les deux parties.

← 3.  Cette règle se fonde sur la comparaison des pourcentages moyens de réponses correctes rapportés dans le tableau I.A8.7 avec les scores moyens (en points PISA) rapportés dans le tableau I.A8.14.

← 4.  La batterie d’items comprend six items en tout ; toutefois, en 2022, seul un sous-ensemble aléatoire de cinq d’entre eux a été présenté aux élèves dans les pays qui ont administré PISA sur ordinateur. Cette analyse étant principalement axée sur les comparaisons entre pays et dans le temps, le comportement univoque dans le questionnaire est défini alors comme « le fait de donner la même réponse à au moins cinq des items du sentiment d’appartenance, y compris à au moins deux items ayant une charge positive et à deux une charge négative (c’est-à-dire indiquant un manque d’appartenance) sur l’échelle ».