Les adultes possèdent‑ils les compétences nécessaires pour s’épanouir dans un monde en mutation ?

Guide du lecteur

L’Évaluation des compétences des adultes et la pandémie de COVID-19

Le deuxième cycle de l’Évaluation des compétences des adultes (qui relève du Programme pour l’évaluation internationale des compétences des adultes — PIAAC) s’est déroulé en 2022 et 2023. Initialement prévu en 2021/22, soit dix ans après la première vague du premier cycle de l’enquête, il a été reporté d’un an en raison de la pandémie de COVID-19.

La pandémie a eu des conséquences importantes, bien que difficiles à quantifier, sur les mentalités et les comportements à l’échelle individuelle et sociétale. La participation à des enquêtes suscite moins d’enthousiasme depuis la pandémie — encore moins que les années précédentes —, comme en témoigne la baisse du taux de participation entre le premier et le deuxième cycle de l’Évaluation des compétences des adultes. La participation est également en berne dans de nombreuses autres enquêtes auprès des ménages. Les pays ayant participé à l’enquête ont déployé des efforts considérables pour maximiser le taux de participation et minimiser les effets des non-réponses.

En mai 2024, des experts indépendants appartenant au Groupe consultatif technique ont évalué la qualité générale des données et le respect des normes techniques lors de l’administration des instruments de l’enquête. Ils ont procédé à une évaluation globale de la qualité des données en s’intéressant notamment à leur caractère représentatif de la population cible, à la comparabilité des résultats entre les pays et au respect des normes techniques. Le Groupe consultatif technique en a conclu que tous les pays et économies satisfaisaient aux normes du PIAAC et présentaient des données d’une qualité suffisante à des fins de publication et de présentation des résultats.

En outre, des analyses approfondies ont permis d’évaluer dans quelle mesure les estimations de l’enquête étaient susceptibles de présenter un biais de non-réponse. Ce guide du lecteur présente un résumé de l’analyse du biais de non-réponse, ainsi que certains enjeux nationaux, que les lecteurs sont invités à prendre en compte lors de l’interprétation des résultats de l’Évaluation. Des informations plus détaillées sont disponibles dans le rapport technique de l’Évaluation des compétences des adultes de 2023 (Survey of Adult Skills 2023 Technical Report (OCDE, à paraître[1]).

Taux de participation et analyse du biais de non-réponse

Au cours de la première vague de l’Évaluation des compétences des adultes, qui s’est déroulée en 2011/12, le taux de participation allait de 45 % à 75 % selon les pays (OCDE, 2024[2]). En 2023, le taux de participation était bien plus bas puisqu’il variait entre 27 % et 73 %. La Corée faisait figure d’exception avec un taux de participation supérieur à 70 %.

Un faible taux de participation peut être à l’origine d’un biais de non-réponse, qui peut apparaître lorsque les non-répondants sont systématiquement différents des personnes qui acceptent de répondre à l’enquête (par exemple en termes de niveau de compétence). C’est pourquoi l’Évaluation des compétences des adultes de 2023 a procédé à des analyses approfondies des biais de non-réponse. Dans ce cadre, une série d’indicateurs et d’analyses ont été examinés pour chaque pays et économie participants, afin de déterminer si les estimations du niveau de compétence des adultes issues de l’enquête étaient susceptibles de présenter un biais de non-réponse. Des informations plus détaillées quant aux indicateurs utilisés aux fins de l’analyse et à ses résultats sont disponibles dans le rapport technique de l’Évaluation des compétences des adultes de 2023 (Survey of Adult Skills 2023 Technical Report (OCDE, à paraître[1]).

Une de ces analyses a comparé l’échantillon pondéré des participants à l’Évaluation des compétences des adultes à ceux d’autres sources, afin d’identifier d’éventuelles différences dans la répartition de certaines caractéristiques telles que l’âge, le sexe, le statut migratoire, le niveau d’études ou la situation professionnelle.

Lorsque la décision de participer à l’Évaluation des compétences des adultes est reliée à certaines caractéristiques précises des adultes de l’échantillon, leur répartition chez les participants ne coïncide pas nécessairement avec la répartition réelle observée dans la population ou dans d’autres enquêtes. Cela étant, toutes les enquêtes comportent une part de non-réponses : les autres sources ne sont pas nécessairement plus précises que l’Évaluation des compétences des adultes. Des écarts dans la répartition de certaines caractéristiques entre l’échantillon et la population de reference, ainsi qu’avec d’autres sources, ont été observés dans chacun des deux cycles de l’Évaluation des compétences des adultes . Par conséquent, l’évolution de la composition de la population observée entre les deux cycles peut ne pas correspondre non plus exactement à l’évolution observée dans d’autres sources.

Il est possible d’appliquer une pondération afin de rapprocher la composition de l’échantillon de la répartition connue de certaines caractéristiques dans la population. Les pays et économies participant à l’Évaluation des compétences des adultes ont convenu des variables à utiliser dans la ponderation, afin d’aligner la repartition de l’echantillon avec celle de la population au moins le long des certaines dimensions.. Pour les variables qui n’entrent pas dans la pondération, des divergences peuvent subsister.

Le Tableau 1 présente une vue d’ensemble de certaines divergences entre l’échantillon PIAAC (pondéré) et d’autres sources de données. Les divergences sont indiquées dès lors qu’elles sont statistiquement significatives et supérieures à 1.5 point de pourcentage. Certaines peuvent s’expliquer par des différences dans les définitions ou d’autres éléments méthodologiques entre l’Évaluation des compétences des adultes et d’autres sources. En outre, faute de disponibilité des données, les pays n’ont pas tous été en mesure de vérifier la concordance de l’ensemble de ces caractéristiques.

Tableau 1. Divergences dans la répartition de certaines variables entre l’échantillon pondéré du PIAAC et une autre source

Pays et économies de l’OCDE	Variables dont la répartition diffère de celle d’une autre source	Couverture, période ou définition différentes pouvant expliquer en partie les divergences
Pays de l’OCDE
Allemagne	-	-
Autriche	-	-
Canada	Niveau d’études, Pays de naissance, Langue, Satisfaction à l’égard de la vie	Oui
Chili	Niveau d’études selon le sexe	Non
Corée1	Sans objet	Sans objet
Danemark	Densité de population	Non
Espagne	-	-
Estonie	-	-
États-Unis	Niveau d’études, Situation professionnelle, Composition du ménage, Appartenance ethnique, Couverture médicale	Oui
Finlande	-	-
France	-	-
Hongrie	Niveau d’études	Oui
Israël	Situation matrimoniale selon l’appartenance ethnique, Type de localité	Non
Italie	-	-
Japon	Niveau de formation selon le sexe, Niveau de formation selon l’âge, Statut au regard de l’emploi selon l’âge	Oui
Lettonie	Statut au regard de l’emploi	Oui
Lituanie	Niveau de formation, Statut au regard de l’emploi, Sexe	Oui
Norvège	Statut au regard de l’emploi, Secteur d’activité, Composition du ménage	Non
Nouvelle-Zélande	Situation professionnelle, Appartenance ethnique	Oui
Pays-Bas	Revenu, Milieu socio-économique, Richesse	Non
Pologne	Niveau d’études selon l’âge	Oui
Portugal	Région selon l’âge	Oui
République slovaque	Niveau d’étudesselon la région	Oui
Suède	Niveau d’études, Situation professionnelle, Profession, Activité économique, Pays de naissance	Oui
Suisse	-	-
Tchéquie	Niveau de compétence global selon la CITP-08 (emploi actuel)	Oui
Entités infranationales
Angleterre (Royaume-Uni)	Situation professionnelle selon l’âge	Oui
Région flamande (Belgique)	Statut au regard de l’emploi selon l’âge	Oui
Pays partenaires
Croatie	-	-
Singapour	Pays de naissance	Oui

1. Les résultats de la Corée ne sont pas disponibles, car cette analyse n’était pas obligatoire pour les pays présentant un taux de participation supérieur à 70 %.

Remarque : Les cellules vides indiquent qu’aucun écart relatif à la répartition des variables analysées n’a été identifié entre l’Évaluation des compétences des adultes et d’autres sources. Les variables analysées étaient propres à chaque pays.

D’autres pondérations ont été envisagées afin de comprendre l’incidence des écarts observés entre l’echantillon et la population sur le niveau de compétence estimé pour la population de l’Évaluation des compétences des adultes de 2023. Quelques pays ayant appliqué ces pondérations alternatives présentent des écarts significatifs en ce qui concerne le niveau de compétence estimé (voir le Tableau 2). Cela étant, les écarts issus d’une pondération alternative ne dépassent jamais quatre points. En d’autres termes, le fait que la répartition de certaines caractéristiques au sein de l’échantillon ne corresponde pas à celle d’autres sources ne semble pas avoir d’effet significatif sur le niveau de compétence estimé : ces pondérations alternatives n’ont qu’une incidence négligeable sur les résultats d’ensemble.

Tableau 2. Écarts significatifs et notables du niveau de compétence estimé à l’aide d’autres pondérations

Pays et économies	Différences de score			Variables utilisées pour la nouvelle pondération
	Littératie	Numératie	Résolution adaptative de problèmes
Espagne	-2.45	-2.46	-1.95	Pays de naissance (2) * Région (18)
Estonie	2.54	2.58	1.82	Comté (5) * Niveau d’études (3)
Lettonie	2.86	2.91	2.23	Sexe (2) * Niveau d’ études (7)
Lituanie	-3.55	-3.73	-2.34	Niveau d’ études (5) * Situation professionnelle (4)
Pays-Bas	1.10	1.41	0.98	Milieu socio-économique
Pologne	-1.88	-2.16	-1.09	Niveau d’ études (4)
Singapour	2.18	2.17	1.43	Sexe (2) * Niveau d’ études (5)

Remarque : Le tableau présente l’écart entre le niveau de compétence moyen estimé à l’aide des pondérations finales du PIAAC et le niveau de compétence obtenu à l’aide d’autres pondérations. Le tableau ne présente que les pays et économies faisant état d’écarts statistiquement significatifs et notables (dont la valeur absolue est supérieure à l’erreur-type des écarts). Un petit nombre d’autres pays présente des écarts statistiquement significatifs, mais qui sont presque toujours inférieurs à 1 point. Exclus du tableau en raison de contraintes d’espace, ils sont toutefois présentés dans le rapport technique de l’Évaluation des compétences des adultes de 2023 (Survey of Adult Skills 2023 Technical Report (OCDE, à paraître[1]). Le nombre entre parenthèses à côté des variables utilisées pour la nouvelle pondération indique le nombre de catégories pour chaque variable.

Le Tableau 3 présente les résultats de l’analyse du biais de non-réponse. Ceux-ci reposent sur les analyses décrites plus haut, ainsi que sur d’autres indicateurs détaillés dans le rapport technique de l’Évaluation des compétences des adultes de 2023 (Survey of Adult Skills 2023 Technical Report (OCDE, à paraître[1]). Les pays ont été classés dans différentes catégories, reflétant une évaluation de la probabilité d’un biais de non-réponse dans leurs estimations du niveau de compétence, et signalant par conséquent le degré de vigilance qui s’impose lors de l’interprétation des résultats. Ces catégories sont les suivantes :

• Satisfaisant : l’analyse n’a pas révélé d’éléments démontrant un biais de non-réponse ;

• Vigilance faible : une certaine prudence s’impose lors de l’interprétation des résultats, car un biais de non-réponse est possible ;

• Vigilance moyenne : les estimations du niveau de compétence sont plus susceptibles de comporter un biais de non-réponse, ce qui doit amener à plus de vigilance ;

• Vigilance élevée : la probabilité d’un biais de non-réponse est élevée.

Le Tableau 3 présente également le taux de participation dans chaque pays et économie. Comme indiqué précédemment, le taux de participation n’est qu’un élément (certes important) parmi ceux examinés lors des analyses du biais de non-réponse. Il est donc possible que des pays présentant un taux de participation plus faible relèvent d’une catégorie de moindre vigilance que les pays ayant un taux de participation plus élevé.

Lors de l’interprétation des résultats de l’analyse du biais de non-réponse et de la classification qui en résulte, les lecteurs doivent tenir compte des éléments suivants :

• La classification témoigne non de l’ampleur, mais de la probabilité d’un biais de non-réponse. Autrement dit, les pays de la catégorie « vigilance élevée » ne présentent pas nécessairement un biais de non-réponse supérieur à celui des pays de la catégorie « vigilance faible ».

• Les critères et les seuils utilisés pour classer les pays ont été approuvés par les experts indépendants appartenant au Groupe consultatif technique.

• Toute classification de ce type présente inévitablement des effets de seuil : des pays peuvent être classés dans des catégories différentes en dépit de différences infimes au niveau des indicateurs sous-jacents.

• Cette classification juge les données collectées et non la qualité du travail des centres nationaux et des organismes en charge de la collecte de données, tous les pays ayant réalisé ce travail de manière satisfaisante et dans le respect des normes techniques.

Tableau 3. Résultats de l’analyse du biais de non-réponse

Pays et économies	Taux de participation (%)	Résultat de l’analyse du biais de non-réponse
Corée1	73	Non requise
République slovaque2	70	Satisfaisant
Singapour	62	Satisfaisant
Israël	61	Satisfaisant
Espagne	61	Satisfaisant
Estonie	50	Satisfaisant
France	55	Satisfaisant
Hongrie	59	Vigilance faible
Pologne	57	Vigilance faible
Chili	56	Vigilance faible
Nouvelle-Zélande	48	Vigilance faible
Irlande	47	Vigilance faible
Allemagne	45	Vigilance faible
Lituanie	44	Vigilance faible
Norvège	41	Vigilance faible
République tchèque	40	Vigilance faible
Autriche	39	Vigilance faible
Finlande	34	Vigilance faible
Suède	31	Vigilance faible
Danemark	27	Vigilance faible
Japon	41	Vigilance moyenne
Pays-Bas	40	Vigilance moyenne
Portugal	39	Vigilance moyenne
Angleterre (Royaume-Uni)	38	Vigilance moyenne
Croatie	36	Vigilance moyenne
Région flamande (Belgique)	35	Vigilance moyenne
Suisse	30	Vigilance moyenne
États-Unis	28	Vigilance moyenne
Canada	28	Vigilance moyenne
Italie	29	Vigilance élevée
Lettonie	28	Vigilance élevée

1. L’analyse approfondie du biais de non-réponse n’était pas obligatoire pour les pays dont le taux de participation était supérieur à 70 %, ce qui explique pourquoi la Corée ne présente pas de résultats en la matière.

2. Malgré son taux de participation de 70 %, la République slovaque a été soumise à une analyse approfondie du biais de non-réponse, faute de répondre pleinement aux normes d’échantillonnage.

Pays ne répondant pas pleinement aux normes d’échantillonnage

En Lituanie et en République slovaque, les personnes admissibles membres d’un meme foyer n’ont pas toutes eu la possibilité de participer à l’évaluation, avec des erreurs de couverture potentielles à la clé. Des mesures ont été prises pour réduire les erreurs de couverture (calibration de la pondération). Si une vigilance supplémentaire s’impose lors de l’analyse des données de ces pays, les résultats d’analyses supplémentaires, comme l’analyse du biais de non-réponse, suggèrent que cette déviation des normes d’échantillonnage a des conséquences minimes.

Contrôles supplémentaires de la qualité axés sur le sérieux des répondants

Le Secrétariat de l’OCDE a procédé à des contrôles supplémentaires de la qualité des données à l’aide des procédures définies dans les lignes directrices et les normes techniques qui regissent l’enquête. Ces analyses ont révélé des comportements de réponse inhabituels : certains répondants n’auraient pas répondu avec sérieux à l’évaluation de la littératie, de la numératie et de la résolution adaptative des problèmes, ce qui amène à se demander si leurs réponses sont un reflet fidèle de leurs compétences. Pour identifier ces cas, l’OCDE s’est appuyée sur les critères suivants : très peu de temps consacré à l’évaluation, une grande proportion de réponses très rapides, une grande proportion de réponses manquantes et un échec aux épreuves d’orientation (série de questions faciles) et ce, de la part de répondants très instruits et nés dans le pays. Les anomalies résidaient pour la plupart dans les réponses à l’évaluation cognitive ; les comportements de réponse au questionnaire de base ne donnent pas matière à préoccupation.

Les enquêtes présenteront toujours leur lot de répondants peu motivés : il est difficile de définir des critères objectifs permettant de déterminer si un niveau minimum ou suffisant d’efforts a été déployé. Dans certains pays (Espagne, Israël, Lituanie, Nouvelle-Zélande, Pologne et République slovaque), il s’est avéré qu’une grande partie de ces répondants avaient pour dénominateur commun d’avoir été interrogés par un petit nombre d’enquêteurs : le problème pourrait ainsi provenir du fait que ces enquêteurs n’ont pas respecté les protocoles du PIAAC. En l’occurrence, les analyses ont identifié des enquêteurs dont une proportion importante des cas répondait à au moins deux des critères susmentionnés, ce qui met en doute la qualité de l’ensemble des données que ces enquêteurs ont collectées. Les remarques suivantes détaillent les résultats de l’analyse dans ces six pays, ainsi que les mesures prises par l’OCDE pour améliorer, dans la mesure du possible, la qualité des données publiées.

Remarques relatives à l’Espagne, à la Lituanie, à la Nouvelle-Zélande et à la République slovaque

En Espagne, en Lituanie, en Nouvelle-Zélande et en République slovaque, tous les cas des enquêteurs identifiés (385 en Espagne, 406 en Lituanie, 301 en Nouvelle-Zélande et 356 en République slovaque) ont été exclus des données servant à estimer le modèle démographique qui établit la relation entre les variables du questionnaire de base et la performance lors de l’évaluation directe afin d’estimer le niveau de compétence (valeurs plausibles ; des informations plus détaillées se trouvent dans le rapport technique Survey of Adult Skills 2023 Technical Report (OCDE, à paraître[1]). Cette exclusion renforce la solidité du modèle en garantissant que ses estimations reposent uniquement sur des cas de qualité suffisante. Néanmoins, en l’absence de preuves de falsification des données ou d’autres fautes graves de la part des enquêteurs, les réponses aux items de l’évaluation cognitive n’ont pas été exclues de l’estimation des valeurs plausibles pour ces répondants.

Remarque relative à Israël

En Israël, six enquêteurs dont une proportion relativement élevée de cas présentait des comportements de réponse inhabituels ont été identifiés grâce aux mêmes critèress. Tous les cas traités par ces enquêteurs (748 au total) ont été exclus des données servant à estimer le modèle démographique, qui établit la relation entre les variables du questionnaire de base et la performance lors de l’évaluation directe afin d’estimer le niveau de compétence (OCDE, à paraître[1]). Cette exclusion renforce la solidité du modèle en garantissant que ses estimations reposent uniquement sur des cas de qualité.

De surcroît, des éléments montrent, preuves à l’appui, que trois de ces enquêteurs ont enfreint les protocoles de collecte de données au cours de l’enquête, ou fait montre d’une productivité invraisemblable (en réalisant un très grand nombre d’entretiens en peu de temps). Ce constat laissant planer des doutes sur la qualité des données, toutes les réponses aux items de l’évaluation cognitive collectées par ces enquêteurs ont été exclues de la base de données (572 au total). Les valeurs plausibles de ces cas ont ensuite été estimées en s’appuyant uniquement sur leurs réponses au questionnaire de base (pour lesquelles aucun comportement inhabituel n’a pu être détecté) et sur les paramètres estimés par le modèle démographique.

Remarque relative à la Pologne

En Pologne, neuf enquêteurs liés à une proportion relativement élevée de cas présentant des comportements de réponse inhabituels ont été identifiés grâce aux mêmes critères. Tous les cas traités par ces enquêteurs (774 au total) ont été exclus des données servant à estimer le modèle démographique, qui établit la relation entre les variables du questionnaire de base et la performance à l’évaluation directe afin d’estimer le niveau de compétence (OCDE, à paraître[1]). Cette exclusion renforce la solidité du modèle en garantissant que ses estimations reposent uniquement sur des cas de qualité.

De surcroît, des éléments montrent, preuves à l’appui, que six de ces enquêteurs polonais ont enfreint les protocoles de collecte des données au cours de l’enquête. Par exemple, certains présentaient une productivité invraisemblable, réalisant un très grand nombre d’enquêtes en une seule journée. D’autres n’ont pas enregistré les entretiens ni relevé le numéro de téléphone des répondants, ce qui a compliqué la validation des entretiens. Il s’est avéré qu’un autre enquêteur a falsifié sept cas lors de la collecte de données (qui ont été immédiatement retirés de l’ensemble de données conformément à la procédure de contrôle de la qualité et qui ne sont donc pas inclus dans les 774 cas concernés par la présente remarque). Parmi les cas collectés par cet enquêteur, 27 ont néanmoins été validés et conservés dans l’ensemble de données. Ces facteurs laissant planer des doutes sur la qualité de tous les cas collectés par ces six enquêteurs, les réponses qu’ils ont recueillies pour les items de l’évaluation cognitive ont toutes été exclues de la base de données (559 au total). Les valeurs plausibles de ces cas ont ensuite été estimées en s’appuyant uniquement sur leurs réponses au questionnaire de base (pour lesquelles aucun comportement inhabituel n’a pu être détecté) et sur les paramètres estimés par le modèle démographique.

En Pologne, l’analyse a mis en lumière d’autres cas aux comportements de réponse inhabituels, suggérant un éventuel désintérêt ou un manque de sérieux lors de l’évaluation. Ces cas n’étant pas liés à un enquêteur en particulier, et compte tenu de la difficulté à définir des critères objectifs pour déterminer si un minimum d’efforts a été déployé et si les résultats de l’évaluation reflètent le niveau de compétence réel des répondants, ils ont été conservés dans l’ensemble de données et traités au même titre que les autres cas. Bien que tous les pays présentent des cas de ce type, leur nombre en Pologne pourrait avoir une incidence significative sur le niveau de compétence estimé pour la population, et il conviendra d’en tenir compte lors de l’interprétation des résultats de ce pays.

Comparabilité avec des enquêtes antérieures sur les compétences des adultes

Les scores en littératie et en numératie de l’Évaluation des compétences des adultes de 2023 sont liés sur le plan psychométrique aux résultats d’enquêtes antérieures sur les compétences des adultes, ce qui permet de comparer les résultats de l’ Évaluation de 2023 à ceux de ces autres enquêtes , notamment le premier cycle de l’Évaluation des compétences des adultes (mené en trois vagues entre 2011/12 et 2017), l’Enquête sur la littératie et les compétences des adultes (menée entre 2003 et 2007) et, pour la littératie uniquement, l’Enquête internationale sur la littératie des adultes (menée entre 1994 et 1998). Les données permettent d’analyser l’évolution du niveau de compétence au fil du temps. De plus, le déroulement des enquêtes est globalement resté le même. Toutes ont eu lieu au domicile des répondants, où des enquêteurs qualifiés ont dans un premier temps administré un questionnaire de base, avant de superviser les adultes participants lors de l’évaluation directe.

Il convient de toujours exercer une certaine prudence lors de la comparaison des résultats de différentes enquêtes, a fortiori si elles se sont déroulées à plusieurs années d’écart, et donc dans des conditions différentes. Pour analyser l’évolution du niveau de compétence entre les deux cycles de l’enquête, il convient aussi de tenir compte des changements apportés à la méthodologie, tels que résumés ci-dessous. Des informations plus détaillées sur la comparabilité des données entre les enquêtes sur les compétences des adultes sont disponibles dans le manuel à l’usage des lecteurs (Survey of Adult Skills 2023 Reader’s Companion (OCDE, 2024[2]) et le rapport technique de l’Évaluation des compétences des adultes de 2023 (Survey of Adult Skills 2023 Technical Report) (OCDE, à paraître[1]).

Enquête rapide

Dans tous les pays, un petit pourcentage d’adultes a été dans l’incapacité de participer à l’enquête, faute de compétences linguistiques suffisantes pour communiquer avec l’enquêteur qui administrait le questionnaire de base. C’est aussi pour cette raison qu’ils n’ont pas été en mesure de participer à l’évaluation cognitive. Ces personnes sont qualifiées de « non-réponses liées aux compétences en littératie ». Lors du premier cycle de l’Évaluation des compétences des adultes, aucune information n’a été recueillie au sujet de ces adultes, ce qui a conduit à un léger sous-dénombrement de la population cible et à un biais surestimant le niveau de compétence moyen de la population.

Lors de l’Évaluation des compétences des adultes de 2023, les enquêteurs ont administré à ces adultes un questionnaire très court disponible dans plusieurs langues (appelé « enquête rapide »). Les répondants ont pu y répondre de façon autonome sur une tablette. Les informations ainsi collectées (tranche d’âge, sexe, nombre d’années d’études, situation professionnelle et statut migratoire) ont servi à calculer des valeurs plausibles pour ces répondants, afin de les inclure dans l’estimation du niveau de compétence moyen de la population.

L’introduction de cette enquête rapide produit un léger décalage entre les populations dont le niveau de compétence a été estimé pour les deux cycles de l’Évaluation. C’est pourquoi le présent rapport exclut systématiquement les individus n’ayant repondu qu’à l’enquête rapide lorsque l’analyse vise à la comparaison entre les résultats de l’Évaluation des compétences des adultes de 2023 et ceux des enquêtes précédemment réalisées sur le même sujet (dont le premier cycle de l’Évaluation des compétences des adultes). Ces cas sont également necessairement exclus lorsque le questionnaire des enquêtes rapides ne permet pas de collecter les informations nécessaires à l’analyse. Chaque tableau et graphique du présent rapport précise si ses données incluent les cas de l’enquête rapide.

Les Normes techniques et les lignes directrices du PIAAC permettaient de répondre au questionnaire de base avec l’aide d’un traducteur ou d’un interprète, qui pouvait être un membre de la famille ou un membre de l’équipe chargée de l’enquête. Seule la Suède a fait systématiquement appel à des interprètes lors des deux cycles de l’Évaluation. Par conséquent, tous les répondants suédois ont pu répondre au questionnaire de base lors des deux cycles, et aucun n’a été considéré comme une non-réponse liée aux compétences en littératie (au premier cycle) ou soumis à l’enquête rapide (au deuxième cycle). Alors que le recours systématique aux interprètes a permis d’améliorer la précision des estimations quant auniveau de compétence des répondants (grâce à la disponibilité d’un ensemble d’informations plus riches), cela a aussi introduit une légère différence dans le déroulement des enquêtes entre la Suède et les autres pays, car les adultes qui n’étaient pas en mesure de participer à l’évaluation en raison d’obstacles linguistiques ont fait l’objet d’un traitement légèrement différent en Suède. Ces adultes constituant un pourcentage très faible de la population, la comparabilité des données n’est pas réellement compromise. Une certaine prudence reste néanmoins de mise lorsqu’on compare les résultats de la Suède à ceux d’autres pays en ce qui concerne des groupes pouvant comprendre une plus grande proportion d’adultes aux compétences linguistiques très faibles (par exemple, les personnes ayant immigré récemment).

Évaluation des composantes de littératie et de numératie

Dans les deux cycles de l’Évaluation des compétences des adultes, les adultes ayant échoué à une courte évaluation d’orientation ont été considérés comme ne possedant pas un niveau de competence assez élévé pour participer à l’évaluation dans son intégralité. Afin de pouvoir déterminer de quoi ces adultes peu compétents sont capables, une enquête portant sur les compétences de base indispensables à l’acquisition de compétences en littératie (composantes de compréhension de l’écrit) leur a été administrée. L’Évaluation des compétences des adultes de 2023 comportait également une composante de numératie.

Grâce à une amélioration de la conception de l’enquête, l’Évaluation des compétences des adultes de 2023 a pu intégrer ces composantes lors de l’estimation du niveau de compétence des répondants. La précision des estimations pour les répondants situés au bas de l’échelle des compétences en est ainsi resultée renforcée. Ce changement de méthodologie a un impact négligeable sur l’estimation du niveau de compétence moyen de l’ensemble de la population adulte. Il a toutefois une incidence plus importante sur les estimations du niveau de compétence des adultes qui ont échoué aux épreuves d’orientation et n’ont passé que l’évaluation des composantes. Au premier cycle, le niveau de compétence de ces répondants aurait été calculé différemment, avec des résultats parfois radicalement différents à la clé.

Pour cette raison, les résultats des analyses portant sur l’évolution entre les deux cycles de l’Évaluation du niveau de compétence de sous-groupes donnés de la population ne sont pas inclus dans le rapport si, au sein du groupe analysé, la proportion (pondérée) d’adultes qui, lors du deuxième cycle, ont échoué aux épreuves d’orientation et n’ont passé que l’évaluation des composantes est supérieure à 20 %.

Comparaison des niveaux d’études selon les enquêtes

Dans l’Évaluation des compétences des adultes de 2023, la classification des niveaux d’études repose sur la dernière Classification internationale type de l’éducation en date (CITE 2011), alors que le premier cycle faisait appel à la classification précédente (CITE-97). Ces deux classifications peuvent être comparées au moyen de correspondances officielles.

Cependant, dans l’intervalle entre les deux cycles, des pays ont modifié la classification dont relèvent certains diplômes, modifiant ainsi également leur niveau dans le cadre de la CITE. Lorsque le présent rapport procède à des comparaisons entre les résultats de l’Évaluation des compétences des adultes de 2023 et ceux du premier cycle, les niveaux d’études sont reclassés pour correspondre au niveau dont ils auraient relevé lors du premier cycle (OCDE, à paraître[1]).

Erreur d’ancrage

En examinant l’évolution du niveau de compétence entre le premier et le deuxième cycle de l’Évaluation des compétences des adultes, il convient de tenir compte de l’incertitude supplémentaire relative aux valeurs de l’échelle, qui résulte des changements apportés aux cadres et aux items de l’évaluation (« Un score de 235 au deuxième cycle de l’enquête équivaut-il à un score de 235 au premier cycle ? »). L’écart entre un score sur l’échelle du deuxième cycle et le score correspondant sur l’échelle du premier cycle est modélisé sous forme de constante égale pour tous les pays et à tous les points de l’échelle de compétences. Si la valeur réelle de cette constante demeure inconnue, il est possible d’estimer son écart-type ${le}_{\mathrm{1,2}}$, connu sous le nom d’erreur d’ancrage. Cette erreur d’ancrage doit être ajoutée à l’erreur-type de toute statistique exprimée en tant que score du niveau de compétence (par exemple, l’écart entre le niveau de compétence moyen des différents cycles ou les valeurs des percentiles de la répartition du niveau de compétence). Sur un plan plus formel, l’erreur-type de l’évolution du niveau de compétence par pays (ou sous-groupe) $g$ entre le premier et le deuxième cycle se présente ainsi : $\sigma \left({∆}_{g2-g1}\right)=\sqrt{{\sigma }_{g2}^2+{\sigma }_{g1}^2+{le}_{\mathrm{1,2}}^2}$, où ${\sigma }_{g1}$ est l’erreur-type du niveau de compétence du groupe $g$ au premier cycle, ${\sigma }_{g2}$ est l’erreur-type du niveau de compétence du groupe $g$ au deuxième cycle, et ${le}_{\mathrm{1,2}}$ est l’erreur d’ancrage entre les deux cycles. L’erreur d’ancrage est de l’ordre de 3.27 pour la littératie et de 2.95 pour la numératie.

Il y a lieu de noter que l’erreur d’ancrage ne s’applique pas aux tendances de statistiques homogènes à un point d’écart, comme l’écart entre les sexes ou l’écart d’âge dans les scores du niveau de compétences Puisque l’incertitude supplémentaire qui entoure la comparaison des résultats entre les cycles est modélisée sous forme de constante à tous les points de l’échelle, lorsqu’on considère l’écart entre deux scores, les incertitudes associées à chaque score s’annulent, et il est inutile d’ajouter le terme de l’erreur d’ancrage à l’erreur-type de l’évolution.

Le scénario se complique lorsque l’analyse porte sur les tendances des proportions de la population se situant à un niveau de compétence donné. Dans ce cas, le terme d’erreur supplémentaire pour l’erreur-type de ces tendances dépend de ${le}_{\mathrm{1,2}}$, mais aussi de la densité $f_g$ de la répartition du score du niveau de compétence autour de ces seuils. En l’occurrence, l’erreur d’ancrage qui en résulte pour la tendance dans la proportion du score de la population au Niveau 1 dans le groupe $g$ est ${le}_{\mathrm{1,2}}^2*({f_g\left(226\right)-f_g\left(176\right))}^2$.

Évaluation de la résolution de problèmes dans les deux cycles de l’Évaluation des compétences des adultes

L’Évaluation des compétences des adultes de 2023 comporte un nouveau volet évaluant la résolution adaptative de problèmes. Ce nouveau domaine remplace l’évaluation de la résolution de problèmes dans des environnements à forte composante technologique administrée au cours du premier cycle. Ces deux évaluations ne partageant ni cadre conceptuel ni item d’évaluation, leurs résultats ne sont pas comparables.

Données des graphiques

Les symboles suivants indiquent des données manquantes :

m	Les données ne sont pas disponibles (non collectées par le pays)
f	Nombre insuffisant d’observations pour garantir la fiabilité des estimations (moins de 30 répondants)
c	Les estimations ne sont pas fiables, car elles renvoient à des cellules où la proportion (pondérée) des adultes qui, lors du deuxième cycle, ont échoué aux épreuves d’orientation et n’ont passé que l’évaluation des composantes est supérieure à 20 % (analyses comparant les deux cycles de l’évaluation uniquement).

Les données mentionnées dans les graphiques du présent rapport sont détaillées dans les tableaux de l’annexe A.

Ces graphiques et ces tableaux partagent un même numéro de référence, qui tient compte du chapitre auquel ils se rapportent, et ils comportent une abréviation entre parenthèses renvoyant au domaine de compétences concerné (le cas échéant) : littératie (L), numératie (N) et résolution adaptative de problèmes (A). Par exemple, le Graphique 3.1 renvoie au Graphique 1 du chapitre 3 ; le Tableau A.3.1 (L) est un tableau figurant à l’annexe A, cité ou référencé au chapitre 3 et présentant uniquement des données relatives à la littératie.

L’annexe B comprend d’autres tableaux de données détaillés qui correspondent soit à des graphiques présentés dans des encadrés, soit à des éléments mentionnés dans le rapport, mais pour lesquels il n’y a pas de graphique correspondant.

Sauf indication contraire, les données présentées dans les graphiques et tableaux concernent la population adulte âgée de 16 à 65 ans.

StatLinks

Les chapitres du présent rapport se terminent par des liens StatLink renvoyant vers des tableaux et des graphiques. Pour télécharger la feuille de calcul Excel® correspondant, saisissez le lien dans votre navigateur Internet en incluant le préfixe https://doi.org, ou cliquez sur le lien à partir de la version électronique du rapport.

Conventions relatives aux entités nationales

À des fins de cohérence, les entités nationales et infranationales sont respectivement appelées « pays » et « économies » dans toute la publication. Par ailleurs, les entités territoriales et infranationales sont désignées par leur nom infranational et leur pays : l’Angleterre (Royaume-Uni) et la Région flamande (Belgique).

Conformément aux lignes directrices établies par le Statisticien en chef de l’OCDE, en concertation avec le Bureau du Comité des statistiques et de la politique statistique, tous les graphiques et tableaux du présent rapport opèrent, dans la mesure du possible, une distinction visuelle entre les données des entités infranationales et des entités nationales. Dans les tableaux en annexe, les résultats des entités infranationales sont présentés séparément, après les résultats des entités nationales. Dans les graphiques, le nom des entités infranationales est présenté en bleu.

Couverture

Ce rapport présente les données de 31 pays et économies : l’Allemagne, l’Angleterre (Royaume-Uni), l’Autriche, le Canada, le Chili, la Corée, la Croatie, le Danemark, l’Espagne, l’Estonie, les États-Unis, la Finlande, la France, la Hongrie, l’Irlande, Israël, l’Italie, le Japon, la Lettonie, la Lituanie, la Nouvelle-Zélande, la Norvège, les Pays-Bas, la Pologne, le Portugal, la Région flamande (Belgique), la République slovaque, Singapour, la Suède, la Suisse et la Tchéquie.

Moyennes internationales

La moyenne de l’OCDE correspond à la moyenne arithmétique des estimations respectives pour chaque pays et économie de l’OCDE dont les données sont disponibles. Elle est calculée pour la plupart des indicateurs présentés dans ce rapport. La moyenne de l’OCDE inclut les pays et économies suivants : l’Allemagne, l’Angleterre (Royaume-Uni), l’Autriche, le Canada, le Chili, la Corée, le Danemark, l’Espagne, l’Estonie, les États-Unis, la Finlande, la France, la Hongrie, l’Irlande, Israël, l’Italie, le Japon, la Lettonie, la Lituanie, la Nouvelle-Zélande, la Norvège, les Pays-Bas, la Pologne, le Portugal, la Région flamande (Belgique), la République slovaque, la Suède, la Suisse et la Tchéquie.

Écarts statistiquement significatifs

Le présent rapport s’intéresse uniquement aux écarts ou changements statistiquement significatifs. Ceux-ci sont indiqués par une couleur plus foncée dans les graphiques et en gras dans les tableaux. Sauf indication contraire, le seuil de signification est établi à 5 %.

Autres références

Les normes techniques détaillées qui ont servi à la conception et à la mise en œuvre de l’Évaluation des compétences des adultes de 2023 peuvent être consultées à l’adresse https://www.oecd.org/en/about/programmes/piaac/piaac-data.html#manuals. Des informations générales concernant la conception, la méthodologie et la mise en œuvre de l’Évaluation sont également résumées dans le manuel à l’usage des lecteurs (Survey of Adult Skills 2023 Reader’s Companion) (OCDE, 2024[2]). Des informations plus détaillées sont fournies dans le rapport technique de l’Évaluation des compétences des adultes de 2023 (Survey of Adult Skills 2023 Technical Report) (OCDE, à paraître[1]).

Références

[2] OCDE (2024), Survey of Adult Skills – Reader’s Companion: 2023, OECD Skills Studies, Éditions OCDE, Paris, https://doi.org/10.1787/3639d1e2-en.

[1] OCDE (à paraître), Survey of Adult Skills 2023 Technical Report, Éditions OCDE, Paris.