Cliquez ici pour télécharger un PDF de cette page.
L’Organisation de coopération et de développement économiques, ou OCDE, regroupe 30 pays membres, tous attachés à la démocratie et à l’économie de marché. Ses relations de travail avec plus de 70 autres pays et économies, des ONG et la société civile lui confèrent une envergure mondiale. Renommée pour ses publications et ses statistiques, ses travaux couvrent tout le champ économique et social, de la macroéconomie aux échanges, à l’enseignement, au développement et à la science et à l’innovation. Pour plus d’informations sur l’OCDE, consulter le site www.oecd.org. Pour en savoir plus sur les travaux de l’OCDE sur l’éducation, consulter www.oecd.org/edu.
PISA est l’acronyme du nom « Programme International pour le Suivi des Acquis des élèves ».
Quel est l’historique du PISA?
En réponse aux demandes de ses pays membres de données régulières et fiables sur les connaissances et compétences de leurs élèves et sur la performance de leurs systèmes d’enseignement, l’OCDE a commencé les travaux sur le PISA au milieu des années 1990. Le PISA a été officiellement lancé en 1997, la première enquête ayant eu lieu en 2000, la deuxième en 2003 et la troisième en 2006. Les prochaines enquêtes sont prévues pour 2009, 2012, 2015 et au-delà…
Les résultats de PISA 2006 seront rendus publics le 4 décembre 2007.
En quoi PISA est-il si particulier ?
PISA bénéficie de sa portée mondiale et de sa régularité. À ce jour, plus de 60 pays ont pris part au Programme et les enquêtes, qui ont lieu tous les trois ans, leur permettent de suivre les progrès réalisés pour remplir leurs objectifs clés relatifs à l’apprentissage. PISA constitue l’unique enquête internationale sur l’enseignement qui mesure les compétences et qualifications des jeunes de 15 ans, un âge auquel les élèves de la plupart des pays approchent de la fin de la scolarité obligatoire.
PISA est également unique dans sa façon d’aborder :
Quels sont les pays qui participent au PISA ?
Tous les pays membres de l’OCDE ont participé aux trois premiers cycles d’enquête du PISA, de même que quelques pays partenaires. Au total, 43 pays ont pris part à PISA 2000, 41 à PISA 2003 et 58 à PISA 2006. Pour obtenir la liste complète des participants au PISA à ce jour et des informations sur tous les contacts des pays, leur site Internet, leur rapport national et plus encore, consulter www.pisa.oecd.org.
Comment les pays sont-ils choisis pour participer au PISA ?
Les pays intéressés par une participation au PISA contactent le Secrétariat de l’OCDE. Le Comité directeur du PISA approuve ensuite leur adhésion en fonction de certains critères. Les pays participants doivent notamment posséder l’expertise technique nécessaire pour administrer une évaluation internationale et être en mesure de régler l’ensemble des coûts au titre de leur participation. Pour prendre part à un cycle du PISA, les pays doivent adhérer deux ans avant le début de l’enquête. Par exemple, tous les pays participant à PISA 2009 se sont inscrits avant mars 2007.
Qui finance le PISA ?
Le PISA est exclusivement financé par des contributions directes des pays participants, versées par l’intermédiaire du ministère de l’Éducation de chaque pays.
Le PISA donne-t-il aux pays des directives pour diriger leurs établissements scolaires ?
Non. Les données récoltées par le PISA mettent en évidence la réussite des établissements scolaires de certains pays, tout comme les défis auxquels d’autres pays doivent faire face. Cette enquête permet aux pays de comparer les meilleures pratiques et de mettre en place leurs propres améliorations, dans le cadre de leurs systèmes scolaires respectifs.
Qui sont les personnes derrière le PISA ?
Ministres de l’éducation des pays participants
Le PISA n’aurait jamais pu se faire sans le soutien et l’encadrement des ministres de l’éducation des pays participants. Cliquez ici pour obtenir les liens vers les ministères de l’éducation des pays membres de l’OCDE.
Le Secrétariat de l’OCDE
Le Secrétariat de l’OCDE est responsable de la gestion quotidienne du PISA. En d’autres termes, l’équipe du PISA contrôle la mise en œuvre de l’enquête, gère les questions administratives pour le Comité directeur du PISA, assure le consensus entre les pays et sert d’intermédiaire au Comité directeur du PISA et au Consortium du PISA. Cliquez ici pour obtenir la liste des personnes à contacter dans le Secrétariat de l’OCDE pour le PISA.
Le Comité directeur du PISA
Chaque pays membre de l’OCDE participant au PISA dispose d’un représentant au sein du Comité directeur du PISA, nommé par son ministère de l’éducation. Chaque pays partenaire participant au PISA possède un observateur au Comité, nommé par son ministère de l’éducation. Le président du Comité directeur du PISA est choisi par le Comité lui-même. Orienté par les objectifs de l’OCDE en matière d’éducation, le Comité détermine ses priorités d’action publique pour le PISA et s’assure que celles-ci sont respectées durant la mise en œuvre de chaque cycle d’enquête. Cliquez ici pour obtenir les noms et coordonnées des membres actuels du Comité directeur du PISA.
Le maître d’oeuvre international (« Consortium PISA »)
Pour chaque enquête du PISA, un maître d’œuvre international (généralement constitué d’organismes d’essai et d’évaluation) est responsable de la conception et de la mise en œuvre des enquêtes. Ce maître d’œuvre est choisi par le Comité directeur du PISA au moyen d’un appel d’offres international. Il était appelé « consortium PISA » pour les enquêtes du PISA 2000 et du PISA 2003.
Les directeurs nationaux de projet du PISA
Travaillant en collaboration avec le Secrétariat de l’OCDE, le Comité directeur du PISA et le maître d’œuvre international, les directeurs nationaux de projet supervisent l’application du PISA dans chaque pays participant. Les directeurs de projet nationaux sont nommés par le gouvernement de leur pays.
Les groupes d’experts du PISA par domaine
Le PISA dispose de groupes d’experts pour ses trois domaines clés d’évaluation – la lecture, les mathématiques et la science – ainsi que pour d’autres domaines, le cas échéant (par exemple la résolution de problèmes dans PISA 2003). Ces groupes sont constitués d’experts mondiaux des différents domaines. Ils sont en charge de la conception du cadre d’évaluation de chaque enquête du PISA.
Le groupe d’experts du PISA sur les questionnaires
Le groupe d’experts sur les questionnaires fournit des directives et des conseils pour l’élaboration des questionnaires contextuels du PISA. Ses membres sont sélectionnés par le Comité directeur du PISA.
Qui passe les tests PISA ?
Dans chaque pays, des écoles sont sélectionnées au hasard par le maître d’œuvre international pour participer à l’enquête PISA. Au sein de ces écoles, le questionnaire est administré aux élèves âgés de 15 ans et trois mois à 16 ans et deux mois au moment du test, plutôt qu’aux élèves d’un niveau précis. L’âge moyen de 15 ans a été choisi car il correspond à la fin de la scolarité obligatoire pour les jeunes dans la plupart des pays de l’OCDE. La sélection d’écoles et d’élèves vise l’inclusion autant que faire se peut, de sorte que l’échantillon d’élèves présente un large éventail de contextes et capacités.
Quel est l’objet de l’évaluation du PISA ?
Chaque enquête PISA évalue la littératie en lecture, mathématiques et sciences en termes de compétences générales, c’est-à-dire la façon dont les élèves appliquent aux défis de la vie réelle les connaissances et compétences qu’ils ont acquis à l’école. PISA n’est pas une évaluation de la maîtrise de tel ou tel programme scolaire.
Quelle démarche le PISA emploie-t-il pour cette évaluation ?
Jusqu’à présent, le PISA a toujours eu recours à des tests papier-crayon. On envisage cependant d’informatiser les évaluations pour les enquêtes futures. Les tests comprennent à la fois des questions à choix multiples et des questions ouvertes pour lesquelles les élèves doivent structurer leurs propres réponses. Les matériaux de test sont articulés autour de textes et incluent parfois des images, des graphiques ou des tableaux présentant des situations de la vie réelle. Chaque enquête du PISA comprend environ sept heures de matériel de test. À partir de cet ensemble, chaque élève passe un test de deux heures, la combinaison des matériaux de test étant différente pour chacun d’entre eux.
Qui élabore les questions des tests ?
Tous les pays participant au PISA sont invités à soumettre des questions au maître d’œuvre international qui, lui-même, rédige certaines d’entre elles. Les questions sont ensuite révisées par le maître d’œuvre international et par les pays participants, puis soigneusement vérifiées pour éviter tout biais culturel. Seules les questions approuvées à l’unanimité sont utilisées pour l’enquête. Par ailleurs, avant le véritable test, un essai est réalisé dans chaque pays participant. Si une question s’avère trop simple ou bien trop compliquée dans certains pays, elle est éliminée du test définitif pour tous les pays.
Que sont les questionnaires contextuels du PISA ? Pourquoi les utilise-t-on ?
Les élèves remplissent des questionnaires contextuels, fournissant ainsi des informations sur eux-mêmes, leurs attitudes par rapport à l’apprentissage et leur foyer. Ces questionnaires prennent 20 à 30 minutes à compléter. Par ailleurs, les proviseurs de l’école doivent eux aussi remplir un questionnaire de 20 minutes à propos de leur établissement. Les pays peuvent également choisir d’administrer plusieurs questionnaires PISA optionnels : le questionnaire sur la maîtrise de l’informatique, le questionnaire sur le parcours scolaire et le questionnaire contextuel pour les parents. En outre, de nombreux pays décident de collecter des informations supplémentaires au moyen de questionnaires nationaux.
Les informations récoltées grâce à ces questionnaires aident les pays à examiner les relations entre la performance des élèves au PISA et des facteurs tels que la migration, le sexe et le contexte socio-économique des élèves, ainsi que leurs attitudes vis-à-vis de l’école et leurs approches de l’apprentissage.
Les tests et questionnaires PISA sont-ils disponibles au grand public ?
Une sélection de matériaux de test du PISA est disponible au grand public. Cliquer sur les liens ci-dessous pour obtenir des versions PDF gratuites :
Cliquer ici pour obtenir une sélection interactive de questions des tests du PISA.
Pourquoi tous les matériaux de test du PISA ne sont-ils pas disponibles ?
Afin de permettre aux pays de suivre leurs performances au fil du temps, de nombreuses questions sont utilisées dans plus d’une enquête du PISA. Celles-ci ne peuvent pas être rendues publiques tant qu’elles sont encore utilisées.
Comprendre les resultats
Comment les tests sont-ils corrigés ?
Chaque pays dispose de son propre groupe de correcteurs supervisé par le directeur de projet national. Ils notent les tests PISA en fonction d’un guide élaboré par le maître d’œuvre international et les experts du PISA par domaine (et à partir des commentaires et suggestions des pays participants). Les corrections sont ensuite contre vérifiées par d’autres experts. Les résultats finaux sont envoyés au maître d’œuvre international qui, à son tour, transmet les données finales au Secrétariat de l’OCDE.
Que signifient les scores obtenus aux tests ?
Les scores au PISA se situent sur des échelles spécifiques élaborées pour chaque domaine et conçues pour montrer les compétences générales testées par le PISA. Ces échelles sont réparties en niveaux qui représentent des groupes de questions test, commençant au Niveau 1 avec des questions qui ne nécessitent que des compétences de base, puis augmentant en difficulté avec chaque niveau.
Une fois que le test d’un élève a été corrigé, son score en lecture, mathématiques et sciences (et la résolution de problèmes pour PISA 2003) peut alors être situé sur l’échelle correspondante. Par exemple, un élève qui est susceptible de manquer des compétences nécessaires pour répondre correctement aux questions les plus élémentaires d’un test PISA sera classé au-dessous du Niveau 1, tandis qu’un élève susceptible de posséder la plupart des compétences nécessaires pour remplir correctement le test sera situé à un niveau plus élevé.
Pour chaque matière testée, le score des pays participants est la moyenne de tous les scores des élèves de ce pays. Le score moyen de l’ensemble des pays de l’OCDE est de 500 points et l’écart-type est de 100 points. Environ 2/3 des élèves des pays de l’OCDE obtiennent un score situé entre 400 et 600 points.
Où puis-je trouver davantage d’informations sur les échelles du PISA ?
Celles-ci sont décrites en détail dans les publications relatives aux cadres d’évaluation du PISA et dans les rapports techniques du PISA.
Pour obtenir une version PDF gratuite de ces ouvrages, consulter le site du PISA : www.pisa.oecd.org. Cliquer sur “What PISA Produces” puis sur l’année d’évaluation souhaitée.
Comment les pays sont-ils classés dans le PISA ?
Le PISA classe les pays en fonction de leur performance en lecture, mathématiques et sciences, ainsi que dans la résolution de problèmes pour le cycle 2003. Le PISA ne donne pas de score collectif pour tous les sujets confondus. En revanche, il calcule un score pour chaque matière et les pays sont classés en fonction de leur score moyen dans chaque domaine.
Toutefois, il n’est pas possible d’assigner un rang exact à chaque pays pour chaque domaine car le PISA ne teste qu’un échantillon d’élèves de chaque pays et ce résultat est ensuite ajusté pour représenter l’ensemble de la population des jeunes de 15 ans dans ce pays. Ainsi, les scores reflétant une petite quantité d’incertitude statistique, il est uniquement possible de rapporter la fourchette de positions (niveau élevé et niveau bas) dans laquelle le pays peut se placer. Par exemple, pour PISA 2003, la Finlande et la Corée ont été largement considérées comme 1ère et 2nde dans le PISA, alors qu’en réalité il est plus exact de dire que, parmi les pays de l’OCDE, le rang de la Finlande se situe entre 1 et 3 et celui de la Corée entre 1 et 4.
Les résultats du PISA peuvent-il se comparer d’une enquête à l’autre ou chaque enquête est-elle indépendante ?
Les performances des élèves peuvent se comparer d’une enquête à l’autre, tout comme certains des items des questionnaires contextuels.
Les résultats des performances au PISA de chaque pays sont-ils publiés ?
En général, oui. Les rapports du PISA publiés après chaque enquête intègrent les données de tous les pays participants, à condition que les données et le nombre d’élèves testés (la taille de l’échantillon) correspondent bien à certaines normes. Si les normes ne sont pas remplies, les données ne sont pas publiées ou bien sont présentées à part et accompagnées d’une note explicative, en fonction de la cause de cette non-conformité. Voir ci-après.
Anomalies dans les données du PISA
La liste ci-dessous répertorie les cas dans lesquels l’OCDE, sur les conseils techniques du Consortium PISA, a retiré du rapport ou bien annoté les données nationales qui y sont incluses, en raison d’anomalies techniques ou parce que ces données ne remplissaient pas les normes techniques PISA de l’OCDE.
Autriche
Comme l’indique le rapport technique sur le cycle PISA 2000 (PISA 2000 Technical Report, OCDE, 2002, disponible en anglais uniquement), l’échantillon d’élèves prélevé en Autriche en vue du cycle PISA 2000 n’est pas conforme aux normes techniques de l’enquête PISA, à cause d’une mauvaise représentation des élèves inscrits dans des formations en alternance. C’est pourquoi les estimations de l’Autriche officiellement publiées dans le rapport sur le cycle PISA 2000 sont jugées biaisées (OCDE 2001). Cette non-conformité a été corrigée lors du cycle PISA 2003. Dans le but d’assurer la fiabilité des comparaisons, des ajustements et des modifications des pondérations d’élèves ont été développés afin de rendre les estimations de PISA 2000 comparables à celles obtenues lors du cycle PISA 2003 (pour de plus amples détails techniques, voir le document de travail de l’OCDE n°5 « PISA 2000 : Sample Weight Problems in Austria » disponible sur http://oecd.org/edu/workingpapers , en anglais uniquement).
Pays-Bas
Comme indiqué dans le rapport technique sur le cycle PISA 2000 (OCDE, 2002), le taux de réponse des établissements néerlandais lors du cycle PISA 2000 était insuffisant pour garantir l’inclusion dans la base de données PISA 2000. Par conséquent, les données fournies par les Pays-Bas sont exclus de l’analyse des tendances de PISA 2000.
Luxembourg
Au Luxembourg, les conditions d’évaluation ont été modifiées entre les cycles PISA 2000 et PISA 2003 pour des raisons d’organisation et de langue, et ce dans le but d’améliorer la conformité avec les normes de l’OCDE et de mieux refléter les caractéristiques nationales du système scolaire. Lors du cycle PISA 2000, les élèves luxembourgeois ont choisi une semaine avant l’évaluation la langue de leur carnet de test. Dans la pratique, cependant, il est apparu que la mauvaise connaissance de la langue d’évaluation avait constitué un obstacle important pour une proportion significative d’élèves du Luxembourg. Par conséquent, lors des cycles PISA 2003 et PISA 2006, les élèves ont reçu deux carnets de tests – un dans chacune des deux langues d’enseignement - et ont pu choisir la langue qu’ils préféraient juste avant l’évaluation. Ainsi modifiées, les conditions de test sont davantage comparables à celles des pays ne comptant qu’une seule langue d’enseignement et permettent de recueillir des données plus fidèles sur la performance réelle des élèves en mathématiques, en sciences, en lecture et en résolution de problèmes. Suite à ce chancement de procédure, les conditions de test et, par-là même, les résultats de l’évaluation pour le Luxembourg, ne peuvent être comparés entre les cycles PISA 2000 et PISA 2003. En revanche, les conditions d’évaluation n’ont pas changé entre les cycles PISA 2003 et PISA 2006 et les résultats sont donc comparables.
Royaume-Uni
Au Royaume-Uni, le taux initial de réponse enregistré lors du cycle PISA 2000 est inférieur de 3.7 % au taux minimum requis. À cette époque, les autorités britanniques avaient fourni des informations qui avaient permis au Consortium PISA d’estimer la performance des établissements n’ayant pas participé. Au terme de cette analyse, le Consortium PISA a conclu à l’existence d’un biais de non-réponse négligeable selon toute probablibilté et a accepté l’inclusion des données du Royaume-Uni dans le rapport international. Lors du cycle PISA 2003, le taux de réponse était si bas que les normes d’échantillonnage n’ont pas été respectées et des analyses complémentaires n’ont pas permis de conclure à l’existence d’un biais négligeable. Par conséquent, les données ont été jugées non valides en termes de comparabilité internationale et ont, dès lors, été exclues de la plupart des comparaisons. Lors du cycle PISA 2006, des normes plus strictes ont été appliquées. Ce qui précède explique pourquoi les résultats du Royaume-Uni lors des cycles PISA 2000 et PISA 2003 ne sont pas inclus dans les comparaisons.
États-Unis
Aux États-Unis, lors du cycle PISA 2006, une erreur d’impression des carnets de test a provoqué un changement de la numérotation des pages, ce qui a donné lieu à des renvois vers des pages incorrectes dans les consignes de certains items en compréhension de l’écrit. Cette erreur d’impression peut avoir biaisé la performance des élèves. L’impact potentiel de cette erreur d’impression a été estimé sur la base de la comparaison de la performance relative des élèves dans des items communs aux cycles PISA 2003 et PISA 2006, après contrôle de la performance dans les items épargnés par cette erreur d’impression.
L’impact probable de cette erreur d’impression et des instructions erronées sur la performance moyenne des élèves a été estimé à 6 points, soit l’équivalent de plus de un écart type, en compréhension de l’écrit. C’est pourquoi les résultats des États-Unis ont été exclus du rapport PISA 2006 et de la base de données PISA.
L’impact probable de cette erreur d’impression sur la performance moyenne des élèves a été estimé à un point en mathématiques et en sciences. C’est pourquoi les résultats sont inclus en mathématiques et en sciences.
Autres questions
Comment puis-je en apprendre davantage sur le PISA ?
En consultant le site du PISA pour obtenir des informations, des versions PDF d’ouvrages du PISA téléchargeables gratuitement, des articles innovants et interactifs, et plus encore. Vous pouvez également consulter le site de la Direction de l’éducation de l’OCDE, pour obtenir des statistiques et indicateurs sur l’éducation comparables sur le plan international, ainsi que des analyses qualitatives sur une vaste gamme de sujets liés à l’éducation.
Je n’ai pas trouvé de réponse à ma question sur le PISA
N’hésitez pas à nous adresser vos questions et suggestions pour tout domaine qui nécessiterait davantage d’explications. Veuillez nous envoyer vos commentaires et requêtes à l’adresse : pisa.contact@oecd.org. Nous ne pouvons promettre de répondre à chaque message mais ce site sera régulièrement mis à jour afin de refléter au mieux vos suggestions.
Documents connexes