Résumés : Évaluation des retombées de l’éducation en termes d’apprentissage et d’emploi – Initiative de l’OCDE et expériences nationales

 

Pourquoi mettre en place un suivi systématique des processus d’apprentissage ? Rompre avec la priorité traditionnellement accordée à l’évaluation des résultats

Auteur : Motohisa Kaneko, Professeur, Université de Tokyo (Japon)

 

Dans de nombreux pays de l’OCDE, les systèmes d’enseignement supérieur sont exposés à des pressions politiques exigeant davantage de transparence et de responsabilité, mesurées à l’aune des retombées de l’apprentissage. Quelle stratégie le secteur doit-il mettre en œuvre face à ces exigences ?
S’efforçant de répondre à cette question, l’auteur de ce rapport analyse, dans un premier chapitre, les causes et la logique qui sous-tendent les pressions politiques en faveur de l’évaluation des résultats. En comparant la situation observée dans un certain nombre de pays de l’OCDE, l’auteur défend l’idée selon laquelle ces exigences recouvrent en réalité des perspectives et des intérêts différents ; elle explique également que quelle que soit la méthode employée pour évaluer les résultats – si du moins ce type d’exercice est possible – cette approche ne permettra ni de répondre aux besoins de la société, ni d’améliorer l’efficacité de l’éducation.
Cela ne signifie pas, pour autant, que les établissements d’enseignement supérieur doivent être dispensés de cette tâche. Dans le chapitre 2, l’auteur explique que les méthodes pédagogiques employées n’ont toujours pas rompu avec la théorie humboldtienne, qui attribue aux élèves et aux détenteurs des connaissances scientifiques un ensemble donné de motivations. Dans la mesure où ces hypothèses sont de moins en moins tenables, le fossé qui sépare enseignants et apprenants ne cesse en fait de se creuser, alimentant ainsi le mécontentement et le malaise de la population.
S’appuyant sur ces constatations, le chapitre 3 propose une alternative : un système d’instruments permettant d’effectuer le suivi du processus d’apprentissage des élèves. Parmi ces instruments figureraient notamment des sondages axés sur les aspirations professionnelles des étudiants, leur intérêt pour les cours dispensés, ou encore le temps consacré à l’apprentissage. Ces instruments peuvent par ailleurs être couplés à une évaluation des cours et à un bilan des performances des étudiants. Les données ainsi obtenues peuvent ensuite être comparées d’un établissement à l’autre, voire d’un pays à l’autre. Cette approche contribuera très certainement à améliorer la transparence et la responsabilité, tout en accroissant la pertinence de l’enseignement supérieur.

Évaluer les retombées de l’enseignement supérieur en termes d’apprentissage, en fonction des caractéristiques institutionnelles et individuelles

Auteurs : Per O. Aamodt et Elisabeth Hovdhaugen , NIFU STEP (Norvège)

 

L’évolution vers un enseignement supérieur de masse est intimement liée à l’émergence de la société moderne de la connaissance. On observe, sur la plupart des segments du marché de l’emploi, une demande accrue de qualifications de niveau supérieur ; par ailleurs, on exige de plus en plus des étudiants qu’ils acquièrent, outre les qualifications spécifiques à leur discipline, des compétences transférables ou génériques.
Secteur élargi et central au sein de nos sociétés, l’enseignement supérieur est également confronté à une exigence accrue de transparence et d’efficacité de la part des différents acteurs sociaux. Désormais, la qualité de l’enseignement ne peut sans doute plus être mesurée intégralement par les EES eux-mêmes et leur corps enseignant. Les établissements sont en effet davantage exposés à l’évaluation externe de la qualité. Si l’évaluation des performances des étudiants s’effectue traditionnellement par l’attribution de notes, nous sommes d’avis que celles-ci reflètent, au mieux, les compétences des étudiants au sens étroit, ce qui pose de sérieux problèmes de validité. Il est donc nécessaire d’élaborer un ensemble élargi de critères et d’indicateurs en la matière.
Théoriquement, les retombées de l’enseignement supérieur en termes d’apprentissage devraient être mesurées à l’aide d’une méthode aussi objective que possible. Les initiatives menées dans ce sens par l’OCDE, notamment via le programme PISA pour l’enseignement supérieur, présentent un intérêt considérable. Il existe une autre approche permettant de mesurer les retombées de l’enseignement supérieur en termes d’apprentissage : celle-ci repose sur le compte rendu, dressé par les étudiants eux-mêmes, des savoirs acquis dans l’enseignement supérieur. L’analyse que nous proposons dans ce rapport se base sur les données collectées à l’aide d’un questionnaire distribué aux étudiants norvégiens. Nous comparons les retombées en termes d’acquis recensées par les étudiants eux-mêmes d’un établissement et d’une discipline à l’autre, mais aussi en fonction des caractéristiques des étudiants (sexe, âge, niveau d’instruction des parents, implication de l’étudiant, etc.). Nous nous efforçons par ailleurs de déterminer dans quelle mesure les notes attribuées reflètent les retombées en termes d’acquis recensées par les étudiants eux-mêmes (et mesurées principalement sous forme de compétences transférables).

Impact des retombées de l’apprentissage dans les filières commerciales : Évaluation de la valeur et de la pertinence des acquis des diplômés, ainsi que de leurs aptitudes, dans le cadre d’une étude axée sur les employeurs et les diplômés de commerce de plusieurs pays

Auteurs : Ana Azevedo,  F.H. Joanneum (Autriche), Doris Gomezlj, Université de Primorska (Slovénie), Jane Andrews, Helen Higson, Aston Business School (Royaume-Uni), Antonio Caballero, Claes Fornell International (Espagne)

 

Ce rapport s’intéresse aux conclusions décisives formulées à l’issue d’un projet de recherche de deux ans ayant bénéficié du soutien financier de l’UE. Ce projet portait sur quatre pays européens : l’Autriche, le Royaume-Uni, la Slovénie et la Roumanie. L’objectif était double. Il s’agissait tout d’abord d’élaborer une procédure systématique permettant de déterminer si les retombées de l’enseignement supérieur en termes d’acquis étaient en adéquation avec les besoins spécifiques recensés sur le marché de l’emploi. Le projet visait ensuite à développer et à tester un ensemble d’indicateurs de qualité méta-niveaux destinés à étayer l’analyse de la relation entre enseignement supérieur et emploi. La spécificité du projet tenait à ce qu’il combinait différents partenaires de l’enseignement supérieur, de la formation professionnelle, de l’industrie et de l’assurance qualité.
Parmi les principaux thèmes émergents identifiés durant les entretiens préliminaires, citons notamment le fait que dans les quatre pays considérés, les employeurs et les jeunes diplômés de commerce préconisaient un enseignement complet, à l’issue duquel les étudiants ont acquis une large base de connaissances clés dans les diverses disciplines que comptent les filières commerciales. Employeurs et diplômés ont par ailleurs souligné la nécessité que chaque élève approfondisse les aptitudes et compétences clés qui lui seront demandées par la suite.
À l’issue de cette étude préliminaire, un questionnaire a été distribué ; les questions proposées portaient sur cinq domaines fonctionnels du commerce, et permettaient également d’évaluer un ensemble de 8 compétences commerciales. Dans le cadre de ce sondage, les questions liées aux indicateurs de qualité méta-niveaux visaient à évaluer l’impact de ces retombées de l’apprentissage sur le lieu de travail et ce, à l’aide des critères suivants : 1) valeur, 2) pertinence et 3) aptitude du diplômé.
 Ce rapport donne un aperçu des résultats de l’étude menée auprès d’un échantillon de 900 personnes (diplômés des filières commerciales et employeurs). Les auteurs du rapport proposent deux modèles théoriques permettant de formuler des prévisions concernant la satisfaction à l’égard des performances professionnelles, et la satisfaction relative à l’enseignement dispensé en école de commerce. Les auteurs analysent par ailleurs les implications des résultats de l’étude pour l’éducation, l’emploi et les politiques publiques européennes.

Quelles retombées sur le marché du travail pour les jeunes diplômés européens et japonais ? Les données probantes empiriques issues des études CHEERS et REFLEX

Auteurs : Harald Schomburg, Responsable de recherche, International Centre for Higher Education Research Kassel (INCHER-Kassel, Allemagne) et Ulrich Teichler, Professeur, International Centre for Higher Education Research Kassel (INCHER-Kassel, Allemagne)

 

S’appuyant sur les données empiriques issues des études CHEERS et REFLEX (deux sondages de grande ampleur menés en 1999 et 2005, et portant chacun sur près de 35 000 diplômés d’établissements d’enseignement supérieur européens et japonais), ce rapport présente l’approche méthodologique employée et les principaux résultats obtenus concernant les retombées dont bénéficient les jeunes diplômés de l’enseignement supérieur sur le marché du travail. Ces études reposent sur une perspective comparative à l’échelon international. Certains aspects ont particulièrement retenu l’attention des auteurs : il s’agit notamment de l’évaluation des compétences et des exigences professionnelles, mise en perspective avec l’enseignement dispensé et les conditions d’apprentissage proposées. Les études CHEERS et REFLEX constituent non seulement la meilleure source de données empiriques comparatives concernant les retombées professionnelles dont bénéficient les diplômes d’EES européens et japonais arrivés sur le marché du travail en 1995 et 2000 et interrogés quatre et cinq ans après l’obtention de leur diplôme. Ces données permettent également de mieux comprendre la question fondamentale qui sous-tend cette étude : dans quelle mesure l’enseignement supérieur a-t-il contribué à la réussite professionnelle des diplômés ? Pour analyser la pertinence d’un large panel de facteurs éducatifs (discipline étudiée, type d’établissement, pays, réputation, conditions d’enseignement, attitude vis-à-vis de l’apprentissage, notamment), les auteurs ont utilisé divers indicateurs subjectifs et objectifs de la réussite professionnelle.
Les auteurs ont en outre présenté une approche innovante en matière de sondage mené auprès des diplômés ; celle-ci devrait être adaptée en vue d’être mise en place au sein des établissements d’enseignement supérieur allemands. Une cinquantaine d’EES ont ainsi manifesté l’intention de participer au projet, initié en 2007 par l’INCHER-Kassel (sous l’égide d’Harald Schomburg). Cette étude bénéficie, pendant deux ans, du soutien financier du Ministère fédéral allemand de l’éducation et de la recherche (BMBF). Le projet vise à instaurer, au sein de chaque EES allemand, un programme de sondages réguliers auprès des diplômés. Les premiers sondages pilotes ont été menés en 2007, et près de 90 000 diplômés (soit près de la moitié de tous les diplômés d’une année scolaire) devraient être interrogés dans le cadre de ce programme durant l’année 2008. Pour fournir les informations nécessaires au bon déroulement du processus de développement institutionnel (celles-ci portant notamment sur l’évaluation, l’accréditation, le déroulement de carrière, l’orientation des étudiants ou encore l’élaboration des programmes), les membres de chaque EES sont invités à contribuer à l’élaboration de leur propre questionnaire. Les responsables du projet s’assureront néanmoins que les différents questionnaires présentent suffisamment de questions communes, afin que l’analyse comparative des réponses soit fructueuse, concernant notamment les effets des programmes d’ES dispensés et des conditions d’apprentissage proposées sur les retombées professionnelles dont bénéficient les diplômés.

Intégrer la mesure des retombées de l’apprentissage au processus décentralisé d’élaboration des programmes : quels critères de référence communs ?

Auteur : Peter Zervakis, Hochschulerektorenkonferenz (HRK) (Allemagne)

 

La meilleure façon de comparer différents cursus universitaires consiste à évaluer, dans chaque cas, les retombées de l’apprentissage et les compétences acquises par les élèves à l’issue des programmes. Ce type d’analyse comparative se heurte toutefois à un certain nombre de difficultés majeures, liées notamment à la diversité des cadres, des modèles et des tendances propres à chaque université. Ce rapport s’efforce d’analyser cette problématique d’un point de vue allemand puis européen, et de cerner les contraintes méthodologiques inhérentes à un éventuel programme d’évaluation PISA axé spécifiquement sur l’enseignement supérieur. Dans le cadre d’un projet inédit, la Conférence des recteurs d’universités allemandes (HRK) a donc procédé à l’évaluation systématique de l’enseignement et de l’élaboration des programmes dans certaines universités. Les résultats de cette étude fournissent ainsi une solide base de données empiriques, à même d’apporter de précieux éclaircissements, et nous permet de tirer un certain nombre d’enseignements tant positifs que négatifs.
La réglementation des programmes d’enseignement supérieur s’effectue généralement de façon décentralisée. La tradition européenne veut ainsi que les universités soient des établissements autonomes, autorisés à concevoir leurs programmes d’enseignement de façon indépendante, en vertu du principe d’intégrité scientifique et académique. Les universités considèrent généralement cette indépendance comme garante de la qualité de la recherche et de l’enseignement. Et les dispositions prises dans le cadre du Processus de Bologne vont précisément dans le sens de ce principe de fonctionnement.
Les objectifs éducatifs assignés aux universités sont vastes. Ils consistent notamment à préparer les étudiants à la vie professionnelle, qui implique voire nécessite souvent de mettre à profit certaines connaissances et compétences scientifiques ou encore certaines aptitudes artistiques. Qu’elles soient spécialisées ou générales (donc plus comparables), les compétences acquises durant les études supérieures revêtent donc une importance cruciale. Bien que chaque établissement accorde la priorité à une ou plusieurs discipline(s) particulière(s), les normes et les projets d’analyse comparative instaurés à l’échelon international peuvent largement contribuer à la définition de critères de référence communs.
L’expérience capitalisée grâce au projet Excellence de la HRK, le cadre d’exigences relatif à l’Espace européen de l’enseignement supérieur (EHEA) et les résultats par discipline obtenus à l’issue du projet baptisé « TUNING – Convergence des structures éducatives en Europe », constituent autant de sources d’information clés permettant de concevoir les modèles globaux, les exigences et les normes communes nécessaires pour intégrer la mesure des retombées de l’apprentissage au processus décentralisé d’élaboration des programmes.

Performances financières et rendement des systèmes d’enseignement supérieur dans les pays en développement : Gestion des ressources et gestion saine des systèmes d’enseignement supérieur en Ouganda

Auteur : Benon Basheka, Directeur du Service des études supérieures/Chargé de cours, Uganda Management Institute (UMI) (Ouganda)

Certains pays du monde en développement prennent peu à peu conscience du rôle clé joué par l’efficacité du système d’enseignement supérieur dans l’émergence de l’État-nation. Les EES ont besoin de certaines ressources, que celles-ci soient financières, matérielles et humaines ; la gestion de ces ressources suscite généralement l’intérêt de diverses parties prenantes. Bien que nombre d’entre elles reconnaissent l’importance de ces ressources pour le bon déroulement de la gestion des systèmes d’enseignement supérieur, peu de chercheurs se sont intéressés au système d’enseignement supérieur ougandais en vue de déterminer dans quelle mesure une gestion saine et efficace des ressources pouvait contribuer à l’efficacité de la gestion de ce système. L’auteur s’efforce de démontrer qu’une saine gestion du système d’enseignement supérieur reflète la qualité et la pertinence des retombées de l’ES. Ce rapport présente les résultats empiriques obtenus à l’issue d’un sondage mené auprès de 296 interrogés issus de 6 EES ougandais privés utilisés comme échantillon. Les données ont été étudiées à l’aide d’une analyse factorielle en composantes principales, d’une analyse de régression et d’une analyse par corrélation. Il en ressort, de façon générale, que la gestion des ressources a un impact notable sur la gestion des systèmes d’enseignement supérieur en Ouganda ; et cela contribue largement, à son tour, à améliorer la qualité et la pertinence de ces systèmes. L’auteur recommande que tous les systèmes d’enseignement supérieur mettent en place un mécanisme transparent de gestion des ressources. Il élabore ensuite un cadre conceptuel et met en avant les politiques, les pratiques et les implications en matière de gestion à observer de près à l’échelon international.

 

 

 

Also Available