Des cadres de résultats efficaces au service du développement durable

9. Mesurer les résultats des initiatives de renforcement des capacités et des initiatives pilotées à l’échelon local

Principe directeur

De l’importance est attachée à la confiance et l’apprentissage mutuel entre les partenaires aux échelons national et infranational. Le dialogue entre les partenaires et les approches participatives favorisant la résolution des problèmes au niveau local sont privilégiés. L’association d’un large éventail d’acteurs – soutenue par un renforcement approprié des capacités – est recherchée dans l’analyse des problèmes, la conception, le suivi, l’évaluation et l’utilisation des résultats en vue de promouvoir une appropriation reposant sur une large assise et d’assurer la pérennité.

OCDE (2020[1]), Gestion axée sur les résultats en matière de développement durable, Principe directeur 3

Les partenaires au développement soutiennent de plus en plus le développement piloté à l’échelon local, l’envisageant comme une solution qui permet de parvenir à des résultats plus durables et à une plus grande équité, et ce, en encourageant l’appropriation, en s’alignant sur les besoins locaux et en favorisant le pouvoir d’agir et les capacités des acteurs locaux. Cette tendance fait fortement écho au Principe directeur 3, qui préconise d’encourager la résolution de problèmes pilotée à l’échelon local au moyen de démarches participatives tout au long du cycle de programmation, de mesures adéquates pour le renforcement des capacités et d’une culture valorisant la confiance et l’apprentissage mutuel.

Le développement piloté à l’échelon local et le renforcement des capacités sont intrinsèquement corrélés :

• La transition en faveur d’un développement piloté à l’échelon local passe par la reconnaissance du rôle déterminant des acteurs locaux en tant que responsables de l’action publique et/ou agents du changement dont les liens avec les communautés locales sont cruciaux. Pourtant, ces acteurs ont souvent du mal à accéder aux ressources et aux prérogatives nécessaires pour mettre en œuvre leurs solutions. La création d’un environnement propice à un développement piloté à l’échelon local nécessite donc de déployer des efforts visant à renforcer les capacités et à accroître Res

• Le renforcement des capacités est un processus de longue haleine, qui ne peut être mené de l’extérieur. Les personnes et les organisations qui en bénéficient doivent impérativement s’approprier ce processus, même si elles bénéficient d’un soutien extérieur.

La majorité des initiatives pilotées à l’échelon local comportent, de manière implicite ou explicite, un volet consacré au renforcement des capacités. Le présent chapitre s’ouvre donc sur la mesure des résultats des initiatives menées en la matière. Les auteurs mettent en évidence les difficultés inhérentes à l’essence même des interventions de renforcement des capacités et proposent des approches spécifiques qui peuvent aider à surmonter ces obstacles et à obtenir des informations sur les résultats à des fins d’apprentissage et d’amélioration de la programmation. Ils étendent ensuite cette approche à la mesure des résultats des projets et programmes pilotés à l’échelon local, domaine émergent dans lequel de nombreux acteurs du développement peinent à établir la méthode et les outils de mesure adéquats. Ce chapitre peut être lu conjointement avec la section 5.3 du chapitre 5, qui couvre les solutions permettant de garantir le pilotage à l’échelon local des systèmes de suivi, d’évaluation et d’apprentissage.

Thèmes abordés dans ce chapitre

• Mesurer les résultats des initiatives de renforcement des capacités.

• Mesurer les résultats des initiatives pilotées à l’échelon local

9.1. Mesurer les résultats des initiatives de renforcement des capacités.

Encadré 9.1. En quoi consiste le renforcement des capacités ?

Le renforcement des capacités joue un rôle essentiel dans les changements sociaux et le développement, et une part importante de l’APD comporte un volet qui lui est consacré.

Le renforcement des capacités est défini comme un « processus par lequel des personnes, des organisations et la société dans son ensemble libèrent, renforcent, créent, adaptent et entretiennent des capacités au fil du temps » (OCDE, 2006[2]). Il s’applique à trois niveaux interdépendants : 1) les compétences et aptitudes des individus – qui couvrent à la fois les compétences « douces », comme l’établissement de relations, la confiance et la légitimité, et les compétences « techniques », comme les compétences spécialisées, logistiques et d’encadrement ; 2) les structures, les fonctions et les systèmes des organisations ; et 3) l’environnement favorable, à savoir les systèmes de soutien aux pouvoirs publics et de soutien juridique, réglementaire, économique et social, dans le cadre desquels les individus et les organisations interviennent.

Les individus considèrent généralement que le renforcement des capacités est étroitement ou principalement lié à la formation. Pourtant, si les actions de formation constituent un axe certain de renforcement, d’autres solutions existent. Une formation est souvent nécessaire, mais elle ne saurait suffire. Par conséquent, lors de la mise au point d’initiatives de renforcement des capacités, il est important de tenir compte du fait que ce volet recouvre diverses modalités, dont la formation, mais aussi l’assistance technique, les bourses d’études et l’apprentissage en ligne, chacune nécessitant des approches distinctes en termes de mesure.

Graphique 9.1. Modalités de renforcement des capacités

Source : OCDE (2023[3]), Mesurer l’impact des initiatives en matière de renforcement des capacités.

9.1.1. Pourquoi est-ce un défi ?

Il est difficile de mesurer les effets directs des initiatives de renforcement des capacités, et ce, pour un certain nombre de raisons, dont :

• La nature pluridimensionnelle du renforcement des capacités, qui impose une approche globale impliquant différents acquis d’apprentissage, processus de changement et agents du changement. Les initiatives menées à ces fins supposent l’imbrication de différentes modalités, généralement mises en œuvre au fil du temps. Leurs résultats ne sont pas toujours linéaires et sont souvent moins tangibles que dans d’autres domaines (par exemple, autonomisation et équipement).

• Le délai de mesure des résultats. Les changements aux niveaux individuel et organisationnel peuvent être longs à se mettre en place, et l’internalisation par les parties prenantes concernées des mesures visant à faire évoluer l’environnement favorable prend du temps. En outre, la montée en capacités peut être latente et produire des résultats concrets bien au-delà de la durée de l’initiative.

• La multiplicité des voies qui conduisent au renforcement des capacités et, à terme, à un changement de comportement. En raison de ce paramètre, il est difficile d’attribuer des résultats à des initiatives spécifiques, notamment lorsqu’une même intervention comporte plusieurs modalités de renforcement des capacités. Ce constat se vérifie encore plus lorsque l’on mesure des réalisations à haut niveau, puisque le contrôle et le lien de causalité diminuent par rapport à la mesure des produits à court terme.

• Le niveau d’expertise et les coûts nécessaires pour mesurer les résultats. L’utilisation d’outils d’évaluation tels que les tests ou les enquêtes nécessite une certaine expertise, et le recours à des approches qualitatives implique l’adoption de méthodes lourdes et souvent coûteuses. Le processus de mesure gagne également en complexité lorsque l’on va au-delà des niveaux individuel et communautaire, pour évaluer les résultats au niveau des organisations ou le changement social dans son ensemble. Enfin, pour l’exécution des évaluations, il peut être difficile de trouver des personnes possédant les connaissances et les compétences requises à la fois dans les domaines du renforcement des capacités et du suivi et de l’évaluation.

Une théorie du changement à l’appui du renforcement des capacités considère l’apprentissage (en plus du fait de disposer des ressources adéquates) comme un facteur essentiel aidant à déclencher les changements comportementaux, organisationnels et institutionnels nécessaires en vue de développer les capacités individuelles et organisationnelles qui peuvent permettre aux individus, aux organisations et aux sociétés de libérer, renforcer, créer, adapter et entretenir les capacités à l’appui d’un développement durable dans le temps. Ces processus de changement aboutissent à des résultats en termes d’autonomisation qui recouvrent deux dimensions : 1) la capacité d’agir des individus et des organisations dans la poursuite de leurs objectifs ; et 2) l’environnement institutionnel, qui permet aux individus et aux organisations locales d’exercer leur capacité d’agir de manière fructueuse (Graphique 9.2).

Le suivi et l’évaluation visent à fournir des données probantes sur le rôle joué par les capacités dans les processus de développement et sur la manière dont le renforcement des capacités contribue à accroître l’impact et la durabilité du développement. La mesure des résultats et des réalisations de l’apprentissage et de leurs effets sur le renforcement des capacités et l’autonomisation devient donc un élément clé des cadres de résultats relatifs au développement des capacités. Cela suppose de concevoir des méthodologies solides afin de mesurer les progrès accomplis et de constituer le socle de données attendu, ainsi que de sélectionner des indicateurs adaptés aux niveaux des activités, des produits et des réalisations.

Graphique 9.2. Renforcement des capacités - Théorie du changement

Source : Créé par les auteurs à partir de Otoo, Agapitova et Behrens (2009[4]), The Capacity Development Results Framework, Banque Mondiale, https://openknowledge.worldbank.org/entities/publication/f416224d-54bc-5ed8-bc8d-7cea94b98735

9.1.2. Questions d’auto-évaluation

• Quel est le niveau de compréhension des pratiques de renforcement des capacités au sein de votre organisation ? Avez-vous récemment mené ou soutenu une évaluation des besoins en matière de renforcement des capacités au sein de votre organisation et des pays partenaires que vous soutenez ? Existe-t-il des possibilités de formation, des orientations, des réseaux ou autres ressources pour aider le personnel à acquérir une compréhension et des connaissances éclairées en matière de renforcement des capacités ?

• Comment les programmes de renforcement des capacités sont-ils gérés, suivis et évalués au niveau des projets et des institutions ?

9.1.3. Actions à envisager et pièges à éviter

• Créer un environnement favorable aux approches en matière de renforcement des capacités :

  • Acquérir une bonne compréhension et des connaissances solides concernant les pratiques et les évaluations en matière de renforcement des capacités dans l’ensemble de l’organisation.

  • Prôner le renforcement des capacités en tant qu’activité au long cours, qui est d’une grande utilité lorsqu’elle est menée correctement et dans une perspective à long terme.

  • Dans le cadre des programmes de renforcement des capacités, veiller à ce que l’expertise dans ce domaine soit disponible et puisse être mobilisée pour évaluer les changements aux niveaux des individus et des organisations.

  • À éviter :

    • inclure les objectifs de renforcement des capacités dans une catégorie distincte, car cette dimension devrait être insufflée dans l’ensemble des secteurs et des domaines prioritaires

    • l’application d’une approche automatique et simpliste dès que le renforcement des capacités est pris en compte.

• Mettre au point avec soin des initiatives de renforcement des capacités ou des programmes comportant un volet en la matière :

  • Tenir compte de l’engagement à long terme requis pour que le renforcement des capacités produise des résultats durables. Les dirigeants devraient être associés afin de comprendre comment les programmes seront conçus et mis en œuvre. Enfin, la durabilité du soutien budgétaire et des autres formes de soutien est indispensable pour porter cet engagement à long terme.

  • Envisager le contexte et les acteurs locaux comme le point de départ : ces initiatives devraient être conçues et mises en œuvre conjointement, et plus souvent pilotées à l’échelon local, pour atteindre un degré de pertinence maximal et assurer une appropriation durable par les acteurs locaux. Elles doivent être étayées par une compréhension claire des dynamiques locales et des facteurs structurels qui façonnent les performances des individus et des organisations, ainsi que des incitations et des contraintes qui peuvent avoir une influence sur le renforcement des capacités.

  • Préciser clairement l’objectif de développement et les résultats attendus à l’issue du programme, et identifier des indicateurs clairs assortis de situations de référence solides : le choix de la méthode de suivi et d’évaluation à appliquer dépendra de la mesure dans laquelle les réalisations attendues sont axées sur les processus ou les produits, matérielles ou immatérielles, et limitées dans le temps.

  • Adopter une approche globale qui tient compte de la nature pluridimensionnelle du renforcement des capacités et qui implique différents acquis d’apprentissage, processus de changement et agents du changement. Plus précisément :

    • Consulter la documentation disponible sur le renforcement des capacités et l’apprentissage, ainsi que les modèles existants de planification du renforcement des capacités et/ou collaborer avec des experts dans ce domaine – en s’appuyant, dans la mesure du possible, sur l’expertise nationale ou locale. Il est important d’analyser la documentation relative aux atouts en termes de capacités, ce qui implique de se concentrer sur les forces et les atouts que les pairs apportent à une situation donnée (voir la section consacrée aux ressources).

    • Évaluer avec soin les vecteurs de capacités et les obstacles, déterminer les domaines dans lesquels des changements doivent être apportés aux niveaux individuel, organisationnel et institutionnel, et la manière dont l’apprentissage et d’autres aspects du programme contribueront à ces changements. Dans la mesure du possible, analyser de manière plus détaillée les causes profondes afin de comprendre la nature des atouts existants et des défis auxquels les initiatives de renforcement des capacités sont censées répondre.

    • Étudier les différentes modalités de renforcement des capacités qui peuvent être utilisées pour obtenir les résultats escomptés et réfléchir à la manière la plus optimale de combiner ces modalités.

    • Prévoir de recueillir des données probantes sur ces changements, et ce, à plusieurs niveaux : individuel, organisationnel et systémique.

  • À éviter :

    • concevoir et mettre en œuvre des approches simplistes, ponctuelles et linéaires, qui ignorent les multiples options possibles en faveur du développement des capacités

    • faire abstraction de l’appropriation et du leadership des partenaires locaux, et notamment ne pas tenir compte de l’ampleur et de la portée des capacités en place au sein des pays partenaires, qui ont souvent été développées par le passé dans le cadre d’activités antérieures menées au titre de la coopération pour le développement

    • travailler de manière isolée sans coordonner les approches appliquées avec celles d’autres partenaires au développement et d’autres parties prenantes nationales.

• Appliquer des normes spécifiques pour le suivi et l’évaluation des initiatives renforcement des capacités :

  • Choisir le modèle le plus adapté pour le suivi de ces initiatives, en collaborant au besoin avec des experts du renforcement des capacités (voir exemples ci-dessous).

  • Planifier l’expérimentation de certains changements pour commencer, puis les itérations et les améliorations de l’outil de suivi.

  • Suivre les réalisations en termes d’apprentissage et adapter la mise en œuvre des programmes en tant que de besoin pour garantir l’obtention des résultats attendus.

  • Suivre les progrès accomplis vers les réalisations ciblées en matière de renforcement des capacités, en intégrant des retours d’information de façon à ajuster le programme si nécessaire. Il faut pour cela créer des occasions régulières d’apprentissage et de retour d’information, en ayant conscience du caractère potentiellement tardif des évaluations à mi-parcours.

  • Lors de la mise au point du processus d’évaluation, impliquer les parties prenantes pour définir ce que vous voulez savoir, qui veut le savoir, comment ce sera utilisé et le niveau de précision requis.

  • À éviter : Faire pression pour obtenir des résultats à court terme, en reconnaissant que le renforcement des capacités est une entreprise de longue haleine.

• Leçons à tirer :

  • Utiliser les données probantes produites par le système de suivi et d’évaluation pour éclairer et améliorer vos initiatives à l’appui du renforcement des capacités. Les données probantes devraient également faire ressortir si vos initiatives renforcent (ou compromettent) d’autres processus en matière de développement, directement ou indirectement, et si elles peuvent être utilisées pour optimiser leur impact. En outre, il est utile de documenter tout coût d’opportunité (par exemple, réserver la disponibilité d’agents très sollicités).

  • Diffuser les données probantes recueillies au sein de votre organisation et auprès d’autres donneurs afin d’enrichir l’apprentissage au niveau institutionnel et de contribuer à améliorer les approches et les initiatives de renforcement des capacités. Le suivi et l’évaluation du renforcement des capacités devraient également aider les responsables à mieux comprendre les programmes de développement et à étayer les processus d’apprentissage et de gestion adaptative.

  • Veiller à ce que les conclusions et les résultats soient partagés et largement pris en compte par les acteurs locaux.

9.1.4. Conseils pour aller plus loin

Mesurer les produits et les réalisations de l’apprentissage : les résultats de l’apprentissage peuvent être mesurés sur une échelle qui rend compte des effets sur :

• les individus : de la sensibilisation – mesurée par le degré de motivation – à l’amélioration des aptitudes – mesurée par les nouvelles compétences acquises.

• les processus : de l’amélioration du travail en équipe – mesurée par la capacité à dégager un consensus – à la capacité à organiser des réseaux – mesurée par les partenariats créés.

• les produits : de la capacité à formuler une stratégie – mesurée par la stratégie proposée – à la capacité à formuler un plan de mise en œuvre – mesurée par sa mise en œuvre dans les faits.

Pour chaque initiative de renforcement des capacités, les indicateurs génériques ci-dessus doivent être transformés en indicateurs spécifiques, et assortis de la définition de leur mesure et de la mention des sources des données probantes. Le cadre de résultats pour le développement des capacités Capacity Development Results Framework de la Banque mondiale propose une approche stratégique et axée sur les résultats à l’appui du développement des capacités. Il classe les activités de renforcement des capacités en catégories et cartographie leur évolution, des résultats de l’apprentissage aux changements sociopolitiques, en passant par les instruments d’action, les dispositifs institutionnels et, enfin, les objectifs de développement.

Utiliser des modèles d’évaluation pour mesurer et évaluer les résultats des initiatives de renforcement des capacités Différentes méthodologies ont été mises au point pour l’évaluation, chacune d’entre elles présentant des atouts et des limites propres qui doivent être prises en compte lors du choix de la méthodologie. À titre d’exemple, le modèle Kirkpatrick offre une méthode largement éprouvée et appliquée dans de nombreux secteurs (humanitaire, développement, administration publique, etc.). Il comprend quatre niveaux de mesure : 1) les réactions des participants (degré de satisfaction) ; 2) l’apprentissage (acquisition des connaissances ou compétences envisagées) ; 3) le comportement (application des apprentissages) ; et 4) les résultats (valeur ajoutée de la formation) (Kirkpatrick, 2010[5]).

La force de ce modèle réside dans sa simplicité : il fait appel à des concepts faciles à comprendre pour mesurer les programmes de formation ; il propose quatre catégories de base d’indicateurs de réussite de la formation ; et il encourage le recours aux évaluations des interventions en matière de formation, qui sont autrement difficiles à apprécier. Toutefois, cette simplicité peut conduire à des malentendus et à des généralisations excessives, car : 1) les quatre niveaux d’analyse ne sont ni hiérarchiques ni nécessairement corrélés ; 2) le modèle ne prend pas suffisamment en compte les interventions autres que la formation, qui contribuent au renforcement des capacités ; et 3) il mesure les changements observés au niveau des participants après l’exécution des programmes de formation, sans tenir compte des transformations sur un spectre plus large, au niveau sociétal, découlant des effets d’entraînement. Dans la pratique, il ressort également que les questionnaires et les tests (instruments de mesure des niveaux 1 et 2) sont souvent mal conçus, rendant l’interprétation difficile, et que, en général, l’évaluation à quatre niveaux n’est pas appliquée dans son intégralité : les données sont le plus souvent produites et utilisées aux niveaux 1 (satisfaction) et 2 (apprentissage).

9.1.5. Bonnes pratiques

Recourir à des méthodologies participatives pour mesurer les réalisations en matière d’autonomisation. Le processus d’autonomisation est propre au contexte et non linéaire : il fait intervenir des éléments complexes et interdépendants – valeurs, connaissances, comportements et relations –, de sorte que les différentes dimensions de l’autonomisation peuvent progresser de manière asymétrique et à des rythmes différents selon les contextes. Au vu de ces caractéristiques, l’adaptation des systèmes traditionnels de suivi est nécessaire. L’expérience montre qu’il est essentiel d’impliquer les personnes en quête d’une autonomie accrue, puisqu’elles sont les mieux placées pour déterminer et mesurer les étapes de leur propre processus d’autonomisation. La quantification des informations qualitatives qu’elles produisent – c’est-à-dire la réalisation d’analyses quantitatives à partir d’évaluations qualitatives – permet alors de générer des données suffisantes et fiables pour répondre aux exigences de la gestion axée sur les résultats. Une étude menée par l’Asdi présente l’expérience d’un mouvement social au Bangladesh, qui a su mesurer l’autonomisation en laissant ses membres expliquer eux-mêmes les bénéfices retirés du mouvement et en élaborant un dispositif permettant de mesurer les changements au fil du temps. Cette expérience illustre à merveille la manière dont l’autonomisation peut être mesurée et restituée par les personnes qui sont au plus proche de ces processus de changement, et utilisée par ces dernières pour orienter leurs actions futures (Jupp et Ibn Ali, 2010[6]).

Capacités permanentes. Les initiatives de renforcement des capacités ne devraient pas viser uniquement des résultats à court terme, mais chercher en outre à élever durablement le niveau des capacités permanentes des organisations et des systèmes. Deux niveaux peuvent ainsi être distingués. Ils permettent respectivement : 1) d’assurer les « fonctionnalités de base » d’un système (c’est-à-dire l’ensemble minimal de systèmes, d’infrastructures, de ressources, de capacités collectives et de cohérence nécessaires pour qu’une organisation puisse maintenir de bonnes performances au fil du temps) ; et 2) de développer les « talents organisationnels » (c’est-à-dire la capacité d’une organisation à modifier ses plans, réagir, créer, mobiliser, innover et s’adapter à des situations évolutives). Ce second niveau requiert un appui à plus long terme, mais il devrait constituer l’objectif ultime. Le processus de suivi et d’évaluation du renforcement des capacités doit ainsi mesurer les capacités permanentes pour aider à mieux cerner les liens entre capacités et performance. (Pour de plus amples informations, voir Ortiz et Taylor, (2009[7])).

9.1.6. Ressources

• Banque africaine de développement, Stratégie de renforcement des capacités du groupe de la banque africaine de développement 2021-2025

• Ortiz, A. et P. Taylor (2009), Learning purposefully in capacity development: Why, what and when to measure?An opinion paper prepared for IIEP, Institute of Development Studies

• Altschuld, J.W. (2014), Bridging the Gap Between Asset/Capacity Building and Needs Assessment

• IDOS (2022), Localising the SDGs in India: the role of government and private training institutes (idos-research.de)

• Guerra-López, Ingrid J. (2008), Performance Evaluation: Proven Approaches for Improving Program and Organizational Performance.

• Innovation Network, Social Movement Learning Project - Innovation Network (innonet.org)

• Bourgeois, I. et B. Cousins (2013), Understanding Dimensions of Organizational Evaluation Capacity, American Journal of Evaluation

• James D. Kirkpatrick and Wendy Kayser Kirkpatrick (2016), Kirkpatrick’s Four Levels of Training Evaluation

• OCDE (2012), Aider les pays partenaires à renforcer leurs capacités : Douze leçons tirées des examens par les pairs réalisés par le CAD

• USAID, CBLD-9 Capacity Building Indicator Resource Page

• Banque mondiale, The capacity development results framework: A strategic and results-oriented approach to learning for capacity development

9.2. Mesurer les résultats des initiatives menées à l’appui d’un développement piloté à l’échelon local

Encadré 9.2. En quoi consiste le développement piloté à l’échelon local ?

Il n’existe aucune définition standard du développement piloté à l’échelon local – également désigné par les termes adaptation au contexte local, développement piloté par la communauté ou développement participatif. L’OCDE le définit comme « un processus de développement continu dans lequel les acteurs locaux ont le pouvoir d’agir au niveau du cadrage, de la conception, de la mise en œuvre (y compris maîtrise des financements), de la redevabilité et de l’apprentissage, avec ou sans le soutien de la coopération internationale pour le développement » (OCDE, 2023[8]).

Le développement piloté à l’échelon local peut être appréhendé comme un spectre allant de l’absence de prise en compte de la capacité d’agir des acteurs locaux, jusqu’à la pleine responsabilité et l’autonomie de ces derniers tout au long du cycle du projet ou du programme. Le graphique ci-dessous présente en détail les principales dimensions de la capacité d’agir des parties prenantes locales dans le cadre de la coopération pour le développement :

Graphique 9.3. Les quatre dimensions de la capacité d’agir dans le cadre de la coopération pour le développement

Source : OCDE (2023[8]), Framing DAC member approaches to enabling locally led development, https://one.oecd.org/document/DCD%282023%2947/en/pdf

9.2.1. Pourquoi est-ce un défi ?

Bien que le développement piloté à l’échelon local ne soit pas un concept nouveau, il a suscité un regain d’intérêt ces dernières années en tant que moyen de renforcer l’appropriation par les acteurs les plus directement concernés par les défis liés au développement. Il est censé améliorer l’efficacité, l’inclusivité et la durabilité de la coopération pour le développement, et accroître son impact (voir section 5.3 Les systèmes de suivi, d’évaluation et d’apprentissage sont pilotés à l’échelon local).

Les premières avancées vers une coopération adaptée au contexte local ont été obtenues dans le secteur humanitaire, sous l’impulsion des engagements pris au titre du pacte relatif au financement de l’action humanitaire (Grand Bargain) visant à accroître les financements versés à l’appui des acteurs locaux, et sous l’effet des restrictions imposées aux travailleurs humanitaires internationaux pendant la pandémie de COVID‑19 (Barbelet, Bryant et Spencer, 2021[9]). On observe toutefois que, dans le domaine de la coopération pour le développement, d’autres engagements et transitions d’envergure similaire en faveur d’approches pilotées à l’échelon local progressent plus lentement (Baguios et al., 2021[10]).

Aujourd’hui, les partenaires au développement intègrent progressivement les notions relatives au développement piloté à l’échelon local lors de la mise au point de leur programmation. Ils ont commencé à élaborer des indicateurs permettant de mesurer si, et dans quelle mesure, leurs programmes et projets sont pilotés à l’échelon local. À ce jour, cependant, ces démarches restent essentiellement axées sur la mesure des ressources et des activités des programmes, sans réellement intégrer de réflexion sur la manière d’évaluer les résultats du développement piloté à l’échelon local. Le graphique ci-après illustre les différentes dimensions de la mesure de cette approche tout au long de la chaîne de résultats, et en précise les spécificités.

Graphique 9.4. Appliquer la chaîne de résultats à la mesure du développement piloté à l’échelon local

Que faut-il mesurer en plus des résultats traditionnels ?

Certains membres estiment que le pilotage à l’échelon local devrait être érigé comme l’un des principes de la coopération pour le développement – c’est-à-dire comme une transformation de l’acheminement de l’aide visant à remédier aux déséquilibres dans les rapports de pouvoir –, indépendamment de ses résultats ou de son efficacité attendue. Néanmoins, la définition, la mesure et l’évaluation des résultats obtenus grâce à des approches pilotées à l’échelon local, y compris leur valeur ajoutée potentielle, sont essentielles pour fournir le socle de données qui fait aujourd’hui défaut et qui est nécessaire pour favoriser et améliorer la conception et la mise en œuvre du soutien apporté au développement piloté à l’échelon local (Barbelet et al., 2021[11]).

Au niveau institutionnel, il peut être utile (par exemple dans une perspective de montée en puissance) d’évaluer si, et comment, les programmes pilotés à l’échelon local améliorent les réalisations en matière de développement et s’ils génèrent davantage de valeur que les programmes qui ne sont pas pilotés à cet échelon, et dans quelles conditions. Puisque le soutien apporté au développement piloté à l’échelon local vise à renforcer l’appropriation et la capacité d’agir des acteurs locaux, tout en produisant un impact plus durable, il est essentiel de mesurer : 1) l’effet sur l’autonomisation de ces acteurs – en déterminant si des capacités significatives, aux niveaux individuel et institutionnel, sont développées (voir section 1 du présent chapitre) ; 2) les réalisations immatérielles tels que le degré de motivation des acteurs locaux et le niveau de confiance entre les différents acteurs du développement ; et 3) si les résultats obtenus grâce aux approches pilotées à l’échelon local sont viables dans le temps. Pour ce faire, les résultats agrégés des différents projets doivent être soigneusement analysés et comparés à ceux de la programmation traditionnelle, de sorte que les réussites et les obstacles puissent être identifiés. Cela suppose des étapes supplémentaires de mesure au niveau des projets, au-delà de la mesure habituelle des progrès réalisés vers les produits et réalisations attendus en matière de développement.

Compte tenu de ces lacunes et de la nécessité de formuler des orientations sur le sujet, la présente section met l’accent sur la mesure des produits, des réalisations et de l’impact des initiatives pilotées à l’échelon local. Elle n’aborde pas la mesure des ressources ni l’évaluation du degré selon lequel les programmes et activités sont pilotés à l’échelon local. Ces différentes dimensions ont été abordées dans des ressources préparées par d’autres partenaires de la coopération, comme USAID, ainsi que dans une publication de l’OCDE qui illustre un exercice d’apprentissage au contact des pairs du CAD consacré au développement piloté à l’échelon local.

9.2.2. Questions d’auto-évaluation

• Dans quelle mesure les programmes de votre organisation sont-ils envisagés sous le prisme du développement piloté à l’échelon local ?

• Selon quelles modalités les projets pilotés à l’échelon local sont-ils actuellement suivis et évalués ? Les résultats de ces projets ont-ils été mesurés ? Dans l’affirmative, le suivi et l’évaluation sont-ils différents de ceux des projets qui ne sont pas pilotés à l’échelon local ?

• Êtes-vous en mesure d’agréger et d’analyser les résultats de ces projets au niveau institutionnel ? De quelles solutions autres que l’agrégation disposez-vous pour rendre compte, au niveau des institutions, des résultats des projets pilotés à l’échelon local ?

9.2.3. Actions à envisager et pièges à éviter

• Au niveau institutionnel :

  • Les évaluations des initiatives de développement pilotées à l’échelon local peuvent prendre différentes formes en fonction des besoins et des objectifs des acteurs du développement qui les mettent en œuvre. Avant de commencer, définir la finalité et les objectifs de l’évaluation et sélectionner le niveau de mesure et d’analyse en fonction de vos besoins. Il peut notamment s’agir de (liste non exhaustive) :

    • Mesurer les produits ou réalisations génériques des programmes pilotés à l’échelon local (ateliers de formation organisés, initiatives locales créées, amélioration de la gouvernance, prise en compte des besoins en matière de bien-être, etc.). Il est possible que ces produits/réalisations ne diffèrent pas sensiblement de ce qui est actuellement mesuré dans le cadre des programmes non pilotés à l’échelon local.

    • Apprécier les réalisations spécifiques attendues des projets pilotés à l’échelon local, tels que le sentiment de pouvoir agir, l’appropriation, l’inclusivité, l’autonomisation et la durabilité.

    • Recueillir des données probantes relatives à l’impact de ces réalisations sur les parties prenantes mobilisées dans le cadre des programmes et sur leur environnement.

    • Mesurer les changements induits dans le domaine du développement aux niveaux individuel, communautaire ou institutionnel.

    • Évaluer la valeur ajoutée des interventions qui sont pilotées à l’échelon local par rapport aux programmes qui ne le sont pas.

  • Envisager de reporter votre évaluation jusqu’à l’obtention de résultats au niveau des réalisations, de manière à formuler des conclusions plus probantes.

    • À éviter : Procéder à une évaluation des résultats peu après la mise en œuvre du programme, lorsque les résultats à plus haut niveau ne sont pas encore visibles.

  • Dans la mesure du possible, travailler collectivement avec d’autres partenaires au développement afin de réaliser des mesures conjointes des résultats et de tirer parti des synergies. Mettre l’accent non pas sur l’attribution, mais plutôt sur la contribution aux résultats.

  • Établir une liste concise d’indicateurs et d’outils de mesure standard qui restituent de manière fidèle les objectifs et le niveau d’analyse de votre évaluation, et qui favorisent la comparabilité entre les projets.

  • Veiller à ce que les conclusions soient interprétées en tenant compte du contexte et valider vos conclusions avec des experts locaux et d’autres parties prenantes impliquées dans votre programme de développement.

  • Tirer les enseignements de l’évaluation des résultats et planifier l’intégration de ces enseignements, et ses modalités, dans les programmes ultérieurs.

  • Diffuser les résultats de votre évaluation (par exemple, en publiant le rapport final) et contribuer à produire davantage de données probantes accessibles au public sur les résultats du développement piloté à l’échelon local.

• Au niveau des projets :

  • Consulter les acteurs locaux, co-créer avec eux ou leur déléguer le cadrage des projets/programmes afin de s’assurer que l’intervention est en phase avec leurs priorités et crée de la valeur. Dans tous les cas, inclure les ressources locales dans le modèle logique ou la théorie du changement lié(e) au projet et encourager les parties prenantes locales à remettre en question vos hypothèses sous-jacentes concernant le programme ou le contexte local. Tenir compte des aspects culturels et socio-économiques (par exemple, la langue, l’origine ethnique, le lieu de travail, etc.) lors de la participation des acteurs locaux. En outre, fournir des ressources financières adéquates pour ces travaux.

  • Veiller à ce qu’une analyse approfondie du contexte local soit réalisée avant la mise en œuvre du projet/programme. Ses conclusions serviront de repères ou de niveau de référence pour évaluer les résultats des interventions menées. Évaluer de quelle manière l’intervention peut influer sur les dynamiques locales et produire un impact.

    • À éviter : Ignorer la diversité des acteurs locaux (qui peut se manifester par des intérêts contradictoires et des besoins diversifiés), ainsi que les dynamiques de pouvoir intracommunautaires déjà en place.

  • Veiller à définir des objectifs clairs à l’aune desquels les résultats du projet seront mesurés. Pour ce faire, collaborer avec les acteurs locaux afin de parvenir à une compréhension commune.

  • Choisir des indicateurs et des outils de mesure qui rendent compte de l’évolution des objectifs définis ci-dessus. S’ils existent, sélectionner les indicateurs institutionnels standard pertinents.

  • Créer ou utiliser des systèmes de suivi et d’évaluation existants, qui rendent compte des effets directs imprévus ou non escomptés résultant de l’initiative pilotée à l’échelon local.

  • Favoriser des approches flexibles pour la mise en œuvre des projets et la mesure des résultats, de manière à évaluer en temps réel ce qui fonctionne ou non et à adapter la programmation en fonction des retours d’information des acteurs locaux.

    • À éviter : Les approches linéaires ou normatives du changement et de la mesure des résultats (par exemple, en n’intégrant l’évaluation qu’aux dernières étapes de la programmation).

  • Rechercher si des évaluations de programmes similaires pilotés à l’échelon local ont déjà été menées par d’autres partenaires au développement au niveau international ou local. Apprécier dans quelle mesure l’évaluation des résultats que vous réalisez concorde avec ces évaluations et réfléchir aux lacunes qu’elle comble en termes de connaissances.

  • Lors du suivi et de l’évaluation des initiatives pilotées à l’échelon local, envisager d’évaluer l’efficacité de la mise en œuvre ainsi que ses progrès par rapport aux objectifs définis à l’échelon local et sa viabilité sur la durée.

    • À éviter : Évaluer uniquement le respect des normes des donneurs ou les risques traditionnellement associés à la mise en œuvre par les acteurs locaux.

  • Adopter des méthodologies de recherche qui placent la voix des communautés locales au premier plan des efforts d’évaluation (voir section 5.3 Les systèmes de suivi, d’évaluation et d’apprentissage sont pilotés à l’échelon local). Il peut s’agir par exemple d’approches participatives centrées sur l’humain, comme la méthode du changement le plus significatif (MSC), la collecte de données sur les réalisations ou les récits d’exemples concrets, qui reposent sur la collecte et l’analyse de données qualitatives.

    • À éviter : Se concentrer de manière excessive sur des produits numériques ou quantifiables qui ne laissent pas de place aux interprétations contextuelles du changement.

  • Faire participer les acteurs et experts locaux tout au long du processus de mesure des résultats. Ces acteurs contribueront à « donner du sens » aux conclusions en fonction de leur connaissance du contexte et de leur expertise. Veiller à ce que les conclusions et les résultats soient partagés et largement pris en compte par les acteurs locaux.

  • Diffuser les résultats de votre évaluation au niveau du projet (par exemple, en publiant le rapport final dans les langues locales, en organisant des ateliers ou des réunions d’information sur les conclusions, etc.) et contribuer à produire davantage de données probantes accessibles au public sur les résultats du développement piloté à l’échelon local.

9.2.4. Conseils pour aller plus loin

Utiliser des approches en matière de suivi qui rendent compte des évolutions locales au-delà des performances du projet. En plus de recueillir des informations sur l’état d’avancement de l’intervention (par exemple, les activités et produits prévus), envisager de mettre en place des outils de suivi qui reflètent les changements plus généraux de la communauté, tels que :

• Le suivi du contexte. Il fournit des informations sur les conditions locales et les facteurs externes qui entourent un projet et peuvent affecter sa mise en œuvre et ses performances. Il permet de recueillir des données sur la situation économique, sociale et politique, et peut être utilisé pour mieux interpréter les évolutions liées aux projets sur la base d’éléments concrets.

• Le suivi complémentaire. Il permet de mesurer un large éventail de facteurs qui ne sont pas pris en compte par les méthodes de suivi traditionnelles. Il peut par exemple être utilisé pour mesurer les effets directs non escomptés d’un projet, ou pour recueillir des informations tout au long du cycle du projet sur le sentiment de pouvoir agir de la communauté locale, le sentiment de confiance envers les différents acteurs du développement et le renforcement des capacités (section 9.1 Mesurer les résultats des initiatives de renforcement des capacités).

Étudier des méthodologies plus complexes dans l’optique de mesurer l’impact à long terme du développement piloté à l’échelon local lorsqu’il s’agit de répondre à des questions de causalité. La mesure précise des résultats des programmes pilotés à l’échelon local comporte des difficultés importantes, comme la définition d’un groupe contrefactuel ou d’un groupe témoin afin d’établir un lien de causalité et d’évaluer si les changements observés sont le résultat de l’intervention. Outre les méthodologies qualitatives suggérées ci-dessus, des approches d’évaluation quantitative avancées (par exemple, les conceptions quasi-expérimentales, les essais contrôlés randomisés, les doubles différences) peuvent pallier ces lacunes et renforcer les évaluations des résultats.

• Se familiariser avec les méthodologies d’évaluation d’impact qui permettent de comparer les réalisations obtenues entre les communautés qui sont concernées par une intervention et celles qui n’en bénéficient pas. Investir dans le renforcement des capacités et des connaissances du personnel concernant l’application de ces méthodologies à la coopération pour le développement, et les difficultés qu’elles soulèvent, et mobiliser les collègues disposant d’une expertise au regard de ces méthodologies (Congdon, Simms et De Vita, 2021[12]).

• Apprécier la faisabilité et la nécessité de réaliser une évaluation de l’impact de votre programme. Le cas échéant, consacrer suffisamment de temps et de ressources à cette évaluation.

• Comparer les résultats des programmes pilotés à l’échelon local avec ceux des programmes traditionnels. Pour ce faire, réfléchir à vos lacunes et à vos besoins en termes de connaissances (quelles différences souhaitez-vous comparer, que souhaitez-vous savoir, par exemple en termes de durabilité, de pertinence par rapport au contexte, d’autonomisation des individus et des organisations), et veiller à ce que des objectifs d’évaluation clairs soient définis. Établir des indicateurs qui rendent compte de ces objectifs et comparer les résultats agrégés entre les programmes pilotés à l’échelon local et ceux qui ne le sont pas. Garder à l’esprit que certains paramètres peuvent être nécessaires pour assurer la comparabilité entre différents contextes et différents types de programmation.

9.2.5. Bonnes pratiques

Les efforts visant à mesurer les résultats du développement piloté à l’échelon local sont encore en cours et seules quelques organisations ont fait les premiers pas en vue d’élaborer des cadres de mesure et des indicateurs.

• USAID a créé un ensemble de ressources pour mesurer les progrès accomplis sur le plan de l’ancrage local, telles que des méthodes et des outils de mesure permettant de suivre les performances des programmes et d’évaluer les réalisations et les produits de leurs programmes pilotés à l’échelon local. Ces outils viennent compléter les indicateurs clés de performance pour le financement et la programmation des initiatives de l’agence en matière d’adaptation au contexte local.

• De même, Christian Aid, CARE, Tearfund, ActionAid, CAFOD et Oxfam ont élaboré un cadre mondial pour l’adaptation au contexte local, qui comprend des objectifs, des actions, des résultats et des indicateurs. Il vise à intensifier les actions humanitaires pilotées à l’échelon local dans quatre domaines, et à en assurer le suivi : les partenariats, les capacités, les ressources financières et la coordination.

9.2.6. Ressources

• ALNAP, Suivi et évaluation (S&E)

• Better Evaluation, Evaluation Approaches

• Inspiring Communities (2015), Measuring and Evaluating Impact and Change from a Community-led Development Perspective

• International Rescue Committee (2019), Localizing the Response – A Comparative Review of INGO Direct Service Delivery and Partnerships with Local and National Actors

• OCDE (2023), Framing DAC member approaches to enabling locally led development

• OCDE (2024), Pathways Towards Effective Locally Led Development Co-operation: Learning by example

• USAID (sans date), Measuring Progress on Localization

• Banque mondiale (2013), Localizing Development.Does Participation Work?

Références

[10] Baguios, A. et al. (2021), Are we there yet? Localisation as the journey towards locally led practice, https://cdn.odi.org/media/documents/ODI-SH-Localisation-Report-Oct21-Proof06.pdf.

[9] Barbelet, V., J. Bryant et A. Spencer (2021), Local humanitarian action during Covid-19, https://odi.cdn.ngo/media/documents/C19__localisation_diary_methods_WEB.pdf.

[11] Barbelet, V. et al. (2021), Interrogating the evidence base on humanitarian localisation, https://cdn.odi.org/media/documents/Localisation_lit_review_WEB.pdf.

[12] Congdon, W., M. Simms et C. De Vita (2021), Assessing the impact of community-level intiatives, https://www.urban.org/sites/default/files/publication/103920/assessing-the-impact-of-community-level-initiatives_1.pdf.

[6] Jupp, D. et S. Ibn Ali (2010), Measuring Empowerment? Ask Them. Quantifying qualitative outcomes from people’s own analysis. Insights for results-based management from the experience of a social movement in Bangladesh, Sida.

[5] Kirkpatrick, D. (2010), The Kirkpatrick Model, https://www.kirkpatrickpartners.com/the-kirkpatrick-model/ (consulté le 22 avril 2024).

[3] Meiers, M. (2023), Course materials from the OECD DAC Results Community Workshop, “Measuring the impact of capacity-building initiatives”.

[8] OCDE (2023), Framing DAC member approaches to enabling locally led development, https://one.oecd.org/document/DCD(2023)47/en/pdf.

[1] OCDE (2020), Gestion axée sur les résultats en matière de développement durable, Éditions OCDE, Paris, https://doi.org/10.1787/20eee248-fr.

[2] OCDE (2006), « The Challenge of Capacity Development: Working towards Good Practice », OECD Papers, https://doi.org/10.1787/oecd_papers-v6-art2-en.

[7] Ortiz, A. et P. Taylor (2009), Learning purposefully in capacity development: why, what and when to measure?, https://unesdoc.unesco.org/ark:/48223/pf0000186984.

[4] Otoo, S., N. Agapitova et J. Behrens (2009), The Capacity Development Results Framework: A Strategic and Results-Oriented Approach to Learning for Capacity Development, World Bank, https://hdl.handle.net/10986/23037 (consulté le 22 avril 2024).