Ce chapitre présente des mesures opérationnelles destinées à aider les pays à évaluer leurs stratégies de lutte contre la fraude. Il présente les principales questions d'évaluation en adaptant les critères d'évaluation du CAD de l'OCDE aux stratégies de lutte contre la fraude, fournit des orientations sur le calendrier et les méthodes d'évaluation, et définit les responsabilités en matière de gouvernance et les responsabilités institutionnelles pour réaliser ces évaluations. Ce chapitre souligne l'importance d'identifier dès le début du processus d'évaluation les parties prenantes, leurs rôles et les processus décisionnels, d'élaborer une théorie du changement lors de la conception de la stratégie, et d'évaluer les impacts tant financiers que non financiers de la fraude afin d'étayer des initiatives de lutte contre la fraude fondées sur des données factuelles.
Évaluation, mise à jour et suivi des stratégies de lutte contre la fraude
2. Évaluation des stratégies de lutte contre la fraude
Copier le lien de 2. Évaluation des stratégies de lutte contre la fraudeDescription
2.1. Introduction
Copier le lien de 2.1. IntroductionAlors que le suivi permet aux responsables de la stratégie ou de la mise en œuvre et du contrôle des projets d'évaluer s'ils progressent vers la réalisation des objectifs, l'évaluation de la stratégie consiste à déterminer si le changement souhaité a été atteint. Une évaluation va donc au-delà de la mise en œuvre et de la réalisation des résultats concrets ; elle examine les changements auxquels la stratégie a contribué, dans quelle mesure les résultats escomptés ont été atteints et de quelle manière, en tenant compte de questions telles que la pertinence, la cohérence, l'efficacité, l'efficience, l'impact ou encore la durabilité. En ce qui concerne les stratégies de lutte contre la fraude, l'évaluation a pour objectif de s'assurer qu'une stratégie est bien conçue pour « fournir une assurance quant à la réalisation des objectifs opérationnels en matière d'efficacité et d'efficience de la lutte contre la fraude et de la protection des intérêts financiers de l'Union. » (OCDE, 2021[1] ; Commission européenne, Office européen de lutte antifraude (OLAF), 2016[2])
Si les évaluations stratégiques peuvent constituer des outils utiles pour aider les décideurs politiques à déterminer si une stratégie antifraude est en mesure d'atteindre ses objectifs, d'obtenir les résultats escomptés et de s'avérer rentable et efficace, des évaluations solides exigent une rigueur méthodologique et une bonne gouvernance du processus. Cela implique de relever les défis courants liés à la réalisation d'évaluations stratégiques, tels que la mobilisation des ressources humaines nécessaires (capacités et compétences), la garantie d'un intérêt et d'une demande politiques, la disponibilité de ressources financières et l'accès à des données de haute qualité permettant de produire des évaluations rigoureuses (OCDE, 2020[3]).
Ce chapitre a pour objectif d'aider les pays à mener des évaluations de leurs stratégies de lutte contre la fraude. Il aborde les questions clés à prendre en compte lors de l'évaluation de la stratégie au stade de son élaboration, les responsabilités institutionnelles en matière d'évaluation de la stratégie, ainsi que la manière de communiquer efficacement les résultats à l'issue des exercices d'évaluation. L’Encadré 2.1 ci-dessous présente un aperçu des actions opérationnelles incluses dans le processus d'évaluation et décrites plus en détail dans ce chapitre.
Encadré 2.1. Processus d'évaluation – mesures opérationnelles dans le cadre de l'évaluation des stratégies de lutte contre la fraude
Copier le lien de Encadré 2.1. Processus d'évaluation – mesures opérationnelles dans le cadre de l'évaluation des stratégies de lutte contre la fraude1. Déterminer les modalités de gestion de l'évaluation – notamment en précisant les parties prenantes, les rôles et les processus décisionnels, ainsi que la transparence de ces processus
2. Déterminer l'objectif et la durée de l'évaluation – la stratégie de lutte contre la fraude permet-elle d'atteindre ses objectifs ? Quelle période l'évaluation couvre-t-elle (évaluation de mi-parcours ou finale) ?
3. Sélectionner les critères d'évaluation et les normes à appliquer, puis formuler les questions clés à prendre en compte
4. Planifier le processus d'évaluation en fixant des délais et des échéances, en définissant les responsabilités, en recensant les sources de données, en choisissant les méthodes de collecte d'informations et en déterminant les ressources nécessaires à la réalisation de l'évaluation
5. Collecter et analyser les données issues de sources qualitatives et quantitatives afin de répondre aux questions d'évaluation, notamment les rapports de suivi annuels ou semestriels, les données administratives, les rapports d'audit et leurs recommandations, les indicateurs de résultats et d'impact, ainsi que les groupes de discussion et les enquêtes
6. Évaluer les performances au regard des critères d'évaluation en synthétisant les données, notamment en tenant compte des répercussions financières et non financières de la stratégie de lutte contre la fraude, du retour sur investissement et en examinant la logique d'intervention (théorie du changement, ToC) afin de comprendre les causes des résultats et des impacts et de formuler des jugements de valeur
7. Tirer des conclusions et des recommandations préliminaires, en reconnaissant les limites éventuelles et en soumettant les résultats préliminaires aux autorités compétentes en matière de lutte contre la fraude
8. Intégrer les commentaires sur les conclusions et recommandations préliminaires dans le rapport d'évaluation final
9. Rédiger le rapport d'évaluation final et communiquer les résultats aux parties prenantes internes et externes, notamment à la société civile et aux organisations non gouvernementales
10. Mettre à jour la stratégie et/ou le plan d'action de lutte contre la fraude à la lumière des conclusions de l'évaluation
Source : Secrétariat de l'OCDE ; adapté de (BetterEvaluation, 2025[4])
2.2. Quoi, quand et comment évaluer
Copier le lien de 2.2. Quoi, quand et comment évaluer2.2.1. Définition des critères d'évaluation de la stratégie
Les évaluateurs d'une stratégie de lutte contre la fraude peuvent se poser un certain nombre de questions afin de déterminer si cette stratégie produit les résultats escomptés. En fin de compte, les évaluateurs souhaitent savoir si la stratégie de lutte contre la fraude permet d'atteindre ses objectifs et de réduire la fraude, ce qui nécessite de collecter des données afin d'identifier les facteurs qui influencent tant la réalisation que la non-réalisation des objectifs de lutte contre la fraude.
Le Comité d'aide au développement (CAD) de l'OCDE a traduit les principaux aspects de l'évaluation en six critères (impact, efficacité, efficience, durabilité, cohérence et pertinence) afin de favoriser une évaluation cohérente et de grande qualité des interventions, y compris des stratégies, dans le but d'inspirer une conception plus efficace des stratégies à l'avenir. Ces critères ont pour but d'inciter les évaluateurs à examiner de manière plus approfondie la nature de la stratégie, son processus de mise en œuvre et ses résultats, tout en reconnaissant que leur utilisation dépend de l'objectif de l'évaluation (OCDE, 2021[1]). Vous trouverez ci-dessous une brève explication de chaque critère utilisé dans le cadre de l'évaluation des stratégies de lutte contre la fraude.
Impact
L'impact désigne la mesure dans laquelle la stratégie de lutte contre la fraude a généré ou devrait générer des effets significatifs, positifs ou négatifs, intentionnels ou non, à un niveau plus élevé (OCDE, 2021[1]). Les évaluateurs peuvent donc examiner si la stratégie a entraîné des changements durables dans les systèmes et les normes liés à la lutte contre la fraude, ainsi que les effets escomptés et inattendus qu'elle a engendrés. Cela peut impliquer d'examiner des changements à l'échelle du système, tels qu'une réduction durable des taux globaux de fraude, des effets dissuasifs sur les comportements frauduleux, une évolution de la culture de la fraude et de la tolérance à son égard, ainsi qu'un renforcement de la confiance générale dans les institutions chargées de la lutte contre la fraude. Il est essentiel d'évaluer à la fois les impacts financiers et non financiers pour démontrer l'intérêt des efforts de lutte contre la fraude, orienter l'affectation des ressources et compléter les analyses d'efficacité, notamment en ce qui concerne le retour sur investissement des mesures de lutte contre la fraude. Compte tenu de la nature intrinsèquement cachée de la fraude, il peut être difficile d'en évaluer l'impact. Il existe toutefois toute une série d'approches permettant d'évaluer les incidences tant financières que non financières des stratégies de lutte contre la fraude, comme nous le verrons plus loin dans ce chapitre.
Efficacité
L'efficacité tient compte de la mesure dans laquelle la stratégie de lutte contre la fraude a atteint, ou devrait atteindre, ses objectifs et ses résultats, y compris les éventuelles différences de résultats entre les groupes (OCDE, 2021[1]). Il s'agit notamment de déterminer si la stratégie de lutte contre la fraude atteint ses objectifs et respecte ses cibles, notamment en recueillant des données permettant d'identifier les principaux facteurs qui influencent la réalisation ou la non-réalisation de ces objectifs. Ces derniers peuvent également mettre en lumière d'autres critères d'évaluation, notamment des facteurs tels que le manque de ressources pour atteindre les objectifs, ou l'existence de mesures qui ne sont pas suffisamment liées (c’est-à-dire pertinentes et proportionnées) à la réalisation des objectifs. Pour déterminer si une stratégie de lutte contre la fraude a permis d'atteindre les résultats escomptés, les évaluateurs peuvent s'intéresser à des aspects tels que l'augmentation des taux de détection de la fraude, l'amélioration ou la plus grande efficacité des résultats et des procédures de contrôle, ainsi que la réduction des pertes liées à la fraude.
Efficience
L'efficience évalue dans quelle mesure la stratégie de lutte contre la fraude produit, ou est susceptible de produire, des résultats de manière économique et en temps opportun (OCDE, 2021[1]). Des facteurs tels que le manque de ressources (humaines, financières, en temps) pourraient expliquer pourquoi une stratégie de lutte contre la fraude ne donne pas les résultats escomptés. Cela pourrait être le cas si les ressources financières nécessaires à la mise en œuvre de la stratégie n'ont pas été prises en compte dès le départ (viabilité financière), ou si les objectifs et les mesures ne sont pas réalistes compte tenu du calendrier de mise en œuvre ou des ressources humaines et financières disponibles.
Durabilité
La durabilité désigne la mesure dans laquelle les avantages nets de la stratégie de lutte contre la fraude se maintiennent ou sont susceptibles de se maintenir (OCDE, 2021[1]). Les évaluateurs doivent déterminer si les avantages découlant des mesures adoptées dans le cadre de la stratégie de lutte contre la fraude seront durables (c'est-à-dire s'ils s'inscrivent dans la durée). Cela implique d'examiner les aspects financiers, économiques, sociaux et environnementaux, ainsi que leurs interdépendances. Par exemple, une mesure s'inscrivant dans le cadre d'un objectif de lutte contre la fraude et visant à sensibiliser davantage les fonctionnaires à la lutte contre la fraude, qui prévoit l'organisation d'une seule session de formation de sensibilisation à la lutte contre la fraude à l'intention des fonctionnaires, peut effectivement aboutir à une prise de conscience accrue de la lutte contre la fraude chez les fonctionnaires participants. Toutefois, ces avantages (une sensibilisation accrue à la lutte contre la fraude) risquent de ne pas durer, car cette mesure ne tient pas compte de la rotation du personnel et de la rétention des connaissances. Une option plus durable consisterait à organiser régulièrement des formations de sensibilisation à la lutte contre la fraude (par exemple, une fois par an) ou à mettre en place une formation en ligne obligatoire assortie de cours de remise à niveau au bout de quelques années.
Cohérence
La cohérence tient compte de la compatibilité de la stratégie de lutte contre la fraude avec d'autres interventions menées dans un pays, un secteur ou une institution (OCDE, 2021[1]). Un aspect souvent négligé de la phase d'élaboration de la stratégie consiste à vérifier si celle-ci s'inscrit dans le droit fil des autres réformes et politiques de gouvernance dans les domaines clés concernés, afin de garantir la cohérence de la stratégie. En tenant compte des synergies, des compromis et des tensions potentielles entre les différents domaines d'action, une stratégie permet de mieux garantir que les efforts stratégiques apportent une valeur ajoutée et soient complémentaires, harmonisés et coordonnés avec les autres, tout en évitant les doubles emplois (OCDE, 2021[1]). S'il est important de reconnaître et de distinguer la fraude des autres types d'atteintes à l'intégrité afin de mettre en place des contrôles préventifs et de détection adaptés, la fraude ne se produit pas en vase clos, et les pratiques frauduleuses et corrompues vont souvent de pair. Selon la dernière enquête mondiale sur la fraude menée par l'ACFE, les fraudeurs se sont rendus coupables à la fois de fraude et de corruption dans 35 % des cas (sur un total de 1 921 cas) (ACFE, 2024[5]). Cela souligne l'importance pour les évaluateurs de prendre en compte les synergies entre une stratégie de lutte contre la fraude et toute stratégie existante en matière d'intégrité ou de lutte contre la corruption. Par exemple, pour évaluer dans quelle mesure la stratégie de lutte contre la fraude s'aligne sur les autres réformes et politiques de gouvernance dans les domaines concernés, l'évaluateur pourrait examiner les synergies entre la SNAF et les objectifs d'une stratégie anticorruption correspondante afin d'identifier les chevauchements d'efforts, la fragmentation des canaux de communication ou les lacunes en matière de sensibilisation et de données. On trouve un exemple illustrant la manière dont la cohérence stratégique est prise en compte lors de l'élaboration d'une stratégie de lutte contre la fraude dans l’Encadré 2.2.
Encadré 2.2. Assurer la cohérence de la stratégie nationale de lutte contre la fraude du Portugal pour la période 2021-2027
Copier le lien de Encadré 2.2. Assurer la cohérence de la stratégie nationale de lutte contre la fraude du Portugal pour la période 2021-2027La SNAF portugais pour la période 2023-2027, arrêté n° 7833/2023 du 31 juillet 2023, reprend les objectifs de la Stratégie nationale de lutte contre la corruption (2020-2024). La SNAF précise que les priorités et les actions fondamentales prévues dans le cadre de la SNAF devront être combinées et coordonnées avec celles définies dans la Stratégie nationale de lutte contre la corruption, en reconnaissant que ces deux documents stratégiques visent des objectifs cohérents entre eux et réalisables grâce à la mise en œuvre de mesures connexes.
Source : Adapté de (Présidence du Conseil des ministres et des Finances du Portugal, 2023[6])
Pertinence
La pertinence évalue dans quelle mesure les objectifs et la conception de l'intervention répondent aux besoins, aux politiques et aux priorités mondiaux, nationaux ou institutionnels, et continuent de le faire si les circonstances évoluent (OCDE, 2021[1]). Une stratégie de lutte contre la fraude risque de ne pas produire les résultats escomptés si ses objectifs et ses mesures ne tiennent pas compte des risques et ne s'appuient pas sur une analyse approfondie des problèmes dès la phase d'élaboration de la stratégie. Par exemple, une stratégie de lutte contre la fraude qui ne s'appuie pas sur une évaluation rigoureuse des risques de fraude risque de ne pas permettre de traiter ou d'atténuer de manière adéquate les risques de fraude actuels et émergents. De même, une stratégie de lutte contre la fraude qui n'aurait pas été élaborée de manière inclusive et transparente (par exemple, en faisant l'objet de processus obligatoires de consultation interinstitutionnelle et publique, conformément à l’IIP 3.4 de l'OCDE sur l'inclusivité et la transparence des consultations intergouvernementales et publiques) pourrait ne pas répondre suffisamment aux besoins, aux politiques et aux priorités des bénéficiaires en matière de lutte contre la fraude.
Ces considérations soulignent l'importance d'élaborer une théorie du changement (ToC) ou une chaîne de résultats solide dès la phase d'élaboration de la stratégie. La table des matières doit exposer comment les activités prévues dans le cadre de la stratégie de lutte contre la fraude permettront d'atteindre les résultats escomptés (effets) et d'apporter des changements à long terme (impacts), notamment en identifiant les hypothèses sous-jacentes quant à la manière dont chaque activité contribuera à faire évoluer la situation vers la réalisation des objectifs stratégiques de la stratégie (Georgieva-Andonovska, 2016[7]). Si les conditions préalables, telles que la volonté politique ou les ressources financières et humaines nécessaires à la mise en œuvre des actions prévues dans le cadre d'une stratégie de lutte contre la fraude, n'ont pas été prises en compte, il est probable que cette stratégie ne produise pas les résultats escomptés.
Un résumé des critères d'évaluation du CAD, comprenant les questions clés à prendre en compte lors de l'évaluation de la réalisation des résultats des stratégies de lutte contre la fraude, figure ci-dessous dans le Tableau 2.1. En outre, l'annexe A contient un modèle de questionnaire que les évaluateurs peuvent utiliser pour les évaluations de la stratégie de lutte contre la fraude (à mi-parcours ou finales), comprenant des questions clés visant à recueillir des informations sur la pertinence, la cohérence, l'efficacité, l'efficience, l'impact et la durabilité de cette stratégie.
Tableau 2.1. Application des critères d'évaluation du CAD de l'OCDE aux stratégies de lutte contre la fraude
Copier le lien de Tableau 2.1. Application des critères d'évaluation du CAD de l'OCDE aux stratégies de lutte contre la fraude|
Critère |
Définition |
Questions à prendre en considération |
|---|---|---|
|
Impact |
La mesure dans laquelle l'intervention a eu ou devrait avoir des effets significatifs, positifs ou négatifs, voulus ou non, à un niveau plus général. |
Quels effets (volontaires ou involontaires) la stratégie de lutte contre la fraude a-t-elle engendrés ? A-t-on observé des changements durables dans les systèmes et les normes liés à la lutte contre la fraude (par exemple, une baisse durable du niveau global de fraude à l'échelle du système ou de l'économie, un effet dissuasif durable sur les comportements frauduleux, une évolution de la culture de la fraude ou de la tolérance à son égard, ou encore une confiance accrue dans les institutions chargées de la lutte contre la fraude) ? |
|
Efficacité |
La mesure dans laquelle l'intervention a atteint, ou devrait atteindre, ses objectifs et ses résultats, y compris les éventuelles différences de résultats entre les groupes. |
La stratégie de lutte contre la fraude atteint-elle ses objectifs et respecte-t-elle les cibles fixées (par exemple, augmentation du nombre de fraudes détectées, amélioration des résultats en matière d'application de la loi, réduction des pertes liées à la fraude) ? Quels ont été les principaux facteurs qui ont influencé la réalisation ou la non-réalisation des objectifs de lutte contre la fraude ? |
|
Efficience |
La mesure dans laquelle l'intervention produit, ou est susceptible de produire, des résultats de manière efficace et en temps opportun. |
Dans quelle mesure les ressources disponibles (humaines, financières et en temps) ont-elles été utilisées pour atteindre les objectifs de la stratégie de lutte contre la fraude et du plan d'action correspondant ? Les objectifs ont-ils été atteints dans les délais ? Quel a été le retour sur investissement ? |
|
Durabilité |
La mesure dans laquelle les avantages nets de l'intervention persistent ou sont susceptibles de persister |
Les avantages de la stratégie de lutte contre la fraude vont-ils perdurer ou sont-ils susceptibles de perdurer ? |
|
Cohérence |
La compatibilité de l'intervention avec d'autres interventions au niveau d'un pays, d'un secteur ou d'une institution |
La stratégie de lutte contre la fraude est-elle cohérente avec les autres réformes et politiques de gouvernance dans les domaines clés concernés (par exemple, la stratégie existante en matière de lutte contre la corruption ou d'intégrité) ? Les différents objectifs de la stratégie de lutte contre la fraude ont-ils été conçus de manière à se renforcer mutuellement et à créer des synergies ? Les activités mises en œuvre ont-elles permis de contribuer à la réalisation des résultats et des objectifs ? |
|
Pertinence |
La mesure dans laquelle les objectifs et la conception de l'intervention répondent aux besoins, aux politiques et aux priorités mondiaux, nationaux ou institutionnels, et continuent de le faire si les circonstances évoluent. |
La stratégie de lutte contre la fraude constitue-t-elle une réponse adaptée au contexte ? La stratégie de lutte contre la fraude va-t-elle dans la bonne direction (c'est-à-dire dans quelle mesure les objectifs et la conception de cette stratégie répondent-ils aux besoins, aux politiques et aux priorités des bénéficiaires en matière de lutte contre la fraude, et continueront-ils à le faire si les circonstances évoluent) ? Les objectifs opérationnels et les mesures qui en découlent sont-ils liés aux objectifs stratégiques ? La stratégie de lutte contre la fraude tient-elle compte des risques identifiés lors d'une évaluation des risques de fraude ? |
Source : Adapté de (OCDE, 2021[1])
2.2.2. Calendrier des évaluations et mobilisation précoce des ressources nécessaires
Alors que le suivi est une activité périodique qui s'étend sur l'ensemble du cycle stratégique, les évaluations ont généralement lieu au début, à mi-parcours et à la fin du cycle de mise en œuvre de la stratégie, c'est-à-dire aux moments où il est le plus utile de disposer d'informations sur l'état d'avancement ou les progrès réalisés. Cela dit, le calendrier des activités d'évaluation peut également dépendre du moment où les mesures prévues dans le cadre de la stratégie de lutte contre la fraude devraient produire leurs effets. Par exemple, les évaluations ex ante sont utiles pour effectuer des comparaisons « avant-après » et pour déterminer si une stratégie est bien conçue et susceptible d'atteindre ses objectifs avant sa mise en œuvre ; les évaluations de mi-parcours se concentrent sur les performances en permettant d'identifier et d'ajuster la manière dont une stratégie est mise en œuvre ; et les évaluations finales ou ex post sont essentielles pour éclairer les processus de conception des stratégies futures (Johnsøn, 2011[8]). Comme nous l'avons vu au chapitre 1, il est essentiel de planifier les évaluations dès le début du cycle stratégique, car cela permet :
d’obtenir une base de référence fiable permettant de dégager des tendances au fil du temps à l'aide d'indicateurs
prévoir l'évaluation de mi-parcours à un moment où il sera encore possible de réorienter la stratégie si celle-ci n'atteint pas ses objectifs intermédiaires et/ou généraux
veiller à ce qu'il y ait suffisamment de fonds à la fin du projet pour mener à bien l'évaluation finale
La Commission européenne recommande de procéder à des évaluations périodiques des SNAF selon un calendrier précis, notamment une éventuelle évaluation de mi-parcours, une évaluation annuelle ou une évaluation finale (à la fin de la période de mise en œuvre des SNAF). Pour chaque évaluation, un rapport serait rédigé afin de décrire la méthodologie et les conclusions concernant les progrès accomplis dans la réalisation des objectifs opérationnels fixés, ainsi que les prochaines étapes (Commission européenne, Office européen de lutte antifraude (OLAF), 2016[2]). Dans ce contexte, il est recommandé aux responsables d'une stratégie de lutte contre la fraude d'inscrire les évaluations de mi-parcours et finales parmi les actions de leur plan d'action, et de veiller à ce que le budget alloué à la mise en œuvre de la stratégie couvre cet exercice.
Graphique 2.1. Exemple de calendrier pour l'évaluation d'une stratégie de lutte contre la fraude (cycle stratégique quinquennal)
Copier le lien de Graphique 2.1. Exemple de calendrier pour l'évaluation d'une stratégie de lutte contre la fraude (cycle stratégique quinquennal)
Source : Secrétariat de l'OCDE.
2.2.3. Méthodes d'évaluation des effets d'une stratégie de lutte contre la fraude
L'un des objectifs d'une évaluation est d'analyser les effets causaux d'une stratégie. Évaluer l'impact d'une stratégie de lutte contre la fraude est par nature difficile, compte tenu du caractère caché des activités frauduleuses. Il est toutefois essentiel d'analyser les répercussions tant financières que non financières des stratégies de lutte contre la fraude afin de promouvoir des approches fondées sur des données factuelles dans le cadre des initiatives de lutte contre la fraude. Cela contribue à son tour à consolider les bases nécessaires à l'évaluation de l'impact de la stratégie au fil du temps. Cette sous-section examine les méthodes permettant de mesurer les impacts financiers et non financiers des stratégies de lutte contre la fraude, qui peuvent contribuer à mettre en évidence la valeur des efforts déployés dans ce domaine, à hiérarchiser l'affectation des ressources et à démontrer le retour sur investissement mesurable des mesures de lutte contre la fraude.
Évaluation de l'impact financier de la fraude
Contrairement aux évaluations des risques de fraude, qui identifient comment et où la fraude peut se produire, la mesure de la fraude vise à estimer l'ampleur réelle de ce phénomène et peut servir de base à des analyses coûts-avantages. L'estimation de l'impact financier de la fraude constitue une première étape cruciale pour déterminer si les mesures de lutte contre la fraude sont rentables, car elle permet d'établir une base de référence à partir de laquelle on peut évaluer les avantages des mesures mises en œuvre dans le cadre d'une stratégie de lutte contre la fraude. Cette question est également abordée sous diverses formes dans les lignes directrices de la Commission européenne relatives aux stratégies nationales de lutte contre la fraude, notamment dans l'annexe consacrée aux risques liés au fonctionnement de l'AFCOS, qui met en évidence des défis tels que le manque de fiabilité des systèmes de notification, des flux d'informations et des statistiques (Commission européenne, Office européen de lutte antifraude (OLAF), 2016[2]).
Il existe toute une série d'approches et de méthodologies permettant d'estimer l'impact financier de la fraude. Par exemple, certaines autorités publiques évaluent l'ampleur globale de la fraude dans un domaine donné en recourant à des méthodes telles que l'échantillonnage statistique, la modélisation et l'analyse comparative, ce qui permet de mettre en évidence l'impact des initiatives de prévention de la fraude. D'autres autorités fixent des objectifs annuels en matière de réduction ou de prévention de la fraude, ce qui permet un suivi et une évaluation cohérents dans le temps. De plus, l'évaluation des résultats non financiers des initiatives et des dispositifs de lutte contre la fraude permet aux responsables de la gestion des risques d'apprécier l'efficacité des mesures actuelles et d'apporter les ajustements nécessaires. Récemment, le Government Accountability Office (GAO) des États-Unis a publié une annexe technique décrivant les méthodes d'évaluation de l'efficacité de la gestion des risques de fraude dans les programmes fédéraux, en proposant des exemples concrets pour chaque élément du cadre, y compris des recommandations sur le calcul du retour sur investissement et la mesure des économies réalisées grâce à la prévention de la fraude. (UK National Audit Office, 2025[9] ; OCDE, 2020[10] ; U.S. Government Accountability Office, 2026[11])
Le Forum international sur la fraude dans le secteur public (International Public Sector Fraud Forum, IPSFF) a élaboré un cadre définissant les principes et les processus clés pour la réalisation d’une évaluation des pertes liées à la fraude (Fraud Loss Measurement, FLM) au sein des organismes du secteur public (Encadré 2.5). Ce cadre est destiné aux services de lutte contre la fraude de l'ensemble du secteur public et vise à aider les professionnels à établir des estimations fiables concernant la fraude et les erreurs liées à des programmes, activités ou fonctions gouvernementaux spécifiques. Le FLM évalue le niveau global de fraude en analysant un échantillon statistiquement représentatif de transactions, en identifiant les cas de fraude ou d'erreur, puis en extrapolant ces résultats à l'ensemble de la population afin d'obtenir une estimation fondée sur des données factuelles du montant total des pertes (International Public Sector Fraud Forum, 2025[12]). Les informations issues de l'évaluation de la fraude peuvent servir à établir une référence quant à l'ampleur de la fraude portant atteinte aux intérêts financiers de l'UE dans les États membres. Cela peut ainsi constituer un indicateur de résultat utile pour évaluer l'efficacité des actions de lutte contre la fraude menées dans le cadre d'une stratégie antifraude. C'est également l'occasion de renforcer les capacités et les méthodes de collecte et de consolidation des données.
Lorsque la mise en œuvre d'une évaluation des pertes liées à la fraude (FLM) n'est pas envisageable en raison de contraintes de capacité, de ressources ou de données, les autorités chargées de la lutte contre la fraude pourraient envisager de mener d'autres activités afin d'établir une base de référence en matière de fraude, telles que l'examen des informations relatives à la gestion de la fraude provenant de programmes, d'activités ou de fonctions comparables (par exemple, les taux de détection historiques, la durée et le coût moyen de la fraude), collecter et analyser des données relatives au montant connu de la fraude et des erreurs, ou mener une évaluation des risques de fraude afin de déterminer le risque résiduel de fraude et d'erreur (c'est-à-dire la partie du risque inhérent qui subsiste après prise en compte des contrôles déjà en place) (International Public Sector Fraud Forum, 2026[13]).
Encadré 2.3. Cadre du Forum international sur la fraude dans le secteur public (IPSFF) pour la mesure des pertes liées à la fraude
Copier le lien de Encadré 2.3. Cadre du Forum international sur la fraude dans le secteur public (IPSFF) pour la mesure des pertes liées à la fraudeL'IPSFF a élaboré un cadre définissant les principes et les procédures clés pour la réalisation d'évaluations des pertes liées à la fraude (FLM) au sein des organismes du secteur public. Ce cadre est destiné à être utilisé par les services de lutte contre la fraude de l'ensemble des organismes du secteur public, dans le but d'aider les professionnels de la lutte contre la fraude à mener des activités d'évaluation des risques de fraude (FLM) permettant d'obtenir des estimations fiables des niveaux de fraude et d'erreur liés à un programme, une activité ou une fonction spécifique de l'administration.
Le processus de réalisation des exercices FLM se décompose en cinq étapes :
Étape 1 – Sélection de la zone
Identifier les domaines à haut risque où la fraude ou les erreurs sont les plus probables, à l'aide d'évaluations des risques de fraude et d'analyses organisationnelles
Donner la priorité aux domaines présentant un risque résiduel important et pour lesquels on dispose de données suffisantes pour détecter les fraudes
Il convient de prendre en compte des facteurs tels que le montant total des dépenses, les informations disponibles en matière de fraude et l'efficacité des contrôles actuels
Mettre l'accent sur les processus liés aux flux de dépenses ou de recettes (par exemple : subventions, marchés publics, redevances)
Utiliser des outils tels que le profilage des risques de fraude et les « cartes thermiques » pour cibler les domaines dans lesquels l’évaluation des risques de fraude (FLM) apportera la plus grande valeur ajoutée en matière d'assurance
Étape 2 – Identification des risques résiduels en vue des essais
Réaliser ou examiner une évaluation des risques de fraude (Fraud Risk Assessment, FRA) afin d'identifier les scénarios de fraude possibles et les points faibles des contrôles
Mettre l'accent sur les risques résiduels, c'est-à-dire ceux qui subsistent malgré les contrôles en place
Déterminer comment chaque risque peut être évalué, en précisant notamment quelles données ou preuves sont nécessaires
Impliquer les parties prenantes à tous les niveaux de l'organisation et adopter la « mentalité d'un fraudeur » pour identifier les failles potentielles
Évaluer la qualité, l'exhaustivité et la pertinence des données disponibles (internes et externes), puis sélectionner un nombre raisonnable de risques à tester
Étape 3 – Planification, échantillonnage et collecte des premières données
Élaborer un plan de test clair, en définissant le périmètre, la méthodologie et les processus décisionnels
Définir des catégories de dossiers (par exemple : fraude, erreur, indices de fraude, non résolus)
Sélectionnez un échantillon statistiquement valable et représentatif de la population, en utilisant des méthodes telles que l'échantillonnage aléatoire, systématique ou stratifié
Déterminer la taille appropriée de l'échantillon en fonction des niveaux de confiance, de la marge d'erreur et des contraintes en matière de ressources
Recueillir des données solides, y compris auprès de sources externes lorsque cela est possible, en s'assurant qu'elles sont fiables et suffisantes pour étayer les conclusions
Étape 4 – Réalisation des tests
Examiner systématiquement chaque cas sélectionné et lui attribuer une classification en fonction des données disponibles
Adopter une approche de contrôle par étapes, en commençant par des vérifications préliminaires pour passer ensuite à des analyses plus approfondies si nécessaire
Utiliser des éléments de preuve supplémentaires pour trancher les cas ambigus, tout en reconnaissant que certains cas pourraient rester en suspens
Garantir un processus décisionnel cohérent et bien documenté, et assurer une piste d'audit claire
Regrouper les résultats par catégories clés (irrégularité, fraude, erreur, indicateurs, cas non résolus) à des fins d'analyse
Étape 5 – Rapports et prochaines étapes
Extrapoler les résultats de l'échantillon pour estimer les niveaux de fraude et d'erreur sur l'ensemble de la population, en utilisant des intervalles de confiance
Présenter les résultats de manière transparente, en précisant notamment la méthodologie, la taille de l'échantillon, les niveaux de confiance et l'impact financier
Donner un aperçu des risques de fraude qui se concrétisent, et pas seulement des taux globaux
Utiliser les résultats pour orienter, le cas échéant, l'amélioration des contrôles, les enquêtes et le recouvrement financier
Intégrer les conclusions dans un cycle continu de gestion des risques de fraude, afin de soutenir à la fois les mesures tactiques (par exemple, les enquêtes) et les améliorations stratégiques (par exemple, le renforcement des contrôles et des mesures de prévention)
Source : Adapté de (International Public Sector Fraud Forum, 2025[12])
Approches pour établir un scénario contrefactuel
Si l'évaluation des pertes liées à la fraude permet d'établir une base de référence à partir de laquelle les mesures mises en œuvre dans le cadre d'une stratégie de lutte contre la fraude peuvent être évaluées, une telle évaluation devrait également chercher à déterminer s'il existe un lien de causalité entre une intervention spécifique relevant de cette stratégie et l'impact financier ou non financier (c'est-à-dire dans quelle mesure cet impact est-il dû à l'intervention prévue par la stratégie de lutte contre la fraude et non à d'autres facteurs ?). Une méthode permettant d'évaluer l'impact causal d'une stratégie de lutte contre la fraude consiste à établir un scénario contrefactuel, ce qui permet aux évaluateurs de comparer ce qu’il se passe lorsqu'une mesure spécifique de cette stratégie est mise en œuvre à ce qu’il se passerait en son absence. Par exemple, pour évaluer l'impact des nouvelles formations et mesures de contrôle mises en place pour lutter contre l'usurpation d'identité, les responsables pourraient comparer à la fois l'exposition financière estimée et la probabilité de survenue d'une usurpation d'identité avant et après la mise en œuvre de ces mesures. Ces réductions de risque prévues peuvent ensuite être mises en balance avec le coût de mise en œuvre du programme afin d'en évaluer la valeur globale. (U.S. Government Accountability Office, 2026[11])
Un scénario contrefactuel peut être élaboré à l'aide de diverses méthodes bien établies, certaines étant plus couramment utilisées que d'autres. D'une manière générale, ces méthodes peuvent être classées en trois catégories : les méthodes expérimentales (mise en place d'un groupe témoin ou d'un échantillon), les méthodes quasi-expérimentales et les méthodes non expérimentales (BetterEvaluation, 2025[14]). Chaque approche présente ses propres avantages et inconvénients, et il n'existe pas de solution universelle en matière d'évaluations d'impact. Une méthode couramment utilisée pour établir un scénario contrefactuel consiste à recourir à la randomisation, qui consiste à attribuer de manière aléatoire l'exposition à un élément d'une stratégie de lutte contre la fraude à des unités d'observation ou à des groupes. Cette approche permet d'identifier les effets causaux, car la répartition aléatoire confirme l'hypothèse selon laquelle la seule différence systématique entre les groupes réside dans leur exposition à l'intervention. Dans la pratique, cependant, les contrefactuels naturels sont souvent difficiles à identifier. Ainsi, des méthodes expérimentales, quasi-expérimentales et non expérimentales peuvent être utilisées pour les mettre au point à des fins d'évaluation. Par exemple, les initiatives de sensibilisation à la lutte contre la fraude peuvent être évaluées à l'aide de protocoles expérimentaux comparant des groupes de citoyens sélectionnés au hasard, l'un étant exposé à des messages ciblés (le « groupe d’intervention ») et l'autre n'y étant pas exposé (le « groupe témoin ») (Peiffer et Cheeseman, 2023[15]).
Lorsque la randomisation n'est pas possible, plusieurs méthodes statistiques quasi-expérimentales peuvent être utilisées pour s'en approcher et établir un scénario contrefactuel crédible. Il est également possible de combiner différentes méthodes, par exemple en associant des essais contrôlés randomisés et des méthodes non expérimentales afin qu'ils se complètent mutuellement. Cela dit, la mise en œuvre de ces approches nécessite une bonne compréhension de leurs hypothèses sous-jacentes et de leurs limites méthodologiques. Les comparaisons « avant-après » des indicateurs recueillis lors de l'évaluation initiale et des évaluations ultérieures peuvent également fournir des estimations pertinentes des retombées financières et non financières d'une stratégie de lutte contre la fraude (par exemple, réduction des pertes liées à la fraude, renforcement de la confiance dans les institutions publiques, sensibilisation accrue à la lutte contre la fraude). (OCDE, 2017[16])
Lorsque les données de référence ne sont pas disponibles, il est possible d'effectuer des comparaisons entre des unités d'observation non aléatoires qui présentent des caractéristiques clés similaires, mais qui sont exposées à des degrés divers aux activités relevant d'une stratégie de lutte contre la fraude (OCDE, 2017[16]). Étant donné que l'affectation à ces groupes de comparaison n'est pas aléatoire, ces analyses sont particulièrement sujettes à des biais, et toute conclusion concernant les effets causaux doit être interprétée avec prudence. Le Tableau 2.2 et l’Encadré 2.4 ci-dessous résument les principales méthodes d'évaluation d'impact et leurs limites respectives.
Tableau 2.2. Méthodes d'évaluation d'impact
Copier le lien de Tableau 2.2. Méthodes d'évaluation d'impact|
Méthode d'évaluation |
Description |
Limites |
|
|---|---|---|---|
|
Méthodes quasi-expérimentales |
Avant‑Après |
L'impact est mesuré par l'évolution des résultats des participants avant et après la mise en œuvre de la politique. |
Les facteurs autres que la politique elle-même qui auraient pu influencer les résultats des participants ne sont pas pris en compte. |
|
Différence simple |
On compare les résultats obtenus par les participants et les non‑participants après la mise en œuvre de la politique. |
Les résultats sont biaisés si les participants et les non‑participants présentent des caractéristiques susceptibles d'influencer les résultats avant la mise en œuvre, et s'ils diffèrent sur d'autres plans que celui de leur statut de participation. |
|
|
Différence dans les différences |
L'impact de la mesure est évalué en comparant l'évolution des résultats des participants avant et après sa mise en œuvre à celle des résultats des non‑participants sur la même période. |
Il y a biais lorsque le groupe témoin ne reflète pas ce qui se serait produit dans le groupe traité en l'absence d'intervention. Ce modèle suppose l'absence de différences non observables et des tendances constantes au sein des groupes au fil du temps. |
|
|
Régression linéaire multiple |
Compare les résultats des participants et des non‑participants tout en tenant compte des différences observables entre les groupes susceptibles d'influencer ces résultats (sexe, revenu, niveau d'éducation, âge, etc.). |
Des facteurs non observables, non mesurables ou dynamiques peuvent néanmoins influencer le résultat, ce qui limite la validité de l'estimation de l'impact causal. |
|
|
Appariement statistique |
On compare les participants et les non‑participants présentant des caractéristiques observables similaires. |
Des caractéristiques non observées, non mesurables et non mesurées peuvent néanmoins fausser l'estimation de l'effet. |
|
|
Modèle de régression par discontinuité |
Les participants sont classés selon un critère mesurable ; un seuil détermine leur participation. Les personnes se situant juste au-dessus du seuil de sélection sont comparées à celles qui se situent juste en dessous. |
Les résultats ne s'appliquent qu'à proximité du seuil. Certaines personnes peuvent manipuler les résultats pour se rendre éligibles ou inéligibles. |
|
|
Variables instrumentales |
Utilise une variable « instrumentale » externe qui influe sur la participation à la mesure mais n'a pas d'incidence directe sur les résultats. |
La validité dépend de la capacité à identifier un facteur déterminant qui n'influe sur les résultats que par le biais de la participation, ce qui s'avère souvent difficile dans la pratique. |
|
|
Méthode expérimentale |
Évaluation randomisée |
Les participants sont répartis de manière aléatoire dans des groupes d'intervention ou des groupes témoins ; les différences observées au niveau des résultats sont ensuite comparées. La randomisation élimine les différences systématiques entre les participants et les non‑participants. |
L'estimation causale n'est valable que si la randomisation est correctement menée. Un biais peut résulter d'effets d'entraînement ou d'attrition (abandon du programme). |
|
Méthodes non expérimentales |
Informateur clé |
On demande aux experts de prédire ce qui se passerait (prévision prospective) ou ce qui se serait passé (évaluation rétrospective) en l'absence de cette intervention. |
Cette méthode nécessite de vérifier les hypothèses sous-jacentes dans une plus large mesure que d'autres méthodes, car la collecte des données n'est pas entièrement sous le contrôle de l'évaluateur ; elle peut également nécessiter un volume de données plus important et ne pas toujours être vérifiable. |
|
Construit de manière logique |
Utiliser un scénario de référence pour estimer la situation contrefactuelle lorsqu'il est raisonnable de supposer que celle-ci serait restée inchangée sans l'intervention, par exemple le scénario de référence concernant les pertes liées à la fraude et aux erreurs passées ou actuelles, si celles-ci peuvent être estimées ou mesurées avec certitude. |
Encadré 2.4. Essais contrôlés randomisés
Copier le lien de Encadré 2.4. Essais contrôlés randomisésLes essais contrôlés randomisés (ECR) sont désormais la référence en matière d'évaluation des interventions politiques, que ce soit dans le domaine des vaccins, des programmes éducatifs ou des initiatives de développement financées par des bailleurs de fonds. Leur intérêt réside dans la capacité de la randomisation à réduire au minimum les biais de sélection et de confirmation, tandis que l'intégration d'un scénario contrefactuel permet aux évaluateurs d'isoler l'effet de l'intervention, de tenir compte des effets de maturation et d'établir des relations causales avec un haut degré de certitude.
Cependant, les essais contrôlés randomisés présentent également des limites dont les décideurs politiques doivent tenir compte lorsqu'ils évaluent leur pertinence :
Coût et exigences en matière de données : Les ECR peuvent nécessiter d'importantes ressources, en particulier lorsque les données pertinentes sont limitées ou difficiles d'accès. Dans de nombreux cas, certaines questions d'évaluation peuvent être traitées à l'aide d'autres méthodes. L'exploitation de données administratives ou publiques accessibles et de grande qualité permet de réduire les coûts des ECR et d'autres méthodes d'évaluation, tout en fournissant des informations fiables.
Faisabilité des scénarios contrefactuels : Il n'est pas toujours possible d'élaborer un scénario contrefactuel valable dans les conditions réelles. Mener un projet pilote avant de passer à une mise en œuvre à plus grande échelle peut s'avérer utile, mais cette expansion peut entraîner des difficultés supplémentaires.
Considérations éthiques : Dans certains domaines politiques, il peut s'avérer problématique, d'un point de vue éthique ou politique, de traiter différemment certains groupes, en particulier lorsque les groupes témoins sont composés de populations vulnérables qui risquent de se voir privées d'interventions potentiellement bénéfiques. Dans le cadre des stratégies de lutte contre la fraude, ces préoccupations sont généralement moins marquées, car les mesures prises ne privent pas les personnes concernées d'une aide indispensable.
Source : Élaboré par le Secrétariat de l'OCDE, sur la base des discussions qui ont eu lieu lors de l'« Atelier international sur les approches rigoureuses d'évaluation d'impact, y compris les essais contrôlés randomisés » (International Workshop on Rigorous Impact Evaluation Approaches including Randomised Controlled Trials), organisé conjointement par l'OCDE et l'Australian Centre for Evaluation le 5 février 2025 au siège de l'OCDE à Paris.
Démontrer le retour sur investissement
Le calcul du retour sur investissement (ROI) peut aider les évaluateurs à déterminer la valeur générée par une stratégie de lutte contre la fraude, ou par une mesure spécifique, pour chaque euro dépensé. À ce titre, il peut servir d'indicateur de performance utile pour orienter la hiérarchisation des ressources, faciliter l'adaptation des mesures et justifier de nouveaux investissements. Si l'analyse coûts-avantages offre un cadre complet permettant de comparer les coûts et les avantages d'une stratégie de lutte contre la fraude, le retour sur investissement (ROI) propose un indicateur simplifié qui exprime ces résultats sous forme de ratio, facilitant ainsi la communication avec les décideurs. Toutefois, le ROI ne rend généralement compte que des retombées monétaires et doit donc être interprété à la lumière d'éléments plus généraux concernant les résultats non financiers.
Pour estimer le ROI, il faut évaluer plusieurs éléments clés, notamment la valeur exposée au risque, la probabilité que ce risque se concrétise et le niveau de risque annuel qui en résulte. Il s'agit également d'évaluer dans quelle mesure un programme ou un investissement donné influe à la fois sur la probabilité du risque et sur son impact annuel, ainsi que sur les coûts de mise en œuvre associés. À partir de ces données, les responsables peuvent comparer les coûts totaux et les bénéfices attendus sur une période donnée afin de calculer le ROI (U.S. Government Accountability Office, 2026[11] ; International Public Sector Fraud Forum, 2023[19]). Vous trouverez ci-dessous, dans l’Encadré 2.5, un exemple illustrant comment calculer le retour sur investissement.
Encadré 2.5. Estimation de la valeur financière de la prévention des atteintes à l'identité
Copier le lien de Encadré 2.5. Estimation de la valeur financière de la prévention des atteintes à l'identitéExemple tiré du Cadre de tests de lutte contre la fraude de l'IPSFF
Voici un exemple illustrant comment calculer les pertes futures évitées grâce à la lutte continue contre l'usurpation d'identité sur une période de cinq ans. Afin de limiter les risques pesant sur les données d'identité des clients liés au phishing et à l'ingénierie sociale, le département propose de former le personnel chargé de la prestation de services deux fois par an et de mettre en place des tests réguliers de contrôle de la fraude, pour un coût annuel de 46 000 EUR.
|
Formule |
Exemples de calculs |
|---|---|
|
Montant en jeu Calculer ou estimer le montant en jeu |
Conséquences sur l'activité : 1 380 EUR par victime pour la restauration de l'identité (notification, délivrance de nouveaux identifiants et mise en place de mesures de protection durables) Conséquences pour les victimes : 990 EUR par victime et 34 heures par victime pour réparer les dommages |
|
Probabilité de risque Évaluer la probabilité qu'une compromission se produise avec les contrôles actuels |
Ce risque se produit actuellement une fois tous les cinq jours (73 cas d'usurpation d'identité l'année dernière) |
|
Risque annuel actuel |
Impact annuel total sur l'activité : 100 740 EUR (soit un coût annuel de 134 320 EUR pour les victimes et 2 482 heures de remédiation, ou 35 450 EUR de temps productif) Impact annuel total sur les victimes : 169 770 EUR |
|
Impact des investissements Évaluer l'impact de l'investissement |
La probabilité de risque diminue de 10 % par an sur une période de cinq ans. Déterminer l'impact de l'investissement. |
|
Valeur d'impact Calculer l'impact de l'investissement sur le risque annuel actuel |
Année 1 - Économies liées à l'impact sur les entreprises : 10 070 EUR et économies liées à l'impact sur les victimes : 16 980 EUR 2e année - 20 150 EUR et 33 950 EUR 3e année - 30 220 EUR et 50 930 EUR 4e année - 40 300 EUR et 67 910 EUR 5e année - 50 370 EUR et 84 880 EUR |
|
Coût total sur 5 ans : |
230 000 EUR |
|
Valeur d'impact sur 5 ans : |
|
|
Taux de retour sur investissement : |
1.77 |
Source : Adapté de : (International Public Sector Fraud Forum, 2023[19])
Évaluation de la logique (théorie du changement) qui sous-tend la stratégie de lutte contre la fraude
Il est essentiel de tenir compte de la théorie du changement sous-jacente lors de l'évaluation des stratégies de lutte contre la fraude afin de cerner les lacunes dans la conception de l'intervention qui auraient pu nuire à sa pertinence, notamment en déterminant si les mesures prévues dans le cadre de la stratégie de lutte contre la fraude sont adaptées à l'institution concernée, réalistes ou en adéquation avec les besoins et les défis identifiés (OCDE, 2021[1]). Les évaluateurs doivent donc vérifier si les hypothèses sous-jacentes expliquant pourquoi les objectifs et les mesures d'une stratégie de lutte contre la fraude permettront d'obtenir les résultats escomptés sont valables (par exemple : « la mise en place de campagnes de communication sur les mesures de lutte contre la fraude à l'intention des bénéficiaires de fonds de l'UE contribuera à instaurer une culture d'intégrité, renforçant ainsi la confiance dans la gestion des fonds » ou « l'intégration d'outils informatiques et l'automatisation contribueront à améliorer la détection proactive des fraudes »). Une stratégie de lutte contre la fraude qui ne s'appuie pas sur une analyse des conditions préalables nécessaires pour déclencher un changement le long de la chaîne de causalité (par exemple, les ressources nécessaires ou la volonté politique) risque de ne pas aboutir aux résultats escomptés, ce qui nécessiterait d'adapter les mesures et/ou les objectifs (Johnsøn, 2012[20]). Lorsqu'une stratégie de lutte contre la fraude ne comporte pas de théorie du changement, les évaluateurs doivent collaborer avec les autorités compétentes en matière de lutte contre la fraude afin de la reconstituer ou de la définir avant le début de l'évaluation.
Encadré 2.6. Théorie du changement de la SNAF au Monténégro (2019-2022)
Copier le lien de Encadré 2.6. Théorie du changement de la SNAF au Monténégro (2019-2022)Une évaluation ex post menée par l’Autorité nationale grecque pour la transparence de la SNAF du Monténégro pour la période 2019-2022 comprenait des questions d'évaluation portant sur la théorie du changement et la logique d'intervention de cette stratégie. L'évaluation a conclu que la conception et la mise en œuvre de la stratégie gagneraient à s'appuyer sur une théorie du changement plus claire et plus concrète, comprenant les ressources et les contributions nécessaires, les résultats escomptés, l'analyse des principales parties prenantes, les activités permettant d'atteindre ces résultats, les liens de causalité entre les résultats et les activités, les indicateurs ainsi que la justification sous-jacente. L'évaluation a souligné que l'élaboration d'une ToC claire pour la prochaine période stratégique permettrait de disposer d'un cadre précis pour évaluer les étapes clés et suivre la mise en œuvre lors du suivi et de l'exécution de la SNAF, y compris la planification des ressources nécessaires.
2.3. Gouvernance et responsabilités institutionnelles en matière d'évaluation
Copier le lien de 2.3. Gouvernance et responsabilités institutionnelles en matière d'évaluationLes évaluations doivent être bien encadrées et rigoureuses tant sur le plan technique que méthodologique. Une conception rigoureuse de l'évaluation, une collecte de données solide et des méthodes d'analyse appropriées, soutenues par des ressources suffisantes, sont indispensables pour en tirer des enseignements fiables. Parallèlement, les évaluations s'inscrivent dans un contexte politique où diverses parties prenantes peuvent chercher à influencer les résultats.
Pour mieux comprendre cela, il est utile de distinguer trois types d'utilisation :
Usage symbolique ou persuasif : Les résultats sont utilisés pour justifier ou légitimer une position préexistante, sans la modifier.
Utilisation conceptuelle : Les résultats contribuent à une meilleure compréhension ou à une évolution de la conception du sujet évalué.
Utilisation instrumentale : Les recommandations éclairent la prise de décisions et conduisent à des changements concrets dans la politique ou le programme évalué, par exemple la réaffectation de fonds à la suite de mauvais résultats (OCDE, 2020[17]).
Il convient de s'efforcer d'optimiser les chances d'une utilisation instrumentale et de veiller à ce que le processus d'évaluation soit aussi indépendant que possible, tout en reconnaissant qu'il n'est jamais totalement neutre ni exhaustif. Cela souligne l'importance de prendre en compte différents points de vue et de faire preuve de prudence lorsque l'on généralise des conclusions. (OCDE, 2020[17])
2.3.1. Évaluation externe et/ou indépendante
L'indépendance est importante pour garantir l'objectivité et renforcer la crédibilité (OCDE, 2017[16]). Il existe plusieurs modèles structurels qui pourraient être mis en place pour garantir l'indépendance. Par exemple, les gouvernements peuvent confier la réalisation d'évaluations à des tiers, tels que des organisations non gouvernementales (ONG). Selon le contexte et le domaine d'action, il peut s'agir de petites ONG locales issues de la société civile ou d'unités spécialisées au sein d'organisations internationales, qui peuvent être amenées à examiner les stratégies relatives à leur domaine d'expertise. Dans d'autres cas, une unité d'évaluation fait partie d'une agence ou d'un ministère. Il arrive également que l'évaluation relève de la responsabilité d'un organisme distinct. Il convient d'examiner au cas par cas les avantages et les inconvénients de chaque option, car les systèmes qui reposent uniquement sur des évaluations indépendantes (c'est-à-dire externes à l'unité) rendent difficile la mise à profit de l'expertise interne, ce qui peut compliquer la compréhension du contexte. Il est également possible que le recours à une entité externe, telle qu'une ONG, entraîne des coûts supplémentaires.
2.3.2. L'institutionnalisation des évaluations
La gouvernance des évaluations des politiques publiques repose sur deux éléments clés : le cadre juridique sous-jacent et la répartition des fonctions et des responsabilités en matière d'évaluation entre les différentes institutions gouvernementales. (OCDE, 2020[17]) En ce qui concerne le cadre juridique, il existe différentes dispositions qui imposent le recours à des évaluations indépendantes pour éclairer les politiques futures. Par exemple, l'enquête de l'OCDE de 2018 sur l'évaluation des politiques a révélé que 29 des 42 pays avaient établi un cadre juridique pour l'évaluation des politiques (OCDE, 2020[3]). Cela peut prendre plusieurs formes, notamment des dispositions constitutionnelles visant à évaluer l'efficacité de tout ou partie des politiques publiques (par exemple en Colombie, au Costa Rica, en France et en Suisse) ; une législation primaire régissant spécifiquement l'évaluation des politiques, comme au Japon ou en Corée du Sud ; ou encore une législation dérivée ou des actes exécutifs définissant des cadres politiques plus détaillés, comme en Argentine, au Brésil, au Kazakhstan, en Norvège, en Roumanie et en République slovaque. Outre le fait de rendre obligatoires les évaluations des politiques, les cadres juridiques attribuent souvent des responsabilités institutionnelles en matière d'évaluation et fixent des normes visant à promouvoir l'utilisation efficace et la qualité des évaluations. Ces normes portent généralement à la fois sur les aspects méthodologiques et ceux liés à la gouvernance, notamment la conduite éthique, la participation des parties prenantes, la communication des résultats et l'utilisation de ces derniers dans l'élaboration des politiques. Selon l'enquête de l'OCDE de 2018 sur l'évaluation des politiques, 31 pays avaient mis en place de telles lignes directrices pour soutenir la mise en œuvre de l'évaluation des politiques à l'échelle de l'administration (OCDE, 2020[3]).
Les pays ont également recours à divers mécanismes pour garantir la qualité des évaluations publiques, en tenant compte à la fois des normes techniques et des principes de bonne gouvernance. Il s'agit notamment des dispositions prévues dans les cadres juridiques ou stratégiques ; des lignes directrices interministérielles relatives à l'évaluation des politiques ; des critères de compétence applicables aux évaluateurs ; des examens par les pairs internes ou externes ; et des méta-évaluations systématiques. Lorsqu'ils existent, les instruments nationaux visant à normaliser les bonnes pratiques constituent des ressources précieuses. On peut citer, à titre d'exemple, les manuels « Magenta », « Green » et « Aqua » destinés à guider les évaluateurs au Royaume-Uni ; les instructions prévues par la loi-cadre sud-coréenne sur l'évaluation de la performance publique ; ainsi que les normes de collecte de données définies dans des documents officiels en France et en Norvège (OCDE, 2020[17]). En ce qui concerne les bonnes pratiques issues de comparaisons entre pays, les recommandations élaborées par des organisations internationales telles que la Commission européenne, l'INTOSAI et l'OCDE, notamment le Guide de mise en œuvre de la recommandation sur l'évaluation des politiques publiques récemment publié, peuvent également fournir des informations utiles (OCDE, 2025[22]).
Les pratiques relatives aux responsabilités institutionnelles en matière d'évaluation des politiques varient d'un pays à l'autre. Néanmoins, la grande majorité des pays interrogés ont indiqué disposer d'au moins une institution chargée des évaluations à l'échelle de l'administration publique. Les établissements les plus fréquemment désignés, par ordre de fréquence, sont les suivants :
le pouvoir exécutif (présidence, cabinet du Premier ministre ou équivalent)
le ministère des Finances ou son équivalent
le ministère de la Réforme du secteur public ou son équivalent, ou un organisme autonome
le ministère de la Planification et du Développement ou son équivalent
Responsabilités institutionnelles en matière d'évaluation des stratégies de lutte contre la fraude
En s'appuyant sur les principes généraux de la gouvernance de l'évaluation et des responsabilités institutionnelles, il importe de préciser quels acteurs devraient être chargés d'évaluer les stratégies de lutte contre la fraude. La fonction chargée de coordonner la mise en œuvre et le suivi de la stratégie de lutte contre la fraude, telle que l'AFCOS dans les États membres de l'UE, serait particulièrement bien placée pour coordonner les évaluations de cette stratégie, compte tenu de sa vue d'ensemble complète des activités de lutte contre la fraude, de son accès aux données pertinentes et de ses relations avec les principales parties prenantes au sein des institutions gouvernementales.
En outre, les pays pourraient envisager de confier à un organisme central la responsabilité générale de coordonner et de superviser le processus d'évaluation. Un organisme central pourrait veiller à ce que les informations pertinentes concernant l'état d'avancement global de la mise en œuvre de la stratégie soient regroupées et analysées conjointement afin de dresser un tableau complet et cohérent qui facilite la prise de décisions et la communication, et qui incite à l'amélioration grâce à l'analyse comparative. Les résultats de cette évaluation pourraient être examinés au sein de l'AFCOS afin de décider s'il convient de réviser la stratégie de lutte contre la fraude et, le cas échéant, de quelle manière, avant d'être approuvés par les organes exécutifs suprêmes, tels que le Conseil des ministres. Cela dit, et comme indiqué précédemment, les évaluations stratégiques, ou certaines étapes du processus, peuvent également être externalisées. Le choix entre une évaluation interne et une évaluation confiée à un prestataire externe dépend de l'objectif de l'évaluation et des ressources disponibles ; en résumé, les évaluations internes peuvent favoriser une plus grande réflexion organisationnelle et permettre de tirer davantage d'enseignements, tandis qu'une évaluation confiée à un prestataire externe peut garantir une analyse plus objective grâce à des évaluateurs externes et indépendants (OCDE, 2020[23]).
Encadré 2.7. Exemples de pays où un organisme central est chargé de la mise en œuvre, du suivi, de l'évaluation et de l'établissement de rapports concernant les stratégies de lutte contre la fraude et la corruption
Copier le lien de Encadré 2.7. Exemples de pays où un organisme central est chargé de la mise en œuvre, du suivi, de l'évaluation et de l'établissement de rapports concernant les stratégies de lutte contre la fraude et la corruptionPortugal
Dans la stratégie nationale de lutte contre la fraude du Portugal pour la période 2023-2027, conformément au décret-loi n° 5/2023 du 25 janvier, il est prévu qu’il incombe à l’Autorité d’audit de l’IGF de coordonner le traitement des informations relatives aux signalements d’irrégularités et d’exercer les autres compétences découlant de sa désignation en tant qu’AFCOS portugais, notamment en dirigeant la préparation, la coordination et la mise en œuvre de la stratégie nationale de lutte contre la fraude, dans le cadre des fonds européens.
Roumanie
La stratégie nationale roumaine de lutte contre la fraude pour la période 2023-2027 désigne le Département de lutte contre la fraude (DLAF) comme service de coordination de la lutte contre la fraude dans le cadre de cette stratégie. Dans le cadre de cette mission, le DLAF a pour obligation d'élaborer, de coordonner et de mettre en œuvre la stratégie.
Lettonie
Dans le cadre du plan d'action pour la prévention et la lutte contre la corruption en Lettonie pour la période 2023-2025, le Bureau de prévention et de lutte contre la corruption (KNAB) est chargé de la mise en œuvre globale du plan d'action anticorruption, ainsi que de la coordination et du suivi de la mise en œuvre des mesures prévues dans ce plan. Les organismes chargés de la mise en œuvre transmettent au KNAB des informations sur l'avancement et les résultats de la mise en œuvre des tâches, tandis que le KNAB présente chaque année une évaluation de la mise en œuvre du plan d'action.
Bulgarie
Dans le cadre de la stratégie nationale de lutte contre la fraude (SNAF) de la Bulgarie pour la période 2021-2027, la Direction de l’AFCOS mène des activités de contrôle, d'information et de coordination liées à la protection des intérêts financiers de l'UE et fait office de service de coordination de la lutte contre la fraude pour la SNAF. Si la Direction de l'AFCOS coordonne la mise en œuvre de la SNAF, elle a confié l'évaluation de mi-parcours à l'OCDE par l'intermédiaire de l'Instrument d'appui technique de la Commission européenne. L'équipe de l'OCDE a travaillé en étroite collaboration avec les autorités bulgares chargées de la lutte contre la fraude afin de recueillir des données quantitatives et qualitatives permettant d'évaluer les performances de la SNAF au regard des critères d'évaluation du CAD. L'évaluation de mi-parcours a donné lieu à un rapport présentant ses conclusions ainsi qu'à un rapport contenant des recommandations pour l'élaboration d'une version actualisée de la SNAF.
Références
[5] ACFE (2024), Occupational Fraud 2024: A Report to the Nations, Association of Certified Fraud Examiners, https://www.acfe.com/-/media/files/acfe/pdfs/rttn/2024/2024-report-to-the-nations.pdf (consulté le 13 octobre 2025).
[14] BetterEvaluation (2025), Compare results to the counterfactual, https://www.betterevaluation.org/frameworks-guides/rainbow-framework/understand-causes/compare-results-counterfactual (consulté le 20 avril 2026).
[4] BetterEvaluation (2025), Rainbow Framework, https://www.betterevaluation.org/frameworks-guides/rainbow-framework (consulté le 16 avril 2026).
[2] Commission européenne, Office européen de lutte antifraude (OLAF) (2016), Guidelines on National Anti-Fraud Strategies, Commission européenne, https://sfc.ec.europa.eu/sites/default/files/EN-ORI-General%20Guidelines%20on%20National%20Anti-Fraud%20Strategies%20ARES(2016)6943965.pdf (consulté le 15 novembre 2024).
[26] Conseil des ministres (2020), National Strategy for Preventing and Combating Irregularities and Fraud Affecting the Financial Interests of the European Union over the period 2021-2027.
[25] Corruption Prevention and Combating Bureau of Latvia (2023), The Corruption Prevention and Combating Action Plan 2023-2025, https://www.knab.gov.lv/en/media/3900/download?attachment (consulté le 3 juillet 2025).
[7] Georgieva-Andonovska, E. (2016), Monitoring and Evaluation of Anticorruption Action Plans, World Bank, https://documents1.worldbank.org/curated/en/129401593200074880/pdf/Monitoring-and-Evaluation-M-E-of-Anti-Corruption-Action-Plans.pdf (consulté le 22 mars 2026).
[24] Gouvernement de la Roumanie (2023), « National Strategy of December 14, 2023 anti-fraud measures for the protection of the European Union’s financial interests in Romania, 2023-2027 », Official Gazette no. 1.114 bis of December 13, 2023, https://legislatie.just.ro/Public/DetaliiDocumentAfis/277523 (consulté le 2 juillet 2025).
[21] Gouvernement du Monténégro (2024), Evaluation Report - NAFS 2019-2022, https://www.gov.me/en/documents/ea9e1c1f-b917-431f-9a15-3b0fe11e1836.
[13] International Public Sector Fraud Forum (2026), Forthcoming Fraud Prevention Savings Framework.
[12] International Public Sector Fraud Forum (2025), Fraud Loss Measurement Framework, https://www.gov.uk/government/publications/international-public-sector-fraud-forum-guidance/fraud-loss-measurement-framework-html (consulté le 16 octobre 2025).
[19] International Public Sector Fraud Forum (2023), Fraud Control Testing Framework (FCTF-01), https://www.counterfraud.gov.au/sites/default/files/2023-11/IPSFF-Fraud-Control-Testing-Framework-FCTF-01.PDF (consulté le 21 mars 2026).
[20] Johnsøn, J. (2012), « Theories of change in anti-corruption work: A tool for programme design and evaluation », U4 Anti-Corruption Resource Centre, Chr. Michelsen Institute.
[8] Johnsøn, J. (2011), « How to Monitor and Evaluate Anti-Corruption Agencies: Guidelines for Agencies, Donors, and Evaluators », U4 Anti-corruption Resource Centre 8, https://www.u4.no/publications/how-to-monitor-and-evaluate-anti-corruption-agencies-guidelines-for-agencies-donors-and-evaluators-2.pdf (consulté le 22 mars 2026).
[22] OCDE (2025), Implementation Toolkit for the OECD Recommendation on Public Policy Evaluation, OECD Public Governance Reviews, Éditions OCDE, Paris, https://doi.org/10.1787/77faa4fe-en.
[1] OCDE (2021), Applying Evaluation Criteria Thoughtfully, Éditions OCDE, Paris, https://doi.org/10.1787/543e84ed-en.
[10] OCDE (2020), Countering Fraud in Social Benefit Programmes: Taking Stock of Current Measures and Future Directions, Éditions OCDE, Paris, https://doi.org/10.1787/71df2657-en.
[3] OCDE (2020), How Can Governments Leverage Policy Evaluation to Improve Evidence Informed Policy Making?, OCDE, Paris, https://www.google.com/url?sa=t&rct=j&q=&esrc=s&source=web&cd=&ved=2ahUKEwi5ttvc4KGVAxUnV6QEHYaBKTMQFnoECA0QAQ&url=https%3A%2F%2Flegalinstruments.oecd.org%2Fapi%2Fdownload%2F%3Furi%3D%2Fprivate%2Ftemp%2F7ecfe9af-5b05-4992-9a10-ebdc45a944a8.pdf%26name%3Dpo (consulté le 12 mars 2026).
[17] OCDE (2020), Improving Governance with Policy Evaluation: Lessons From Country Experiences, OECD Public Governance Reviews, Éditions OCDE, Paris, https://doi.org/10.1787/89b1577d-en.
[23] OCDE (2020), Manuel de l’OCDE sur l’intégrité publique, Éditions OCDE, Paris, https://doi.org/10.1787/84581cb5-fr.
[16] OCDE (2017), Monitoring and Evaluating Integrity Policies, Working Party of Senior Public Integrity Officials GOV/PGC/INT(2017) Vol. 4, Paris.
[18] Partnership for Economic Inclusion (2022), PEI Impact Evaluation Workshop – Moving Economic Inclusion to Scale, La banque mondiale, https://thedocs.worldbank.org/en/doc/51cd983ef9c3e14ad79e75729c9cb8e6-0050022022/original/5-Ag-Ignite-Session-Premand.pdf.
[15] Peiffer, C. et N. Cheeseman (2023), « Message misunderstood: Why raising awareness of corruption can backfire », U4 Brief, U4 Anti-Corruption Resource Centre, Chr. Michelsen Institute.
[6] Présidence du Conseil des ministres et des Finances du Portugal (2023), National Anti-Fraud Strategy under European Funds 2023-2027, https://portugal2030.pt/wp-content/uploads/sites/3/2023/07/despacho7833_2023.pdf (consulté le 2 juillet 2025).
[11] U.S. Government Accountability Office (2026), Combating Fraud: Approaches to Evaluate Effectiveness and Demonstrate Integrity, https://www.gao.gov/assets/gao-26-107609.pdf (consulté le 21 janvier 2026).
[9] UK National Audit Office (2025), Estimating and reporting fraud and error in annual reports and accounts, https://www.nao.org.uk/wp-content/uploads/2025/02/estimating-and-reporting-fraud-and-error.pdf (consulté le 17 octobre 2025).