Scan de la communication publique en France

Annexe A. Matrice des indicateurs de performance et d’impact

Cette annexe comprend une proposition de modèle pour une matrice d’indicateurs de performance et d’impact pour les communicants du Gouvernement français. Ce modèle comprend un cadre (voir Graphique A A.1) adapté du cadre analytique de l’OCDE présenté dans le Graphique A A.1 et inspiré des principaux cadres d’évaluation examinés pour la présente étude. Il est ensuite adapté pour refléter les macro-objectifs de la fonction de communication et les indicateurs de performance agrégés suivis par le SIG.

Les tableaux ci-dessous traduisent ce cadre en matrices d’indicateurs indicatifs. Ils comprennent respectivement : les macro-objectifs de communication et les indicateurs agrégés correspondants (Tableau A A.1) ; les indicateurs des résultats agrégés et de l’impact d’une activité ou d’une campagne de communication spécifique (Tableau A A.2) ; et les indicateurs permettant d’évaluer les performances des différents leviers de communication déployés (Tableau A A.3). Chacun de ces tableaux peut être utilisé à différents stades de la planification et de l’évaluation pour aider à tirer des enseignements d’une activité ou pour comprendre le fonctionnement d’éléments spécifiques de l’activité à un moment donné.

Graphique A A.1. Cadre de conception et d’évaluation de la communication publique adapté aux institutions publiques françaises

Note : ce diagramme accompagne les matrices d’indicateurs de cette annexe et sert de guide pour leur utilisation par les DICOM.

Source : travail de l’auteur, basé sur les macro-objectifs de communication et les indicateurs prioritaires utilisés par le SIG.

Tableau A A.1. Matrice des indicateurs de performance de la communication, niveau 1 : mesure de l’effet agrégé de la communication sur l’information du public et compréhension de l’action publique

Le niveau 1 de la matrice des indicateurs de performance en matière de communication reprend les trois objectifs principaux de la fonction à tous les niveaux de Gouvernement et les principaux indicateurs qui sont suivis dans le temps pour évaluer leur réalisation. Le SIG utilise ces objectifs et indicateurs pour évaluer l’impact global de la communication publique, via des enquêtes longitudinales.

Objectifs de la macro communication	Indicateurs agrégés de performance
Attribution : les citoyens attribuent à l’État les politiques, les avantages et les résultats de l’action publique.	Sensibilisation, visibilité d’une politique publique Méthode : enquêtes longitudinales
Compréhension : les citoyens comprennent bien les actions entreprises par le Gouvernement	Perception de l’utilité d’une politique publique Méthode : enquêtes longitudinales
Rétention : les citoyens se souviennent des priorités politiques et des mesures prises par le Gouvernement.	Perception de la pertinence d’une politique publique pour soi ou sa famille Méthode : enquêtes longitudinales
	Perception de l’efficacité de la politique publique Méthode : enquêtes longitudinales

Source : travail de l’auteur, basé sur les macro-objectifs de communication et les indicateurs prioritaires utilisés par le SIG.

Tableau A A.2. Matrice des indicateurs de performance de la communication, niveau 2 : mesure de la performance agrégée de la campagne par rapport aux objectifs

Le niveau 2 de la matrice des indicateurs de performance de la communication rassemble une gamme complète, mais non exhaustive, d’indicateurs mesurables pour comprendre si les objectifs généraux d’une activité de communication sont atteints. Ils concernent 1) les actions entreprises par les publics, 2) les changements dans la prise de conscience et l’opinion (résultats) induits par la communication, et 3) la manière dont ces actions et ces perceptions contribuent à un changement positif vers les objectifs des politiques publiques. Les plus importants de ces indicateurs devraient être mesurés au départ, à mi-parcours et à la fin de l’activité (en notant que l’impact sera dans de nombreux cas observés avec un certain retard par rapport au calendrier des activités)

Objectif Objectif général de la communication	Indicateurs de résultats Résultats agrégés de toutes les activités de la campagne liées à des changements dans la sensibilisation, les comportements et les actions du public.	Indicateurs d’impact Contribution partielle ou totale de toutes les activités de la campagne aux objectifs des politiques publiques ou organisationnels
Changement (comportement)	Intention de réagir au message Méthode : enquête auprès du public*	Adhésion au message : comportement observé (p. ex. participation aux élections, rendez-vous pour la prévention/le dépistage en matière de santé, déclaration d’impôts avant la date limite, augmentation du tourisme, etc.) Méthode : enregistrements de bases de données
	Raisons de l’intention (ou de l’absence d’intention) de réagir au message Méthode : enquête auprès du public, groupe de discussion*	Adhésion au message : indicateur de comportement (p. ex. niveaux de consommation d’énergie des ménages, fonds/investissements mobilisés…) Méthode : enregistrements de bases de données
	Téléchargements de dossiers d’information, de formulaires, de boîtes à outils, etc. (comme indicateur de l’intention d’agir) Méthode : analyse du site Web
	Demandes de renseignements sur le programme/service (comme indicateur de l’intention d’agir) Méthode : enregistrements de bases de données	Retour sur investissement (rapport entre le coût de la campagne et l’estimation de la valeur monétaire créée) Méthode : calcul
	Inscriptions, candidatures, demandes soumises pour un programme/service Méthode : enregistrements de bases de données	Volume de l’inscription au programme / de l’utilisation des services (par exemple, inscription sur les listes électorales, rendez-vous de vaccination, prestations demandées…) Méthode : enregistrements de bases de données
	Pertinence des inscriptions et des demandes soumises (par exemple, de la part de groupes éligibles ou de groupes cibles) Méthode : enregistrements de bases de données
Changement (perception)	Changement dans l’opinion publique (niveau de préoccupation, niveau d’accord/désaccord avec le message) Méthode : sondage, enquête auprès du public*	Soutien/acceptation par le public d’une politique publique ou d’une initiative publique Méthode : enquête auprès du public, sondage*
	Changement de l’opinion publique (nature et profondeur des préoccupations, raison et profondeur de l’accord avec le message) Méthode : enquête auprès du public, groupes de discussion, entretiens*.
	Association par le public des politiques publiques avec les problèmes de société Méthode : enquête auprès du public*
	Ton du contenu généré par le public Méthode : analyse des sentiments
Recrutement	Formulaires de demande téléchargés/créés Méthode : analyse du site Web	Nombre de personnes recrutées avec succès Méthode : enregistrements de bases de données
	Formulaires de candidature soumis / part des candidatures soumises par profil de public cible Méthode : enregistrements de bases de données
	Changement de sentiment à l’égard de la profession Méthode : enquête auprès du public*	Retour sur investissement (rapport entre le coût de la campagne et le nombre de personnes recrutées avec succès) Méthode : calcul
	Manifestation d’intérêt Méthode : enquête auprès du public*
Sensibilisation	Campagne spontanée / sensibilisation à un problème Méthode : enquête auprès du public*	Attribution du message au Gouvernement/à l’entité publique Méthode : enquête auprès du public*
	Rappel prévu de la campagne Méthode : enquête auprès du public*	Satisfaction du public vis-à-vis de l’information gouvernementale Méthode : enquête auprès du public, sondage*
	Rappel d’un message spontané Méthode : enquête auprès du public*	Le public relaie le message aux autres (bouche-à-oreille) Méthode : enquête auprès du public*
	Le public exprime avoir appris de nouvelles informations Méthode : enquête auprès du public*

Note : les cellules grisées signifient que l’indicateur est qualitatif. Toutes les autres cellules font référence à des indicateurs quantitatifs. Les cellules marquées d’un astérisque « * » signifient que l’indicateur se réfère à des activités de communication payées. Toutes les autres cellules sont pertinentes pour les activités organiques, peu coûteuses et payantes.

Source : Travail personnel de l’auteur, s’appuyant sur la revue de la littérature et des cadres cités au chapitre 2.

Tableau A A.3. Matrice des indicateurs de performance de la communication, niveau 3 : mesure de la performance des différents leviers de communication

Le niveau 3 de la matrice des indicateurs de performance de la communication fournit une gamme complète, mais non exhaustive, d’indicateurs mesurables pour comprendre comment chaque élément d’une activité de communication permet d’atteindre les publics cibles et de susciter intérêt et engagement à l’égard du message. Il est préférable de mesurer ces indicateurs aux premiers stades de l’activité et à certains moments définis afin de vérifier si la stratégie fonctionne ou si certains éléments doivent être revus. Chaque indicateur peut être comparé à des points de référence issus d’activités antérieures comparables. Les listes d’activités contiennent implicitement des indicateurs liés aux contributions, qui comprennent le budget de l’activité, le temps du personnel, la recherche formative et les données probantes, la stratégie de communication et les concepts et ressources créatifs.

Levier de comm.	Activité Les contenus produits et les activités réalisées	Indicateur lié aux produits Déploiement du contenu sur les canaux d’information	Indicateur lié aux effets Réactions et changements dans le public résultant de l’exposition au contenu
Annonces	Placement publicitaire	Estimation de la portée de l’annonce par canal (hors ligne) Méthode : agence média	Rappel prévu de la campagne Méthode : enquête auprès du public
			Attitude du public envers le contenu de la campagne (positive/négative) Méthode : enquête auprès du public
		Impressions sur l’annonce par canal (en ligne) Méthode : agence média	Attitude du public envers le contenu de la campagne (sentiment, profondeur) Méthode : enquête/groupe de discussion/entretiens
			Compréhension du contenu de la campagne Méthode : enquête auprès du public
			Coût par clic / engagement / vues Méthode : calcul
		Fréquence d’exposition Méthode : agence média	Taux de clics vers le site Web Méthode : Liens UTM et analyse du site Web
			Perception de la pertinence de la campagne pour soi et pour les autres Méthode : enquête auprès du public
Relations avec les médias	Nombre de communiqués de presse publiés	Nombre d’articles de presse mentionnant des éléments du communiqué de presse Méthode : surveillance des médias	Amplification par les réseaux sociaux de la couverture médiatique par le public Méthode : écoute sociale
		Nombre de diffusions mentionnant des éléments du communiqué de presse Méthode : surveillance des médias	Taux de clics vers le site Web Méthode : Liens UTM et analyse du site Web
	Nombre d’entretiens avec les médias et de déclarations des porte-parole	Nombre d’entretiens publiés/diffusés Méthode : surveillance des médias
		Ton des mentions dans les médias Méthode : analyse des sentiments	Volume de requêtes sur les moteurs de recherche en rapport avec le thème de la campagne Méthode : analyse des moteurs de recherche
	Nombre de journalistes contactés	Estimation du public total (total du public rapporté par les médias hors ligne, radiodiffusés et en ligne) Méthode : surveillance des médias
Web	Nombre de pages créées	Nombre de pages vues Méthode : analyse du site Web	Temps à explorer (temps moyen passé sur la page) ou profondeur de défilement Méthode : analyse du site Web
		Durée moyenne de la session Méthode : analyse du site Web	Nombre de pages visitées sur le site Méthode : analyse du site Web
			Conversions (téléchargements, inscriptions, formulaires complétés, etc.) Méthode : analyse du site Web
		Taux de rebond Méthode : analyse du site Web	Utilité générale du site Web Méthode : enquête sur le site Web
			Commentaires du public sur le site Web Méthode : enquête sur le site Web
Médias sociaux / Numérique	Nombre de messages postés sur les canaux de réseaux sociaux appartenant à un tiers	Nombre d’impressions par message Méthode : analyse des réseaux sociaux	Nombre d’engagements passifs et actifs (partages, mentions « J’aime », commentaires, réponses, citations) Méthode : analyse des réseaux sociaux
			Taux d’engagement (engagements/impressions) Méthode : analyse des réseaux sociaux
			Trafic spécifique au canal vers le site Web Méthode : Liens UTM et analyse du site Web
	Nombre de vidéos créées	Nombre de vidéos vues Méthode : analyse de la plateforme	Ton des commentaires Méthode : analyse des sentiments
			Augmentation du nombre de followers et d’abonnés Méthode : analyse des réseaux sociaux
			Durée de visionnage des vidéos Méthode : analyse de la plateforme
	Nombre de courriels et de lettres d’information créés	Nombre de destinataires du courriel/de la newsletter Méthode : analyse de la plateforme	Taux d’ouverture Méthode : analyse de la plateforme
			Taux de clics Méthode : analyse de la plateforme
Partenariats	Nombre de partenariats conclus	Estimation de la portée auprès du public sur les canaux détenus/rémunérés par les partenaires Méthode : rapports des partenaires, écoute sociale	Engagement du public spécifique à chaque canal vis-à-vis des contenus des partenaires (voir les indicateurs liés aux effets pour chaque levier de communication dans ce tableau) Méthode : rapports des partenaires, écoute sociale
	Qualité des partenaires (pertinence par rapport à l’objectif, portée auprès du public cible)
	Volume de contenu produit par les partenaires
Événements	Nombre d’événements organisés (physiques ou en ligne)	Nombre de participants (physiques ou en ligne) Méthode : enregistrements de bases de données	Taux de satisfaction des participants Méthode : enquête auprès des participants
			Engagement actif/interactions pendant l’événement (par exemple, questions, participation à des sondages) Méthode : observation
		Part des primo-visionnants et des autres Méthode : enquête ou enregistrements dans la base de données	Durée moyenne de la participation (en ligne) Méthode : enregistrements de bases de données
			Part des participants ayant déclaré qu’ils partageraient l’événement, en parleraient positivement ou le recommanderaient Méthode : enquête auprès des participants
			Rétroaction reçue pendant ou après l’événement Méthode : enquête auprès des participants
		Qualité des participants (pertinence par rapport à l’objectif de communication) Méthode : enregistrements de bases de données	Amplification de l’événement sur les médias et les réseaux sociaux par les participants et les parties prenantes Méthode : surveillance, écoute sociale
			Actions des participants résultant de l’événement (adhésion aux programmes, investissements réalisés, engagements pris, accords signés…) Méthode : enregistrements dans la base de données, observation
Image de marque	Développement et application de la Marque de l’État et/ou des éléments de l’image de marque de la campagne	Proportion des ressources de communication conformes à la marque Méthode : suivi de l’agrément interne du SIG	Reconnaissance de la marque par le public Méthode : enquête auprès du public
	Enregistrement des marques et protection des noms de domaine		Attribution du message à une entité publique Méthode : enquête auprès du public

Note : les cellules grisées signifient que l’indicateur est qualitatif. Toutes les autres cellules font référence à des indicateurs quantitatifs.

Source : Travail personnel de l’auteur, s’appuyant sur la revue de la littérature et des cadres cités au chapitre 2.