Données insuffisantes ou biaisées dans les systèmes d’IA
Dépendance excessive à l’égard de l’IA
Manque de transparence et d’explicabilité
Résistance : le public n’a pas une compréhension suffisante de l’utilisation que l’administration fait de l’IA
Utilisation abusive ou discutable de l’IA, soulevant des préoccupations en matière de surveillance et de protection de la vie privée
Aggravation de l’exclusion sociale et des fractures numériques
Des systèmes d’IA qui s’appuient sur des données insuffisantes ou biaisées pourraient entraîner des inexactitudes ou des conséquences négatives pour certains individus ou groupes. En ce qui concerne la participation civique et le gouvernement ouvert, cela pourrait se manifester par une prise en compte inexacte ou imprécise des contributions citoyennes dans les processus participatifs fondés sur l’IA.
De plus, les processus délibératifs visent non seulement à tirer parti de l’intelligence collective et à rendre possible le dialogue social sur des questions stratégiques spécifiques, mais aussi à approfondir les connaissances des personnes participantes ainsi que leur compréhension mutuelle et leur empathie (OCDE, 2021[175]). Une dépendance excessive à l’égard de l’IA pour améliorer l’efficacité des processus délibératifs pourrait occulter d’autres aspects fondamentaux de la délibération.
Le manque de transparence et d’explicabilité de l’IA, en particulier dans les systèmes complexes, peut éroder la confiance dans les outils d’IA et, par voie de conséquence, quand ces outils sont utilisés dans des espaces démocratiques, affecter la confiance dans le processus participatif et ses résultats. Pour résoudre ce problème, certaines administrations ont mis en place des registres d’algorithmes qui publient des informations détaillées et techniques sur les algorithmes, telles que leur finalité, leur conception, les données d’entrée utilisées, les processus de prise de décision et les biais possibles (pour de plus amples informations et des exemples, voir la section du chapitre 4 intitulée « Établir des garde-fous pour favoriser une IA stratégique et responsable »).
De plus, on en sait encore peu sur l’idée que les individus se font de l’IA dans les processus participatifs et sur l’influence que cette perception peut avoir sur leurs contributions et leur volonté de participer. Des expériences sont actuellement menées pour évaluer la réaction des personnes participantes à l’introduction d’outils d’IA destinés à servir d’intermédiaires dans le cadre de processus participatifs et délibératifs (Hadfi et al., 2021[176] ; Kim et al., 2021[177]). Il convient d’encadrer avec soin le recours aux outils d’IA pour l’aide à la formulation d’avis et de contributions, afin d’éviter que ces outils, en mettant trop l’accent sur l’efficience et l’accord, ne compromettent la créativité, tant de la langue que de la réflexion, des personnes participantes.
Dans certains pays, les administrations utilisent les technologies numériques à mauvais escient pour surveiller la population et l’opposition en ligne, voire pour les réduire au silence, ce qui met en péril l’espace civique (OCDE, 2022[152]). L’utilisation de systèmes d’IA à des fins de surveillance, de censure de contenus et de formes inappropriées de police prédictive menace le libre exercice des libertés civiles telles que le droit de réunion pacifique et la liberté d’expression. Ce type d’utilisation impropre risque d’amener la population à développer une méfiance générale vis-à-vis de l’adoption et du déploiement de systèmes d’IA dans les fonctions de l’administration et les services publics. L’OCDE (2022[152]) a constaté que la plupart des stratégies nationales relatives à l’IA omettent de traiter la question de l’impact de l’IA sur l’aptitude à exercer librement ses droits, même si environ la moitié proposent des mécanismes concrets de surveillance et de recours (OCDE, 2022[152]).
Enfin, beaucoup de langues sont insuffisamment représentées dans les systèmes d’IA, qui sont principalement entraînés en anglais, en espagnol et en mandarin (Peixoto, Canuto et Jordan, 2024[178]) (pour un examen détaillé de cette question, voir la section du chapitre 1 sur l’exacerbation des fractures numériques). Dans le contexte de la participation citoyenne, cela signifie que les contributions soumises dans d’autres langues pourraient ne pas être traitées et valorisées de la même manière, ce qui serait la cause de nouveaux déséquilibres démocratiques (Romberg et Escher, 2024[179]). Par exemple, pour résorber la fracture linguistique et préserver leur langue nationale, les pouvoirs publics de l’Islande se sont associés avec OpenAI pour entraîner le grand modèle de langage GPT-4 en islandais (Gouvernement de l’Islande, 2023[180]). De même, en 2023, l’Université de Turku (Finlande) s’est associée à l’entreprise SiloAI pour créer la suite de systèmes Poro, une famille de GML open source multilingues au service de toutes les langues officielles européennes (University of Turku, 2023[181]). Des efforts analogues sont mobilisés pour d’autres langues, notamment les langues autochtones ou en danger (OCDE, 2023[182]).