Datos inadecuados o sesgados en los sistemas de IA.
Dependencia excesiva de la IA.
Falta de transparencia y explicabilidad.
Resistencia: falta de comprensión pública sobre el uso de la IA por parte del gobierno.
Uso indebido o cuestionable de la IA, que genera problemas de vigilancia y privacidad.
Exacerbación de la exclusión social y las brechas digitales.
Si los sistemas de IA se basan en datos inadecuados o sesgados, podrían producirse resultados inexactos o adversos para algunas personas o grupos. En lo que respecta a la participación cívica y el gobierno abierto, esto podría dar lugar a una consideración inexacta o imprecisa de la aportación de la ciudadanía a los procesos de participación habilitados por la IA.
Además, los procesos deliberativos no solo pretenden aprovechar la inteligencia colectiva y permitir el diálogo social sobre cuestiones políticas específicas, sino también mejorar el conocimiento de los participantes, así como su comprensión mutua y empatía (OECD, 2021[175]). Una dependencia excesiva de las herramientas de IA para mejorar la eficiencia de los procesos deliberativos podría pasar por alto otros aspectos fundamentales de la deliberación.
La falta de transparencia y explicabilidad de la IA, especialmente en sistemas complejos, puede reducir la confianza en las herramientas de IA y, cuando se utilizan en espacios democráticos, puede, a su vez, afectar a la confianza en el proceso participativo y sus resultados. Para hacer frente a este desafío, algunos gobiernos han puesto en marcha registros de algoritmos que divulgan información detallada y técnica sobre los algoritmos, como su finalidad, diseño, entradas de datos, procesos de toma de decisiones y posibles sesgos, entre otros (para más detalles y ejemplos, véase el Capítulo 4, sección "Establecimiento de barreras para orientar la IA estratégica y responsable").
Además, todavía hay muchas incógnitas sobre las percepciones de los usuarios con respecto a la IA en los procesos participativos y la influencia que puede tener en sus contribuciones y su disposición a participar. Se están realizando experimentos para evaluar la reacción de los participantes a la introducción de herramientas de IA como intermediarios en procesos participativos y deliberativos (Hadfi et al., 2021[176]; Kim et al., 2021[177]). El uso de herramientas de IA para ayudar a los participantes a formular sus insumos y aportes debe manejarse con cautela para evitar que comprometan la creatividad en el lenguaje y la reflexión de los participantes, centrándose más bien en la eficiencia y el acuerdo.
Algunos gobiernos han utilizado indebidamente las tecnologías digitales para la vigilancia o incluso para silenciar a la población y a la oposición digital, dañando así el espacio cívico (OECD, 2022[152]). El uso de sistemas de IA con fines de vigilancia, la censura de contenidos y las formas inadecuadas de actuación policial predictiva amenazan el libre ejercicio de las libertades civiles, como el derecho de reunión pacífica y la libertad de expresión. Estos usos inadecuados corren el riesgo de generar desconfianza general entre la ciudadanía con respecto a la adopción y el despliegue de sistemas de IA en las funciones gubernamentales y los servicios públicos. La OCDE (2022[152]) constató que la mayoría de las estrategias nacionales de IA no abordan el impacto de la IA en la capacidad de ejercer libremente sus derechos, aunque alrededor de la mitad propone mecanismos concretos de supervisión y reparación (OECD, 2022[152]).
Por último, muchos idiomas no están suficientemente representados en los sistemas de IA, que se forman principalmente en inglés, español y mandarín (Peixoto, Canuto and Jordan, 2024[178]) (véase el Capítulo 1, sección "Exacerbación de las brechas digitales", para un análisis detallado de la cuestión). En el contexto de la participación ciudadana, esto significa que los insumos presentados en otros idiomas podrían no procesarse y valorarse de la misma manera, creando nuevos desequilibrios democráticos (Romberg and Escher, 2024[179]). Por ejemplo, para abordar la brecha lingüística y preservar el idioma islandés, el Gobierno de Islandia se asoció con OpenAI para formar al LLM GPT-4 en islandés (Government of Iceland, 2023[180]). Del mismo modo, la Universidad de Turku (Finlandia) se asoció en 2023 con la empresa SiloAI para construir el conjunto de sistemas Poro, una familia de LLM multilingües de código abierto para todos los idiomas oficiales europeos (University of Turku, 2023[181]). Iniciativas similares existen en China para otros idiomas, incluidos los indígenas y los amenazados (OECD, 2023[182]).