Présentation des indicateurs de l’OCDE sur les capacités de l’IA

1. Aperçu des capacités actuelles de l’IA

Description

Ce chapitre propose une vue d’ensemble des performances de l’IA au regard de chacun des indicateurs de l’OCDE sur les capacités de l’IA. La première partie présente le tableau comparatif et fournit les renseignements nécessaires pour le comprendre. Le tableau indique le niveau auquel se trouve l’IA dans chaque domaine et contient une description des types de capacités que possédaient les systèmes d’IA qui constituaient l’état de la technique en novembre 2024. Sous le tableau, on trouvera une brève description des raisons qui ont motivé le groupe d’experts de l’OCDE à classer les systèmes d’IA à un niveau donné, ainsi que des capacités qui permettraient aux systèmes d’IA de progresser vers le niveau supérieur de l’échelle.

Tableau comparatif des capacités actuelles de l’IA

Le tableau ci-dessous (voir le Tableau 1.1) présente un aperçu des capacités actuelles des systèmes d’IA les plus avancés. Le niveau auquel les systèmes d’IA sont actuellement classés dans chaque domaine est indiqué à côté d’une description du type de capacités que possèdent les systèmes d’IA classés à ce niveau. Sous le tableau, on trouvera une brève description des raisons qui ont motivé le groupe d’experts de l’OCDE à classer les systèmes d’IA à un niveau donné, ainsi que des capacités qui permettraient aux systèmes d’IA de progresser vers le niveau supérieur de l’échelle.

L’OCDE a élaboré des indicateurs sur les capacités de l’IA qui consistent en des échelles à cinq niveaux permettant de donner une idée précise de la progression passée et future des capacités de l’IA. Le niveau 1 correspond à des aspects des capacités des systèmes d’IA actuels résolus depuis longtemps et tout à fait banals. Les systèmes de niveau 5 sont capables de reproduire tous les aspects des compétences humaines correspondantes. Les trois niveaux intermédiaires témoignent de l’évolution de différents aspects des performances de l’IA vers une équivalence totale avec celles des humains. L’OCDE a élaboré ces échelles à cinq niveaux pour faire connaître la progression des capacités de l’IA d’une manière qui soit compréhensible pour les personnes qui n’appartiennent pas à ce domaine. Ces échelles visent à couvrir tous les types de systèmes d’IA. Les évaluations actuelles couvrent les systèmes d’IA symboliques, les systèmes neurosymboliques, les grands modèles de langage, les agents sociaux et les systèmes de robotique qui correspondent à l’état de la technique dans différents domaines.

L’approche adoptée par l’OCDE pour élaborer ces échelles est décrite au chapitre 2 et détaillée dans le rapport technique (OCDE, 2025[1]) publié en parallèle de la présente publication. Les évaluations des systèmes d’IA ont été finalisées en novembre 2024 et témoignent donc de l’état de la technique à cette période.

Pour être classé à un niveau donné, un système d’IA doit être à même de maîtriser de manière cohérente et fiable la plupart des aspects de la capacité décrite à ce niveau. Par exemple, les grands modèles de langage ont été placés par nos experts à la limite entre le niveau 2 et le niveau 3 de l’échelle du langage. Les grands modèles de langage sont dotés de nombre des aspects des capacités en rapport avec le langage décrits au niveau 3 mais pâtissent de leur incapacité de formuler un raisonnement analytique cohérent, de leur tendance à halluciner des informations erronées et de leur incapacité à apprendre de manière dynamique. Néanmoins, étant donné qu’ils sont dotés de la plupart des autres aspects des capacités de langage correspondant au niveau 3, ils sont classés à ce niveau.

L’un des principaux défauts des systèmes d’IA actuels, le problème persistant des hallucinations des grands modèles de langage, apparaît de diverses manières dans les différentes échelles, à la fois directement et indirectement. L’échelle Connaissance, apprentissage et mémoire indique que le problème des hallucinations sera fixé au niveau 5, l’échelle Langage indique également que la capacité de raisonnement critique apparaîtra au niveau 5, et l’échelle Métacognition et raisonnement critique indique que l’évaluation critique des connaissances apparaîtra au niveau 3. Ces différences entre les échelles mettent en évidence les points de vue divergents en matière d’anticipation de la difficulté de résoudre ce problème, et il est possible que cette caractéristique des échelles soit harmonisée dans les versions ultérieures. Cependant, l’une des fonctions essentielles de ces échelles est de rappeler au public que le problème des hallucinations ne constitue qu’une difficulté parmi de nombreuses autres et qu’il existe un certain nombre de problèmes à résoudre pour que l’IA atteigne le niveau de performance des humains.

Le lecteur notera que la totalité des systèmes d’IA a été classée aux niveaux 2 et 3 de l’échelle par nos experts, ceci étant une conséquence indirecte de l’approche que nous avons adoptée pour élaborer les premières échelles. L’objectif de ces échelles est de communiquer les principales évolutions concernant chaque capacité, et ce, des progrès passés à un avenir hypothétique dans lequel l’IA sera en mesure de reproduire toutes les compétences humaines liées à la capacité en question. Dans chaque échelle, les descripteurs de niveau décrivent les principales étapes de développement dans le domaine, celles qui ont déjà été franchies se situant aux niveaux inférieurs et celles qui restent à franchir aux niveaux supérieurs. Afin de disposer d’un champ suffisant pour décrire les principaux défis à surveiller dans les années à venir, les auteurs de l’échelle ont en règle générale consacré les niveaux 4 et 5 à la description des aspects des capacités que l’IA a encore du mal à exécuter de manière cohérente et fiable.

Il est possible que ces appréciations sur l’état de la technique en 2024 ou sur la répartition des capacités sur les cinq échelles ne soient pas celles de nombre de chercheurs dans le domaine. L’OCDE encourage les chercheurs en IA à prendre contact avec l’Organisation afin de faciliter notre processus de mise à jour et de mieux adapter les échelles aux évolutions les plus récentes dans le domaine.

Les descriptions des niveaux présentées dans ce chapitre sont abrégées ; les versions complètes des descriptions de chaque niveau et de l’échelle auquel il se rapporte figurent au Chapitre 3.

Tableau 1.1. Aperçu des niveaux de capacité actuels de l’IA

Domaine	Niveau (de 1 à 5)	Description de la capacité1
Langage	3	Les systèmes d’IA de ce niveau comprennent et génèrent de manière fiable des contenus sémantiques à l’aide de connaissances issues de plusieurs corpus. Ils font preuve d’une capacité de raisonnement logique et social avancée et peuvent traiter du texte, de la parole et des images. Ils prennent en charge un large éventail de langues et s’adaptent grâce à des techniques d’apprentissage itératif.
Interaction sociale	2	Les systèmes d’IA combinent des mouvements simples pour exprimer des émotions et tirent des enseignements de leurs interactions dans la perspective des interactions suivantes. Ils mémorisent les événements passés et s’adaptent quelque peu en se fondant sur leur expérience, reconnaissent des signaux de base et en détectent les émotions grâce au ton employé et au contexte. Ils perçoivent également les différences entre les individus et mettent à profit leurs expériences passées pour résoudre des problèmes récurrents.
Résolution de problèmes	2	Les systèmes d’IA associent un raisonnement qualitatif, comme sur les relations spatiales ou temporelles, à une analyse quantitative pour résoudre des problèmes professionnels complexes reposant sur des abstractions de domaines conventionnels. Ils traitent différents états et transitions qualitatifs et prédisent la manière dont les systèmes pourraient évoluer ou changer au fil du temps.
Créativité	3	Les systèmes d’IA génèrent des produits utiles qui diffèrent considérablement des données qui ont servi à leur apprentissage et qui repoussent les limites traditionnelles. Ils étendent leurs capacités à des tâches nouvelles et incorporent des idées à travers différents domaines.
Métacognition et raisonnement critique	2	Les systèmes d’IA évaluent leur propre compréhension et adaptent leur approche en conséquence. Ils travaillent avec des informations qui leur sont familières et qui peuvent contenir des ambiguïtés, ce qui exige qu’ils fassent preuve d’une confiance mesurée et formulent des suppositions en connaissance de cause. Ils peuvent traiter des informations partiellement incomplètes en faisant la distinction entre ce qu’ils savent et ce qu’ils ne savent pas.
Connaissance, apprentissage et mémoire	3	Les systèmes d’IA apprennent le sens des informations grâce aux représentations distribuées et s’adaptent aux situations nouvelles. Ils peuvent traiter des ensembles de données volumineux permettant une compréhension spécifique au contexte, mais ne sont pas en mesure d’apprendre en temps réel.
Vision	3	Les systèmes d’IA sont en mesure de traiter un certain nombre de variations dans l’apparence et l’éclairage de l’objet cible, d’effectuer plusieurs tâches secondaires et de faire face à des variations connues en termes de données et de situations.
Manipulation	2	Les systèmes d’IA manipulent divers objets de différentes formes et matériaux modérément flexibles, dans des environnements contrôlés faiblement ou modérément encombrés. Ils contournent de petits obstacles dans des espaces ouverts, s’accommodent d’objets placés au hasard dans un espace défini et effectuent des tâches sans contraintes de temps.
Intelligence robotique	2	Les systèmes robotiques fonctionnent dans des environnements partiellement connus, essentiellement statiques et semi-structurés, dont la variabilité est bien définie. Ils exécutent des tâches simples et multifonctionnelles à court terme qui, quoique bien définies, comportent une part d’incertitude intrinsèque. Ils peuvent interagir de manière limitée avec les êtres humains, par exemple en utilisant des interfaces minimales, et réagir à des situations inattendues survenant dans le cadre de tâches qui leur sont familières. Ils traitent peu ou pas de questions éthiques.

Commentaires sur les évaluations actuelles

Langage

Comme décrit ci-dessus, les grands modèles de langage les plus avancés du moment, comme GPT4o (OpenAI, 2024a[2]), utilisé par ChatGPT, sont classés au seuil inférieur du niveau 3. Les grands modèles de langage se distinguent par leur capacité à accéder à la connaissance mondiale, à travailler dans plusieurs langues et à apprendre de manière itérative grâce à des ajustements et à un post-traitement. Les grands modèles de langage peinent à mener un raisonnement solide en raison de leur incapacité de se lancer dans un raisonnement analytique bien formé et de leur tendance à halluciner des informations incorrectes, ce qui constitue toujours un obstacle à leur progression.

Interaction sociale

GPT4o et les grands modèles de langage équivalents sont classés au niveau 2 sur l’échelle de l’interaction sociale, en raison de leurs solides compétences en matière de mémoire sociale. Néanmoins, ils ne sont pas incarnés, n’ont pas de sens de l’identité et leurs capacités en matière de perception sociale sont limitées. Les robots sociaux comme le AIBO de Sony sont également classés au niveau 2 mais disposent d’un ensemble de capacités différent. Ces systèmes sont incarnés et disposent de capacités de perception sociale et d’une identité élémentaires, mais leurs compétences en matière de résolution de problèmes sont beaucoup plus rudimentaires que celles des grands modèles de langage.

Résolution de problèmes

Les systèmes d’IA symboliques font preuve de capacités surhumaines dans des domaines étroits, tels que la planification logistique et la vérification de modèles, et sont donc classés au niveau 2. Si les grands modèles de langage remplissent certains des critères de niveau 3, comme la capacité de résoudre des problèmes décrits en langage naturel, les hallucinations les rendent trop peu robustes. Les experts de l’OCDE ont estimé que c’était encore le cas pour les premiers modèles dotés de la capacité de « raisonner », comme la version préliminaire de GPTo1 (OpenAI, 2024b[3]), qui a été lancée à la fin de l’année 2024. La version complète des indicateurs de l’OCDE sur les capacités de l’IA permettra de déterminer si cela reste vrai pour les modèles dotés de la capacité de « raisonner » plus avancés comme GPTo3 et DeepSeek R1 V3.

Créativité

Les systèmes d’IA actuels sont capables de générer des produits utiles aux humains, relativement innovants et parfois surprenants. Le système AlphaZero de Google constitue un exemple d’IA de niveau 3 (Silver et al., 2017[4]) ; il a été en mesure de produire des stratégies efficaces et étonnantes de résolution de problèmes à l’aide d’une architecture neurosymbolique. Le fait que les grands modèles de langage s’appuient sur une architecture probabiliste et des données d’apprentissage (c’est-à-dire des contenus préalablement générés par des humains) signifie qu’ils ne sont pas en mesure de générer des résultats sensiblement distincts des connaissances humaines existantes. Néanmoins, leurs produits sont souvent utiles et parfois novateurs, ce qui fait des grands modèles de langage des systèmes de niveau 2 typiques.

Métacognition

Les grands modèles de langage les plus avancés se classent en règle générale au niveau 2 de l’échelle de Métacognition et de raisonnement critique. Ils sont capables d’évaluer leur propre compréhension et d’adapter leur approche au problème posé, mais ont du mal à intégrer des informations qui leur sont moins familières ou à évaluer leurs propres connaissances, deux conditions requises pour qu’un système soit classé au niveau 3. Au moment de l’évaluation, les systèmes d’IA agentiques étaient en règle générale classés au niveau 2, ce qui témoigne des limites persistantes des capacités de l’IA de s’autoévaluer et de moduler son raisonnement de manière flexible. Les systèmes d’IA agentiques lancés en 2025 seront examinés dans la prochaine édition des indicateurs de l’OCDE sur les capacités de l’IA.

Connaissance, apprentissage et mémoire

Les grands modèles de langage et les formes connexes d’intelligence artificielle générative constituent l’état de la technique dans ce domaine. Leur capacité de s’adapter à partir des connaissances qu’ils ont mémorisées leur permet d’être classés au niveau 3. Bien que des progrès aient été réalisés en matière de systèmes d’IA agentiques, aucun d’entre eux n’a fait preuve des capacités requises pour être classé au niveau 4, comme l’apprentissage progressif par l’interaction avec le monde ou la conscience métacognitive de ses lacunes en matière de connaissances.

Vision

Les systèmes de vision artificielle constituant l’état de la technique se classent au niveau 3. Nos experts ont recensé un petit nombre de systèmes possédant des capacités limitées de niveau 4, mais aucun de ces systèmes n’affiche de performances suffisamment fiables en la matière pour être classé à ce niveau. Les systèmes de niveau 3 traitent de manière fiable un éventail limité de types de données et peuvent faire face à des variations modestes de l’éclairage, de la forme et de l’apparence des objets cibles. Contrairement aux systèmes de niveau 4, les systèmes de vision artificielle actuels ne sont pas en mesure d’améliorer leurs performances en se fondant sur l’auto-rétroaction ni de faire face à de grandes variations en termes d’éclairage et d’objets cibles.

Manipulation

Les systèmes de manipulation sont actuellement classés au niveau 2. Un bras robotique utilisé dans des environnements de fabrication hautement contrôlés constitue un système typique correspondant à l’état de la technique. En revanche, les systèmes de manipulation de niveau 3 peuvent évoluer dans des environnements modérément encombrés et dynamiques avec des objets dont la forme, la taille et le poids sont variables. Bien que les systèmes de manipulation soient encore loin d’avoir atteint des niveaux de performance équivalents à ceux des humains, dès lors que les objets et les environnements peuvent être standardisés, comme dans les usines, les emplois humains et la demande de compétences continueront d’être touchés.

Intelligence robotique

Les systèmes de robotique les plus avancés sont les robots de livraison autonomes et les systèmes d’automatisation industriels, que nos experts ont classés au niveau 2. Ces systèmes fonctionnent bien dans des environnements structurés où les tâches sont prédéfinies. Les systèmes de robotique sont actuellement incapables d’effectuer des tâches comportant plusieurs étapes ou de collaborer de manière fiable avec les humains, conditions requises pour atteindre le niveau 3.

Références

[6] DeepSeek-AI (2025), DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning, arXiv, https://doi.org/10.48550/arXiv.2501.12948.

[1] OCDE (2025), AI and the Future of Skills Volume 3: The OECD AI Capability Indicators, Éditions OCDE.

[5] OpenAI (2025), OpenAI o3 and o4-mini System Card, OpenAI, https://openai.com/index/o3-o4-mini-system-card.

[2] OpenAI (2024a), « GPT-4o System Card, OpenAI », arXiv, vol. 2410.21276, https://arxiv.org/abs/2410.21276.

[3] OpenAI (2024b), « OpenAI o1 System Card, OpenAI », arXiv, vol. 2412.16720, https://arxiv.org/abs/2412.16720.

[4] Silver, D. et al. (2017), « Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm », arXiv, https://arxiv.org/abs/1712.01815.

Note

← 1.  Les descriptions qui figurent dans le tableau de comparaisons sont des versions abrégées des descriptions pertinentes de chaque niveau et de l’échelle auquel il se rapporte figurant au Chapitre 3.