AI Act : quelles obligations pour les fournisseurs de systèmes d’IA à haut risque ?

Ce qu’il faut retenir

Le Règlement européen sur l’intelligence artificielle (ou “AI Act”), adopté le 13 juin 2024, marque une avancée déterminante dans l’encadrement des technologies d’IA dans l’UE. Les fournisseurs de systèmes d’IA sont soumis à des obligations particulières en matière de conformité, de gouvernance, de sécurité et de transparence concernant le développement et la mise sur le marché de systèmes d’IA. Ce premier article est une synthèse sur les obligations concernant les fournisseurs de systèmes d’IA à haut risque.


Le Règlement européen sur l’intelligence artificielle (ou “AI Act”), adopté le 13 juin 2024, marque une avancée déterminante dans l’encadrement des technologies d’IA dans l’UE. (1) Le règlement vise à concilier innovation technologique, protection des droits fondamentaux et sécurité juridique pour les acteurs économiques.

Le règlement repose sur une approche graduée fondée sur les risques, depuis les systèmes d’IA interdits, puis les systèmes d’IA à haut risque, les systèmes à risque limité, et les systèmes à risque minimal. Quant aux systèmes d’intelligence artificielle à usage général (ou “GPAI”), ils relèvent d’une catégorie à part. (Pour une présentation de l’AI Act, voir notre précédent article : Adoption de l’AI Act : une première étape vers un encadrement juridique de l’IA)

Les fournisseurs de systèmes d’IA sont soumis à des obligations particulières en matière de conformité, de gouvernance, de sécurité et de transparence concernant le développement et la mise sur le marché de systèmes d’IA (SIA). En conséquence, ils doivent d’ores et déjà se préparer à la mise en conformité de leurs opérations. Certaines obligations s’appliquent à tous les fournisseurs de SIA, quelque soit le niveau de risque du système, d’autres obligations sont spécifiques aux fournisseurs de SIA à haut risque et aux fournisseurs de GPAI.

Ce premier article est une synthèse sur les obligations concernant les fournisseurs de systèmes d’IA à haut risque. Nous consacrerons un deuxième article relatif aux obligations des fournisseurs de systèmes d’IA à usage général.


1. Les obligations applicables à tous les fournisseurs de systèmes d’IA

Le fournisseur d’IA est défini comme “une personne physique ou morale, une autorité publique, une agence ou tout autre organisme, qui développe ou fait développer un système d’IA ou un modèle d’IA à usage général, et le met sur le marché ou met le système d’IA en service sous son propre nom ou sa propre marque, à titre onéreux ou gratuit.” (art. 3 AI Act).

Indépendamment du niveau de risque du système, tous les fournisseurs sont tenus de respecter un socle commun d’exigences, articulé autour de trois piliers principaux : la formation, la transparence et le respect des interdictions absolues.

    1.1 Former les acteurs impliqués dans l’IA

Les fournisseurs doivent garantir un niveau suffisant de maîtrise de l’IA pour les personnes impliquées dans la conception, le déploiement et l’exploitation des systèmes. Cette exigence est proportionnée au contexte d’utilisation, aux publics visés et aux compétences techniques des équipes concernées (art. 4).

Il est donc recommandé aux fournisseurs de formaliser un plan de formation incluant notamment des modules sur les usages, les droits fondamentaux, les risques et les limites des systèmes d’IA.

    1.2 Assurer la transparence dans les interactions homme-machine

Tout utilisateur doit être informé qu’il est en contact avec un système d’IA, sauf si cela est évident pour une personne normalement informée et raisonnablement avisée (art. 50.1). Cette obligation d’information ne s’applique pas aux systèmes d’IA autorisés par la loi pour la prévention et la détection d’infractions pénales ou d’enquêtes.

Lorsque les systèmes génèrent des contenus de synthèse (texte, audio, image, vidéo), ces contenus doivent être marqués de façon lisible par machine et identifiables comme ayant été créés ou manipulés par une IA. (art. 50.2).

Il convient donc de développer une politique d’étiquetage et une documentation utilisateur claire, en particulier pour les systèmes embarqués dans des produits interactifs (chatbots, IA générative, etc.).

    1.3 Respecter les interdictions posées par l’AI Act

L’article 5 du règlement dresse une liste de pratiques interdites en matière d’IA, quel que soit le niveau de risque du système concerné. Parmi les interdictions de mise sur le marché, mise en service ou utilisation, on relève :
     - l’usage de techniques subliminales pour altérer le comportement ;
     - l’exploitation de vulnérabilités psychologiques liées à l’âge (enfants, personnes âgées), au handicap ou à la situation sociale ou économique des personnes ;
     - les systèmes de notation sociale ;
     - la catégorisation biométrique sur la base de caractéristiques sensibles ;
     - le profilage pour évaluer ou prédire le risque pour une personne physique de commettre une infraction pénale ;
     - l’identification biométrique dans l’espace public à des fins répressives (hors exceptions).

Il est recommandé de procéder à des audits de conformité en amont du développement de tout nouveau système d’IA pour exclure les usages prohibés par le règlement.


2. Les obligations des fournisseurs de systèmes d’IA à haut risque

Un système d’IA est considéré à haut risque lorsque les deux conditions suivantes sont réunies : i) le SIA est destiné à être utilisé comme composant de sécurité d’un produit couvert par la règlementation européenne (la liste des textes applicables figure à l’annexe I du règlement), ou le SIA constitue lui-même un tel produit, et ii) ce système ou produit est soumis à une évaluation de conformité par un tiers en vue de sa mise sur le marché ou de sa mise en service. (art. 6 et annexe III)

Les systèmes d’IA à haut risque visés à l’annexe III du règlement relèvent de domaines tels que la biométrie (dans la mesure où leur utilisation est autorisée), les infrastructures critiques (ex. les OIV), l’éducation et la formation professionnelle (ex. évaluation des apprentissages), l’emploi (ex. recrutement et sélection de candidatures), l’administration de la justice, etc.

Le règlement impose à ces systèmes des conditions strictes de mise sur le marché ou de mise en service, ainsi qu’un suivi post-commercialisation rigoureux.

Nous reprenons ci-après les principales obligations incombant aux fournisseurs de systèmes d’IA à haut risque.

    2.1 Un système de gestion des risques tout au long du cycle de vie

Le fournisseur doit établir, mettre en oeuvre, documenter et maintenir à jour un système de gestion des risques (art. 9). La procédure de gestion des risques est un processus itératif continu, réalisé au long du cycle de vie du système d’IA. Il est régulièrement mis à jour. La gestion des risques couvre les étapes suivantes :

     - l’identification et l’évaluation des risques raisonnablement prévisibles pour la santé, la sécurité ou les droits fondamentaux, lorsque le SIA est  utilisé conformément à sa destination ;
     - l’évaluation des risques en cas de mauvaise utilisation du SIA, sous réserve d’être raisonnablement prévisible ;
     - l’évaluation des risques susceptibles d’apparaître, sur la base de l’analyse des données recueillies après la commercialisation du SIA ;
     - la mise en place des mesures appropriées et ciblées de gestion des risques.

Il est donc recommandé d’établir une procédure itérative de gestion des risques pour chaque nouveau système d’IA à haut risque, impliquant les équipes techniques, juridiques et métiers, et ce dès la phase de conception du système.

    2.2 Qualité et gouvernance des données utilisées

Les fournisseurs sont responsables de la qualité des jeux de données utilisés pour l’entraînement, la validation et le test des systèmes d’IA (art. 10). Les jeux de données doivent répondre à des critères de bonne pratique, portant notamment sur :

     - des choix de conception pertinents ;
     - la traçabilité des sources des données. Concernant les données à caractère personnel, la finalité initiale de la collecte doit être déterminée ;
     - des opérations de traitement pertinentes pour la préparation des données (annotation, étiquetage, nettoyage, mise à jour des données, etc.);
     - la détection de biais éventuels pouvant porter atteinte à la santé, à la sécurité ou aux droits fondamentaux des personnes, ou créer des discriminations, et la prévention ou l’atténuation de ces biais.

Il est recommandé de développer un plan assurance qualité spécifique pour assurer une gouvernance des jeux de données conforme et limiter les risques de collecte illicites ainsi que les risques de discrimination algorithmique.

    2.3 Documentation technique et notice d’utilisation

Avant toute mise sur le marché ou mise en service, le fournisseur doit constituer une documentation technique complète (art. 11).

La documentation technique démontre que le système d’IA est conforme aux exigences réglementaires et comporte les informations nécessaires permettant aux autorités nationales et autres organismes d’en évaluer la conformité.

La documentation technique comprend a minima les informations énoncées à l’annexe IV du règlement, et notamment :

    - une description générale du système d’IA à haut risque : destination, nom du fournisseur, version du système, manière dont le SIA interagit avec du matériel informatique ou des logiciels, le matériel informatique sur lequel le SIA est mis sur le marché ou mis en service ;
    - une notice d’utilisation à destination des déployeurs (art. 13) ;
    - une description détaillée des éléments du système d’IA et de son processus de développement (spécifications techniques, logique générale du SIA et des algorithmes, principaux choix de conception, description de son architecture, procédures de validation et d’essais utilisées, mesures de cybersécurité prises).

Les PME et les start-ups peuvent fournir une version simplifiée de cette documentation technique.

    2.4 Traçabilité et contrôle humain

Les systèmes d’IA à haut risque doivent intégrer une fonctionnalité d’enregistrement automatique des événements. Cette procédure de journalisation doit être activée tout au long de la durée de vie du système et doit pouvoir tracer notamment tout problème de fonctionnement du SIA. Les informations devant figurer dans le journal des événements sont décrites à l’article 12 du règlement. Sauf disposition contraire, les journaux sont conservés pendant une durée minimum de six mois. (art. 19)

Les systèmes d’IA à haut risque doivent intégrer une fonctionnalité, notamment via une interface homme-machine appropriée, permettant leur contrôle effectif par des personnes physiques pendant leur période d’utilisation. (art. 14) L’objectif du contrôle humain est de prévenir ou réduire au minimum les risques pour la santé, la sécurité ou les droits fondamentaux.

Les déployeurs doivent être correctement formés au fonctionnement de cette fonctionnalité.

Une procédure de contrôle humain spécifique est applicable aux système d’IA à haut risque utilisés dans les infrastructures critiques.

    2.5 Exactitude, robustesse et sécurité du système

L’un des objectifs de l’AI Act est de développer et garantir la confiance des utilisateurs dans l’utilisation de l’intelligence artificielle. A cette fin, le fournisseur doit assurer que le système d’IA à haut risque fonctionne selon “un degré approprié” d’exactitude, de robustesse, de sécurité et de manière constante tout au long de son cycle de vie. (art. 15)

    - Exactitude : les niveaux et indicateurs d’exactitude sont indiqués dans la notice du SIA.

    - Robustesse : les systèmes d’IA à haut risque font preuve de résilience en cas d’erreurs, de défaillances ou d’incohérences. Des solutions techniques redondantes (plans de sauvegarde, mesures de sécurité après défaillance) devraient être déployées pour améliorer la robustesse des systèmes d’IA à haut risque.

    - Sécurité : les systèmes d’IA à haut risque doivent intégrer des solutions techniques visant à garantir leur cybersécurité. Ces mesures doivent permettre de prévenir, détecter, contrer, résoudre et maîtriser les attaques visant notamment à manipuler le jeu de données d’entraînement, la confidentialité ou les défauts du modèle.

Il est recommandé de développer un protocole de supervision humaine adapté au type de système d’IA à haut risque, avec un périmètre clair d'intervention en cas de défaillance ou d’usage abusif du SIA.


3. Le suivi de la conformité des SIA à haut risque

La conformité des systèmes d’IA à haut risque et sa confirmation par un marquage CE sont l’un des moyens d’instaurer la confiance des utilisateurs dans cette technologie et d’assurer le respect d’un certain niveau d’éthique par le fournisseur.

    3.1 Évaluation de la conformité et marquage CE

Les fournisseurs doivent soumettre les systèmes d’IA à haut risque à une procédure d’évaluation de la conformité avant leur mise sur le marché ou leur mise en service. (art. 43)

La conformité du SIA est évaluée sur la base des exigences énoncées aux articles 8 à 15 du règlement, à savoir : gestion des risques, suivi de la qualité et de la gouvernance des données, traçabilité, etc.

La procédure d’évaluation de la conformité diffère selon le type de système d’IA à haut risque concerné. La conformité est soit évaluée par contrôle interne en appliquant la procédure d’évaluation définie à l’annexe VI du règlement, soit par le biais d’un organisme certifié en application de la procédure définie à l’annexe VII.

En cas de problème de conformité d’un système d’IA à haut risque; le fournisseur prend sans attendre toutes mesures correctives nécessaires à la mise en conformité. (art. 20) Ces mesures peuvent consister en un retrait, une désactivation ou un rappel du système d’IA en cause. Le fournisseur informe les acteurs économiques concernés (distributeurs, etc.)

Un marquage CE, indiquant la conformité du SIA au règlement, est apposé par le fournisseur sur les systèmes d’IA à haut risque. (art. 16 et 48)

    3.2 Enregistrement du système d’IA à haut risque

Le fournisseur d’une part, et les systèmes d’IA à haut risque d’autre part (à l’exception des SIA utilisés dans des infrastructures critiques), doivent être enregistrés dans la base de données de l’UE avant la mise sur le marché ou la mise en service du SIA. (art. 49)

    3.3 Coopération avec les autorités et obligations postérieures à la mise sur le marché

Le fournisseur est tenu de conserver les documents suivants pendant une durée de 10 ans à compter de la mise sur le marché ou de la mise en service du système d’IA : (art. 18)

     - documentation technique du système,
     - documentation concernant la gestion de la qualité,
     - déclaration UE de conformité,
et le cas échéant
     - documentation concernant les modifications approuvées par les organismes notifiés, et
     - décisions et autres documents émis par les organismes notifiés.

Ces documents, ainsi que les journaux, sont tenus à la disposition des autorités compétentes. (art. 21)

Pour rappel, les fournisseurs situés en dehors de l’Union européenne doivent désigner un mandataire établi dans l’Union (art. 22). Le mandataire agira en qualité de point de contact et de représentant du fournisseur auprès des autorités compétentes.

En résumé

Obligations des fournisseurs de systèmes d’IA à haut risque

Obligations générales                - Formation des acteurs impliqués dans l’IA
                                                   - Transparence
                                                   - Respect des interdictions imposées par l’AI Act

Obligations pour les                   - Système de gestion des risques
systèmes d’IA à haut risque      - Qualité des données utilisées
                                                  - Documentation technique et notice d’utilisation
                                                  - Mécanisme de conformité et marquage CE
                                                  - Journalisation et contrôle humain
                                                  - Coopération avec les autorités,

Vous êtes fournisseur (développeur) ou déployeur de systèmes d’IA : le Cabinet se tient à votre disposition pour vous accompagner dans la procédure de mise en conformité à l’AI Act.

* * * * * * * * * * *

(1) Règlement (UE) 2024/1698 du Parlement européen et du Conseil du 13 juin 2024 établissant des règles harmonisées concernant l’intelligence artificielle

Bénédicte DELEPORTE
Avocat

Deleporte Wentz Avocat
www.dwavocat.com

Avril 2025