Article 76 – Essais en conditions réelles

Explication de l’article

L’article 76 traite d’une situation particulièrement sensible sur le plan éthique et juridique : celle où un système d’IA est testé directement sur des personnes réelles, dans des environnements opérationnels réels, avant même d’avoir obtenu une autorisation définitive de mise sur le marché.

Ce type d’essai, appelé « real-world testing » ou « testing in real-world conditions » , s’oppose à l’instauration d’un cadre contrôlé et supervisé dès l’origine. Ici, le système est déployé dans des conditions authentiques d’utilisation, avec de vrais utilisateurs, dans de vrais contextes opérationnels.

L’article 76 organise le pouvoir de contrôle et d’intervention des MSA sur ces essais selon trois axes :

La vérification : les MSA peuvent à tout moment contrôler qu’un essai en conditions réelles respecte les exigences prévues aux articles 60 et 61 ; notamment le consentement des participants, les garanties de sécurité, la limitation de la durée et du périmètre, et l’existence d’un plan de surveillance.

La suspension et l’interruption : si les MSA constatent un manquement aux règles, elles peuvent ordonner la suspension immédiate de l’essai, voire son interruption définitive. Ce pouvoir d’injonction est exécutoire sans délai, il ne nécessite pas de procédure contradictoire préalable si l’urgence le justifie.

La notification transnationale : lorsqu’un essai est suspendu ou interrompu, la MSA concernée en informe immédiatement les MSA des autres États membres ainsi que le Bureau de l’IA. Ce mécanisme d’alerte évite qu’un fournisseur dont l’essai a été suspendu dans un pays continue ou reporte son essai dans un autre État membre.

Notions clés à comprendre

Essai en conditions réelles (testing in real-world conditions) – article 60 : déploiement temporaire d’un système d’IA non encore mis sur le marché, à des fins de test dans des conditions opérationnelles authentiques, en dehors d’un bac à sable réglementaire. Distinction essentielle avec :

– Le bac à sable réglementaire (art. 57) : cadre formalisé, supervisé dès l’origine, avec protocole convenu avec l’autorité

– Les tests en laboratoire : environnement artificiel, sans utilisateurs réels

– La mise sur le marché : déploiement commercial définitif, soumis au régime plein de conformité

Plan d’essai en conditions réelles (real-world testing plan) : document obligatoire (art. 60.4) que le fournisseur doit soumettre à la MSA avant le début de l’essai. Il décrit l’objectif, la méthodologie, la durée, les mesures de protection des participants et les critères d’arrêt.

Participants à l’essai : personnes physiques exposées au système d’IA pendant l’essai. L’article 61 leur reconnaît des droits spécifiques : information préalable, consentement explicite (sauf exceptions limitées), droit de se retirer à tout moment sans préjudice, protection contre les décisions défavorables fondées sur les données collectées pendant l’essai.

Critères de suspension : la MSA peut suspendre ou interrompre un essai notamment en cas de risque non anticipé pour la santé, la sécurité ou les droits fondamentaux des participants ; absence ou insuffisance du consentement ; dépassement du périmètre ou de la durée autorisés ; défaut de surveillance humaine adéquate ; non-communication d’incidents survenus pendant l’essai.

Notification transnationale : mécanisme d’alerte rapide analogue au système RAPEX/RASFF pour les produits physiques. Une suspension dans un État membre déclenche automatiquement une information de tous les autres États membres principe de solidarité de surveillance.

Fournisseur vs déployeur dans les essais : dans le cadre des essais en conditions réelles, le fournisseur reste responsable principal de la conformité de l’essai. Mais si l’essai est conduit via un déployeur (ex. : un hôpital qui teste un système pour le compte du fournisseur), les responsabilités sont partagées selon les termes de l’article 60.

Exemple pratique

Contexte : Une entreprise britannique post-Brexit développe un système d’IA de détection précoce de troubles psychiatriques à partir de l’analyse de la voix et du discours. Elle souhaite tester son système en conditions réelles dans des centres médico-psychologiques (CMP) en France et en Espagne, sur des patients volontaires, pendant 6 mois.Phase pré-essai — obligations du fournisseur :

Le fournisseur soumet un plan d’essai aux MSA française et espagnole (vraisemblablement HAS + CNIL en France, AEMPS + AEPD en Espagne) comprenant : objectifs de l’essai, population cible, protocole de consentement, mesures de sécurité des données, critères d’arrêt automatique, désignation d’un responsable de l’essai dans chaque pays.

Déroulé de l’essai – incident à J+45 :

Un patient participant à l’essai en France présente une crise suicidaire. Les équipes soignantes du CMP estiment que le système d’IA avait sous-évalué le niveau de risque lors de la consultation précédente ; information qui aurait pu conduire à une hospitalisation préventive.

Intervention de la MSA française :

La MSA reçoit notification de l’incident (art. 73 + obligations spécifiques art. 60)

Elle diligente une inspection immédiate : vérification du plan d’essai, des logs du système, du protocole de surveillance humaine

Constatant que le système avait été utilisé sans double validation par un psychiatre, contrairement au plan d’essai approuvé, elle ordonne la suspension immédiate de l’essai en France

Elle notifie dans les 24 heures la MSA espagnole et le Bureau de l’IA

Conséquences en Espagne :

La MSA espagnole, informée de la suspension française, ouvre une vérification préventive de l’essai conduit sur son territoire. Elle constate les mêmes déviations protocolaires et suspend également l’essai espagnol, évitant ainsi que le fournisseur ne concentre ses tests sur l’Espagne pour contourner la décision française.

Suite de la procédure :

Le fournisseur doit réviser son plan d’essai, renforcer les exigences de supervision humaine, et obtenir une nouvelle autorisation avant toute reprise. Les données collectées pendant l’essai irrégulier font l’objet d’un examen séparé au titre du RGPD.

Vous voulez éviter une injonction de suspension de vos test d'IA ?

En cas d'incident grave ou de non-conformité, les autorités peuvent exiger l'arrêt définitif de vos tests. Anticiper ces exigences n'est pas seulement une obligation légale c'est aussi question de réputation.

Sécuriser mes protocoles d'essais

Texte original de l’IA Act

Article 76 – Supervision des tests en conditions réelles par les autorités de surveillance du marché

Les autorités de surveillance du marché ont les compétences et les pouvoirs nécessaires pour veiller à ce que les essais en conditions réelles soient conformes au présent règlement.

Lorsque des essais en conditions réelles sont réalisés pour des systèmes d’IA qui sont supervisés dans le cadre d’un bac à sable réglementaire en matière d’IA au titre de l’article 58, les autorités de surveillance du marché vérifient la conformité à l’article 60 dans le cadre de leur mission de surveillance du bac à sable réglementaire en matière d’IA. Ces autorités peuvent, le cas échéant, autoriser le fournisseur ou le fournisseur potentiel à procéder aux essais en conditions réelles, par dérogation aux conditions énoncées à l ‘article 60, paragraphe 4, points f) et g).

Lorsqu’une autorité de surveillance du marché a été informée par le fournisseur potentiel, le fournisseur ou un tiers d’un incident grave ou a d’autres raisons de considérer que les conditions énoncées aux articles 60 et 61 ne sont pas remplies, elle peut prendre l’une des décisions suivantes sur son territoire, selon le cas :

(a) de suspendre ou d’interrompre les essais en conditions réelles ;

(b) exiger du fournisseur ou du fournisseur potentiel et du déployeur ou du déployeur potentiel qu’ils modifient tout aspect des essais dans des conditions réelles.

Lorsqu’une autorité de surveillance du marché a pris une décision visée au paragraphe 3 du présent article ou a émis une objection au sens de l ‘article 60, paragraphe 4, point b), la décision ou l’objection indique les motifs de celle-ci et la manière dont le fournisseur ou le fournisseur potentiel peut contester la décision ou l’objection.

Le cas échéant, lorsqu’une autorité de surveillance du marché a pris la décision visée au paragraphe 3, elle en communique les motifs aux autorités de surveillance du marché des autres États membres dans lesquels le système d’IA a été testé conformément au plan de test.

Perspectives avec d’autres textes

Articles 60 et 61 de l’IA Act

Ces deux articles sont directement liés à l’article 76. L’article 60 définit les conditions de conduite des essais en conditions réelles et l’article 61 protège les droits des participants. L’article 76 constitue le mécanisme de sanction et de contrôle de ces deux dispositions. Il n’a de sens qu’en combinaison avec eux.

Article 35 du RGPD

Tout essai en conditions réelles impliquant des données personnelles, et a fortiori des données sensibles comme la santé, la voix ou le comportement, nécessite une analyse d’impact préalable. L’AIPD et le plan d’essai prévu à l’article 60 doivent être cohérents et idéalement co-construits dès la phase de conception.

Article 9 du RGPD

Les données collectées lors d’essais médicaux ou psychiatriques sont des données de santé au sens de l’article 9. Elles constituent une catégorie spéciale nécessitant une base légale renforcée. Le consentement explicite requis par l’article 61 de l’IA Act s’articule avec le consentement RGPD sans pouvoir s’y substituer.

Règlement sur les essais cliniques (536/2014)

Pour les systèmes d’IA qualifiés de dispositifs médicaux, les essais en conditions réelles peuvent s’apparenter à des investigations cliniques au sens du MDR/IVDR. Un double régime devient alors applicable, avec des exigences supplémentaires de consentement éclairé et de validation par un comité d’éthique.

Directive 2001/20/CE et bonnes pratiques cliniques

Les principes de protection des sujets dans les essais cliniques, issus de la Déclaration d’Helsinki et des lignes directrices ICH E6, constituent un standard éthique de référence implicite pour les essais IA en conditions réelles dans le domaine de la santé. Cela vaut même lorsque le cadre formel des essais cliniques ne s’applique pas strictement.

Article 3 de la Charte des droits fondamentaux de l’Union européenne

Le droit à l’intégrité de la personne constitue le fondement des protections accordées aux participants aux essais. Toute suspension d’un essai par une MSA s’inscrit en définitive dans la protection de ce droit fondamental.

L’IA ACT peut sembler complexe. L’équipe de DPO externe de Mon Expert RGPD vous accompagne pour tester votre IA en toute sécurité.

Menu IA Act