Article 77 – Pouvoirs des autorités de protection des droits fondamentaux et coopération avec les autorités de surveillance du marché

Explication de l’article

L’article 77 de l’IA Act concerne les autorités et organismes publics chargés de protéger les droits fondamentaux. Son objectif est de leur donner les moyens nécessaires pour contrôler l’utilisation de certains systèmes d’IA à haut risque et vérifier que cette utilisation ne porte pas atteinte aux droits des personnes, il ne s’applique donc pas automatiquement à tous les systèmes d’IA. L’article concerne notamment les autorités qui veillent au respect des règles européennes protégeant les droits fondamentaux, y compris le droit à la non-discrimination.

L’idée principale de cet article est qu’une autorité chargée de protéger les droits fondamentaux doit pouvoir accéder aux documents nécessaires pour vérifier qu’un système d’IA à haut risque respecte effectivement ces droits.

Cela est particulièrement important parce que certains systèmes d’IA peuvent être utilisés dans des domaines ayant des conséquences importantes pour les personnes, tel quel :le recrutement, l’éducation, l’accès à certains services essentiels, la justice, la migration et le contrôle aux frontières, l’application de la loi et l’accès à des prestations ou services publics.

Dans ces domaines, une erreur ou une discrimination produite par un système d’IA peut avoir des conséquences importantes sur la vie d’une personne. L’article 77 permet donc aux autorités compétentes de demander et d’obtenir la documentation créée ou conservée au titre de l’IA Act lorsque cette documentation est nécessaire à l’accomplissement de leur mission.

1. Quelles autorités sont concernées ?

L’article vise les autorités ou organismes publics nationaux qui ont pour mission de contrôler ou de faire respecter les obligations du droit de l’Union destinées à protéger les droits fondamentaux. Il peut notamment s’agir, selon l’organisation de chaque État membre, d’autorités chargées de lutter contre les discriminations, les atteintes aux droits fondamentaux, certaines violations des droits des travailleurs ou certaines atteintes aux droits des personnes dans le domaine de l’égalité. 

L’article 77 ne crée donc pas une nouvelle autorité européenne spécifique. Il donne plutôt des pouvoirs supplémentaires aux autorités nationales déjà compétentes dans le domaine des droits fondamentaux.

2. Le droit d’obtenir la documentation

Le principal pouvoir prévu par l’article 77 est le droit de demander et d’obtenir l’accès à la documentation créée ou conservée conformément à l’IA Act. Cette documentation peut notamment permettre de comprendre :

• comment le système d’IA a été conçu ;
• comment il fonctionne ;
• quelles données ont été utilisées ;
• comment les risques ont été identifiés ;
• quels tests ont été réalisés ;
• quelles mesures de contrôle ont été mises en place ;
• comment le système est surveillé après son déploiement.

L’autorité n’a toutefois pas un accès illimité à toutes les informations de l’entreprise. L’accès doit être nécessaire à l’accomplissement de sa mission et rester dans les limites de ses compétences.

L’article 77 précise aussi que la documentation doit pouvoir être demandée et consultée dans une langue et un format accessibles. Cette exigence est importante, car une documentation technique extrêmement complexe ne serait pas réellement utile à une autorité si elle ne pouvait pas être comprise ou exploitée dans le cadre de sa mission. L’objectif est donc de permettre aux autorités compétentes de comprendre suffisamment le système pour pouvoir exercer efficacement leurs fonctions.

3. Pourquoi la documentation est-elle importante ?

Les systèmes d’IA peuvent parfois produire des résultats difficiles à expliquer. Une personne peut être par exemple refusée pour un emploi, classée dans une catégorie particulière, considérée comme présentant un certain risque, exclue d’une formation ou privée d’un service à la suite de l’utilisation d’un système d’IA.

Dans ce contexte, l’autorité chargée de protéger les droits fondamentaux doit pouvoir comprendre pourquoi le système a produit ce résultat. Elle peut donc avoir besoin d’accéder à la documentation du système pour vérifier les données utilisées, les critères appliqués, les procédures de validation, les mécanismes de contrôle, les risques de discrimination et les mesures prises pour réduire ces risques.

4. L’autorité doit informer l’autorité de surveillance du marché

L’article 77 prévoit également que l’autorité ou l’organisme public qui demande l’accès à la documentation doit informer l’autorité de surveillance du marché de l’État membre concerné. Cela permet d’assurer une meilleure coopération entre les différentes autorités.

On peut donc avoir deux acteurs complémentaires :

Autorité de protection des droits fondamentaux: vérifie si l’utilisation de l’IA porte atteinte aux droits fondamentaux.

Autorité de surveillance du marché: contrôle plus largement la conformité du système d’IA avec l’IA Act.

Ces deux autorités peuvent donc avoir des compétences différentes mais complémentaires.

L’article 77 montre ainsi que la conformité à l’IA Act ne se limite pas à une question technique. Elle implique également de vérifier l’impact concret des systèmes d’IA sur les personnes, leurs libertés, leur égalité et leurs droits fondamentaux.

Notions clés à comprendre

Autorité de protection des droits fondamentaux : autorité publique chargée de contrôler ou de faire respecter des règles destinées à protéger les droits fondamentaux.

Système d’IA à haut risque : système d’IA présentant des risques importants pour la santé, la sécurité ou les droits fondamentaux et soumis à des obligations renforcées par l’IA Act.

Non-discrimination : principe selon lequel une personne ne doit pas être défavorisée injustement en raison notamment de caractéristiques protégées par le droit.

Documentation technique : ensemble des informations permettant de comprendre la conception, le fonctionnement, les performances et la conformité d’un système d’IA.

Biais algorithmique : résultat systématiquement défavorable ou déséquilibré produit par un système algorithmique à l’égard de certaines personnes ou catégories.

Exemple Pratique

Imaginons une grande entreprise qui utilise un système d’IA à haut risque pour analyser les CV et classer automatiquement les candidats. Le système attribue à chaque candidat un score. Après plusieurs mois, une autorité compétente en matière d’égalité professionnelle reçoit plusieurs plaintes de candidats. Les plaintes montrent qu’un groupe particulier de candidats semble être systématiquement défavorisé.

Étape 1 : l’autorité ouvre une vérification

L’autorité cherche à déterminer si le système produit un résultat discriminatoire.

Étape 2 : elle demande la documentation

Elle demande à l’entreprise les documents nécessaires pour comprendre le fonctionnement du système. Elle peut notamment avoir besoin de la documentation technique, des informations sur les données utilisées, des résultats des tests, des informations relatives à la gestion des risques et des informations sur les mesures de contrôle mises en place.

Étape 3 : application de l’article 77

L’entreprise doit permettre l’accès à la documentation relevant du champ de l’article 77 lorsque cet accès est nécessaire à l’exercice du mandat de l’autorité et dans les limites de ses compétences.

Étape 4 : analyse

L’autorité découvre que les données historiques utilisées pour entraîner le système reflétaient déjà des pratiques de recrutement défavorables à certains candidats. Le système a donc reproduit une partie de ces biais.

Étape 5 : coopération

L’autorité informe l’autorité de surveillance du marché de sa demande. Les deux autorités peuvent alors coopérer dans leurs domaines respectifs.

Résultat

L’article 77 permet ainsi de transformer une suspicion de discrimination en une véritable possibilité de contrôle documenté.