Par Chahid Naoufel

Publié le · Modifié le · Vérifié le

Les points essentiels

  • Répondre et décider n’ont pas la même conséquence : une action peut modifier un droit, un prix, un accès ou une relation.
  • La limite d’autonomie doit dépendre de l’impact, de la réversibilité et de la possibilité de contester.
  • Un agent ne doit pas cumuler collecte, décision et exécution sensibles sans séparation des contrôles.
  • Dans l’Union européenne, l’information sur l’interaction avec une IA dépend notamment du type de système, du contexte et des conditions de l’article 50 du règlement sur l’IA.[1][2]
  • Dans l’Union européenne, qualifiez séparément les rôles juridiques de fournisseur ou déployeur au titre du règlement sur l’IA, et de responsable du traitement ou sous-traitant au titre du RGPD ; documentez à part le rôle opérationnel d’un intégrateur.[2][3]

Quand une réponse devient une décision

Un agent franchit un seuil lorsqu’il ne se contente plus de présenter une information mais choisit une offre, refuse une demande, modifie un dossier ou déclenche une action. Les conséquences pour le client deviennent alors le point central du cadrage.

L’éthique n’est pas un supplément de communication. Elle se traduit par des interdictions, des validations, un droit de recours, une limitation des données et des preuves accessibles en cas de contestation.

Classer les décisions avant d’accorder les droits

Classer les décisions avant d’accorder les droits
NiveauExemplePosition de départ
InformationRépondre depuis une source publiéeAutomatisation bornée avec citation et transfert
RecommandationClasser des options pour un besoinCritères visibles et confirmation du client
Action réversibleCréer un brouillon ou une réservationValidation ou annulation simple
EngagementEnvoyer une offre ou modifier un contratValidation humaine informée
Décision sur une personneRefuser un accès, un avantage ou une demandeAnalyse renforcée ; autonomie souvent inadaptée

Écrire une charte d’autonomie exploitable

  • Finalités autorisées et utilisations interdites.
  • Données que l’agent peut consulter, retenir et transmettre.
  • Actions accessibles et paramètres plafonnés.
  • Situations qui exigent validation ou transfert.
  • Informations remises au client et voie de contestation.
  • Responsables de la qualité, de l’incident et de l’arrêt.

Les risques concrets pour les clients

Une hallucination peut devenir une promesse commerciale, une instruction erronée ou une décision incohérente. Un biais peut produire des différences de traitement difficiles à détecter si les résultats ne sont pas analysés par groupe pertinent.[4][5]

La personnalisation peut aussi devenir intrusive lorsque l’agent exploite des données inattendues. La minimisation et la limitation de finalité doivent être traduites dans les accès et les tests.[3][6]

  • Information inexacte présentée avec assurance.
  • Traitement différent sans justification métier.
  • Collecte de données non nécessaires.
  • Absence de sortie vers un interlocuteur humain.
  • Action répétée ou impossible à annuler.
  • Contestations impossibles à reconstituer faute de journal.

Garder une main humaine au bon endroit

Avant l’action

Présenter sources, critères, paramètres et conséquence permet une validation réelle plutôt qu’un clic automatique.

Pendant le service

Seuils, plafonds, détection d’anomalies et bouton d’arrêt limitent une série d’actions indésirables.

Après la décision

Prévoyez une explication utile, la correction des données et un examen humain lorsque le contexte ou le droit applicable l’exige. Le RGPD ne crée pas une garantie identique pour toute sortie : son article 22 vise notamment certaines décisions exclusivement automatisées produisant un effet juridique ou similaire significatif.[3]

Informer sans noyer le client

La transparence doit aider à décider et à agir. Indiquez le rôle du système, les limites importantes, les données utilisées lorsque c’est pertinent, la manière de joindre une personne et la voie de recours.[1][2][3]

Une longue politique générale ne remplace pas une information au moment où le client confie une donnée ou subit l’effet d’une action. Les exigences juridiques exactes doivent être qualifiées pour le dispositif et le pays concernés.[1][2][3]

Séparer identité, préparation et exécution

  • Donner à l’agent une identité dédiée et des droits minimaux.[7][8][9]
  • Séparer la proposition de la validation pour les effets sensibles.[7][8][9]
  • Valider schémas, montants, destinataires et doublons hors du modèle.[7][8][9]
  • Protéger l’agent contre les instructions contenues dans les documents ou pages consultés.[7][8][9]
  • Journaliser le chemin sans conserver inutilement les données du client.[7][8][9]
  • Tester révocation, annulation, transfert et indisponibilité.[7][8][9]

Identifier le moment où l’agent cesse de répondre et commence à décider

Classez chaque sortie selon son effet réel : information, recommandation, priorité, préparation, exécution ou refus. Une phrase peut rester consultative dans l’interface tout en déclenchant automatiquement une conséquence en aval.

Évaluer les risques du point de vue du client

Erreur et asymétrie de traitement

Testez faits inexacts, règles mal appliquées et écarts entre situations comparables. Les moyennes de réussite peuvent masquer une petite population exposée à une conséquence grave.

Autonomie ressentie et recours réel

Le client doit comprendre si une personne peut reprendre, dans quel délai et avec quel pouvoir de correction. Un bouton de contact générique n’est pas un recours si personne ne peut annuler l’effet.

Relier le niveau d’impact au niveau d’autonomie

Croisez gravité, réversibilité, vitesse, détectabilité, données sensibles et possibilité de contestation. Plus la conséquence est élevée ou tardivement visible, plus la décision doit rester déterministe, validée ou humaine.

Transformer les principes en limites exécutables

  • Liste blanche d’actions.
  • Plafonds de montant, volume et fréquence.
  • Sources de vérité obligatoires.
  • Champs interdits et données minimisées.
  • Conditions de refus et de transfert.
  • Validations indépendantes du modèle.
  • Arrêt d’urgence et révocation.

Donner à la supervision les moyens d’agir

Avant et pendant l’action

Présentez contexte, source, paramètres et conséquence ; accordez assez de temps et d’autorité pour refuser. Surveillez boucles, anomalies, dérive de coûts et changements de modèle.

Après un effet client

Conservez les traces nécessaires, informez les responsables et rendez possible correction, remboursement, annulation ou autre réparation proportionnée.

Informer et permettre la contestation

Expliquez le rôle de l’IA, les éléments décisifs, les limites et la voie humaine dans un langage adapté au moment du parcours. Le détail requis dépend du cadre applicable ; faites valider les décisions sensibles.[1][2][3]

Qualifier le règlement sur l’IA et le RGPD sans les fusionner

Dans l’Union européenne, le règlement sur l’IA distingue systèmes, rôles et obligations ; le RGPD encadre les traitements de données personnelles et certaines décisions exclusivement automatisées. Inventoriez séparément finalité, rôle, personnes, données, conséquence et contrôle, puis faites qualifier les dispositions applicables.[2][3]

Organiser une gouvernance praticable dans une PME

  • Un propriétaire métier du résultat.
  • Un responsable des accès et incidents.
  • Un corpus de tests tenu à jour.
  • Une revue périodique courte.
  • Un registre des décisions et changements.
  • Une personne autorisée à suspendre le service.

Réexaminer les limites à partir des faits

  • Décisions corrigées ou contestées.
  • Écarts de traitement entre situations comparables.
  • Demandes de transfert humain.
  • Actions bloquées par les contrôles.
  • Incidents et quasi-incidents.
  • Changements de données, modèle, outils ou finalité.

Questions fréquentes

Peut-on laisser un agent parler aux clients ?

Oui sur un périmètre défini, avec sources, refus, transfert et suivi. La capacité à parler ne justifie pas celle de décider ou d’engager.

Un agent doit-il dire qu’il est une IA ?

La transparence nécessaire dépend du contexte et des règles applicables. Informez au minimum lorsque cela affecte le choix, les attentes ou le recours du client.[1][2]

Quelles décisions garder humaines ?

Celles à forte conséquence, difficiles à annuler, fondées sur des critères sensibles ou affectant les droits et opportunités d’une personne.

Comment éviter qu’une hallucination devienne une action ?

Séparez génération et exécution, vérifiez les données décisives, validez les paramètres et imposez une confirmation pour les effets sensibles.

L’agence ou le fournisseur est-il responsable à la place de l’entreprise ?

Les responsabilités dépendent des rôles juridiques, du traitement et des contrats applicables. Identifiez aussi un propriétaire interne du processus mis à disposition des clients.[2][3]

Comment organiser le recours ?

Offrez un canal humain identifiable, conservez les éléments nécessaires à la revue et donnez le pouvoir de corriger ou annuler lorsque cela est possible.

Sources

  1. Guidelines on transparency obligations for providers and deployers of AI systems — Commission européenne. Publié le . Mis à jour le . Consulté le . ↩1↩2↩3↩4↩5
  2. Regulation (EU) 2024/1689 — Artificial Intelligence Act — EUR-Lex. Publié le . Mis à jour le . Consulté le . ↩1↩2↩3↩4↩5↩6↩7↩8
  3. Regulation (EU) 2016/679 — General Data Protection Regulation — EUR-Lex. Publié le . Consulté le . ↩1↩2↩3↩4↩5↩6↩7↩8
  4. AI Risk Management Framework — National Institute of Standards and Technology. Publié le . Consulté le . ↩1
  5. Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile — National Institute of Standards and Technology. Publié le . Consulté le . ↩1
  6. Les questions-réponses de la CNIL sur l’utilisation d’un système d’IA générative — CNIL. Consulté le . ↩1
  7. OWASP GenAI LLM Top 10 2026 — OWASP GenAI Security Project. Publié le . Consulté le . ↩1↩2↩3↩4↩5↩6
  8. OWASP Top 10 for Agentic Applications 2026 — OWASP GenAI Security Project. Publié le . Consulté le . ↩1↩2↩3↩4↩5↩6
  9. Recommandations de sécurité pour un système d’IA générative — ANSSI. Consulté le . ↩1↩2↩3↩4↩5↩6

Poursuivre votre lecture