Directive du gouvernement du Canada sur la prise de décision automatisée : conséquences pour les fournisseurs de services

Auteur(s) : Michael Fekete, Sam Ip

Le 6 juin 2019

La Directive sur la prise de décision automatisée (la « Directive ») du gouvernement du Canada est entrée en vigueur le 1^er avril 2019 et devra être respectée au plus tard le 1^er avril 2020.

La Directive établit des exigences minimales auxquelles doivent se conformer les ministères fédéraux qui souhaitent utiliser un système de prise de décision automatisée, soit un outil technologique qui prend des décisions ou aide à prendre des décisions. 

La Directive a pour objet de veiller à ce que les systèmes décisionnels automatisés soient déployés d’une manière qui permet de réduire les risques pour les Canadiens et les institutions fédérales. Elle vise également une prise de décisions plus efficace, exacte et conforme qui peut être interprétée en vertu du droit canadien.

Les points saillants

Les grandes lignes de la Directive se résument comme suit :

• Portée : La Directive s’applique à tout système, outil ou modèle statistique « utilisé pour recommander ou prendre une décision administrative au sujet d’un client. » Le champ d’application est large et, à première vue, comprend non seulement les applications conçues spécialement à cet effet, mais également des outils comme les modèles Excel et les formules mathématiques.
• Évaluation de l’incidence algorithmique : L’incidence algorithmique doit être évaluée avant la production de tout système décisionnel automatisé. Cette évaluation doit régulièrement être mise à jour à la suite d’un changement apporté à la fonctionnalité ou à la portée du système décisionnel automatisé. L’outil prescrit pour effectuer l’évaluation comporte environ 60 questions permettant de déterminer le niveau d’incidence, entre I (présentant le moins de risque) et IV (présentant le plus grand risque).   Selon le niveau d’incidence (qui sera par ailleurs publié), des exigences supplémentaires peuvent s’appliquer en vertu de la Directive. La version la plus récente de l’évaluation de l’incidence algorithmique est disponible ici.
• Transparence : Les personnes concernées doivent être avisées, de façon évidente, que les décisions rendues seront formulées totalement ou en partie par un système décisionnel automatisé. Ces avis doivent fournir aux personnes concernées une explication significative et simple de la façon dont la décision a été prise et de la raison pour laquelle elle a été prise.
• Logiciels : Les ministères sont invités à utiliser des logiciels libres. Si un logiciel propriétaire doit être utilisé, le fournisseur de services doit livrer une copie du logiciel au ministère en vue de lui donner accès au système décisionnel automatisé et de lui permettre d’effectuer des essais. Le ministère peut également autoriser des tiers à procéder à une vérification. Tout code source créé sur mesure qui est détenu par le gouvernement du Canada devra être rendu public, sous réserve des exemptions applicables.
• Exigences concernant l’assurance de la qualité : Il faut développer des processus d’évaluation des systèmes de prise de décisions automatisée pour s’assurer de l’absence de biais imprévus dans leurs données et d’autres facteurs qui pourraient influencer injustement les résultats. En outre, on doit offrir aux personnes concernées la possibilité de contester les décisions automatisées. D’autres exigences en matière d’assurance de la qualité peuvent s’appliquer selon le niveau d’incidence déterminé par l’évaluation de l’incidence algorithmique, y compris :
  • l’examen par les pairs effectué par des experts qualifiés;
  • une intervention humaine dans le processus décisionnel;
  • de la formation et des documents additionnels concernant la conception et la fonctionnalité du système décisionnel automatisé;
  • la mise en place de plans ou systèmes d’urgence si un système décisionnel automatisé devenait inaccessible;
  • l’approbation par l’administrateur général ou le Conseil du Trésor.

Répercussions de la Directive sur les fournisseurs de services des ministères

Alors qu’il revient au ministère utilisant le système décisionnel automatisé de se conformer à la Directive, des répercussions importantes demeurent possibles pour les organisations qui fournissent des produits ou des services à ces ministères. Parmi ces répercussions, soulignons les suivantes :

• Les fournisseurs de services devront déterminer si les produits ou services existants sont visés par la portée de la Directive. Ils voudront également évaluer les mesures à prendre pour s’assurer de respecter les exigences de la Directive d’ici le 1^er avril 2020, étant donné que la Directive ne prévoit aucune exemption pour les systèmes en production utilisés avant cette date;
• Ils devront également tenir compte du risque qu’un concurrent potentiel soit mandaté par le gouvernement à titre d’expert pour l’examen par un pair;
• Ils auront aussi besoin de s’assurer qu’ils détiennent les licences nécessaires (ou, dans le cas d’un fournisseur de modèle SAAS, la capacité opérationnelle) pour fournir au gouvernement un progiciel autonome conforme à l’exigence relative aux logiciels;
• Les fournisseurs de services devront déterminer s’ils sont en mesure de se conformer aux exigences concernant la transparence et les avis explicatifs, plus particulièrement au sujet des algorithmes d’apprentissage automatisé et des autres techniques fondées sur l’intelligence artificielle.

Prochaines étapes

Cette Directive est le premier pas du gouvernement pour encadrer la gestion des risques associés au déploiement des systèmes décisionnels automatisés au sein de ses opérations. À l’approche du 1^er avril 2020, nous croyons que la Directive et l’évaluation de l’incidence algorithmique seront peaufinées afin de refléter les conclusions tirées des ateliers et consultations publics. Nous prévoyons aussi que le secteur privé s’en servira à titre de modèle pour déterminer une manière de mettre en place, de développer et de fournir ses systèmes décisionnels automatisés.