IA, algorithmes & état de droit

L’administration à l’épreuve de la délégation algorithmique : le cas MiDAS

 

 

Par Mariem El Abed

 

 

L’usage des algorithmes par les administrations publiques n’est pas nouveau. Nombre d’entre elles utilisent aujourd’hui différentes techniques issues de l’intelligence artificielle en vue d’optimiser l’efficacité de leurs services, notamment dans le cadre de la détection des fraudes[1]. La délégation algorithmique opérée par l’Administration interroge et interpelle. Si une partie de la doctrine conteste celle-ci, conférant au dispositif le seul statut d’outil, une autre perçoit en filigrane les prémices d’une algocratie[2]. L’affaire dite « MiDAS », du nom du dispositif d’automatisation décisionnelle utilisé par l’Agence pour l’emploi du Michigan (ci-après l’« Agence »), constitue à cet égard un cas d’école dont les conclusions éclairent les enjeux du débat.

Cette Agence locale recourt au système MiDAS pour administrer le système de prestation chômage depuis octobre 2013. Le système est la résultante de la mise à jour du dispositif existant, hérité des années 1980. Son adoption répondait à trois objectifs principaux :

  • Garantir que les paiements soient versés aux seuls titulaires de droits ;
  • Renforcer l’efficacité de l’Agence et le rendement de ses contrôles face aux demandes de prestations chômage ;
  • Réduire les coûts opérationnels ; l’Agence avait dans cette perspective anticipé un rendement des contrôles en procédant au licenciement de plus de 400 agents rattachés aux contrôles de la fraude, soit plus d’un tiers du personnel.

Le logiciel – mis en place à la hâte[3] grâce à un investissement pourtant conséquent[4] – révéla rapidement des failles substantielles, enregistrant un taux de 93% d’erreur[5]. Ces erreurs suscitèrent l’introduction de divers recours de la part des administrés lésés.

 

Les défaillances issues de la modélisation du système. La modélisation de MiDAS devait permettre d’identifier les discordances résultant du croisement d’informations sur les demandeurs, provenant de dossiers des employeurs, des organismes d’État et du gouvernement fédéral : celles-ci étaient comprises comme autant de fraudes par le système.  L’intégralité de la chaîne décisionnelle administrative étant automatisée, le système envoyait alors des sanctions produisant des effets automatiques.  Lorsqu’une personne sollicitait une prestation au titre de l’assurance-chômage, MiDAS évaluait ainsi les renseignements fournis par le demandeur et son employeur. La constatation de la moindre disparité engendrait la qualification d’une fraude, produisant des effets de droit, sans vérification préalable de la bonne foi de l’administré ou d’une erreur de la part de l’employeur.

Une partie des erreurs engendrées s’expliquait à l’aune des failles dans le data set, les données le composant étant imprécises ou non mises à jour. L’algorithme de MiDAS était en outre incomplet dans sa conception, le module de numérisation de documents sous format papier n’étant pas entièrement intégré[6].

 

Des voies de recours défaillantes. On comprend également, à l’aune des dysfonctionnements enregistrés, que le dispositif présentait des irrégularités sur le terrain des voies de recours : la possibilité de justifier – et par suite régulariser – une situation donnée n’était pas effectivement garantie aux demandeurs. À l’issue de la détection d’une fraude, un questionnaire[7] était communiqué aux requérants ; les administrés concernés devaient alors le retourner dûment rempli dans un délai de dix jours, sous peine que la fraude soit automatiquement établie. Aucune intervention humaine ne prenait part à ce processus décisionnel ni aucune motivation n’était transmise[8].

 

Des effets dévastateurs. Les conséquences de ces erreurs furent considérables. Sur plus de 22 000 recensions de fraudes révélées par MiDAS, le taux d’erreur était de 93%. Afin de recouvrer ces pénalités, imposées pour la majorité sur le fondement de décision erronée, l’Agence saisissait le salaire des demandeurs et interceptait leur déclaration de revenus fédérale. En l’espace d’un an, les recettes de l’Agence augmentèrent de 3 à 69 millions de dollars[9].

La législation sociale de l’État du Michigan s’illustre par ses dispositions particulièrement strictes en matière de recouvrement. L’impact de décisions automatiques fut aussi dramatique pour les personnes concernées, en situation de grande vulnérabilité.

Dans l’affaire Cahoo et al. V. SAS Analytics[10], Madame Patti Jo Cahoo fut accusée, à tort, d’avoir introduit une demande frauduleuse de prestations de chômage en 2014. Ce n’est qu’en décembre 2015, lorsque sa nouvelle demande d’allocations de chômage fut rejetée, qu’elle fut informée de son profilage de fraudeuse. Des suites de la procédure, Madame Cahoo, qui ne pouvait honorer le paiement de son loyer, fut expulsée de son domicile.  Hyon Pak fut également identifié comme fraudeur. Il n’en fut seulement informé lors de la saisie son remboursement d’impôt fédéral pour une durée de deux ans.

 

Une affaire, des contentieux.   De nombreuses class actions furent introduites par les victimes du dispositif sur des fondements divers.

 

En avril 2015, un premier groupe de demandeurs, accusés inopinément de fraude,  intenta un recours auprès de la Cour Fédérale des États-Unis pour le Distrcit du Michigan, Zynda v. Zimmer et al.[11], afin d’obtenir un « declatory relief ». Les demandeurs contestaient les pratiques frauduleuses de l’Agence et la non-supervision humaine du dispositif, invoquant la méconnaissance de leurs droits constitutionnels fédéraux. L’affaire fut soldée par un accord, dans lequel l’État s’engagea à suspendre toute activité de recouvrement via le système MiDAS et à adopter une loi interdisant la détermination de la fraude sur le seul fondement des éléments identifiés par un ordinateur[12].

 

Dans le cas Bauserman v. UIA[13], les demandeurs contestèrent les pratiques de l’Agence en vue d’obtenir une réparation compensatoire (« compensatory relief »). L’État du Michigan était notamment mis en cause pour le défaut d’avis préalable, privant les personnes concernées de leur droit à la défense. Le fait qu’un algorithme ne puisse faire état, en pratique, des motifs sur lesquels se fonde se la décision renforçait la constatation de cette violation. En outre, la charge de la preuve se trouvait inversée au détriment des allocataires, auxquels il incombait de rapporter la preuve de la régularité de leur situation.

Les demandeurs ont contesté la décision rendue ; le recours est pendant devant la Cour Suprême du Michigan depuis novembre 2017.

 

Enfin, les plaignants de l’affaire Cahoo et al v. SAS Analytics[14] soulevèrent la négligence de la maintenance du système de détection des fraudes en méconnaissance du 4e amendement. Les demandeurs alléguèrent notamment que la saisie leurs remboursements d’impôt sur le revenu, de leur salaire et de leurs prestations chômage constituait une saisie illégale en vertu du 4e amendement garantissant la sécurité d’un individu et de ses biens contre les ingérences abusives. Toutefois, dans sa décision du 3 janvier 2019, la Cour d’appel des États-Unis pour le District du Michigan s’est principalement prononcée sur la question de l’immunité des fonctionnaires. Elle conclut que l’immunité conditionnelle ne protège pas les défendeurs individuels de l’Agence à ce stade du litige en ce qui concerne l’application régulière de la loi.

 

Des obstacles dans l’établissement des responsabilitésL’établissement des responsabilités fut également complexe eu égard à la diversité des personnes physiques et morales impliquées dans le dispositif. Les administrés lésés et les associations de défense poursuivirent l’Agence elle-même, ses employés et les entreprises conceptrices du dispositif. L’affaire Zynda v. Zimmer et al. visait ainsi les représentants officiels de l’administration ; le cas Bauserman v. UIA, directement à l’Agence.

Dans l’affaire Cahoo et al v. SAS Analytics et al., c’est la responsabilité des sociétés informatiques conceptrices qui fut engagée. Un contrat de 14 millions de dollars[15] avait été conclu avec SAS – leader mondial en solutions de l’informatique décisionnelle – dans le cadre d’un « projet de logiciel de détection de fraude d’entreprise ». Les plaignants invoquaient notamment la méconnaissance par cette dernière de son obligation de maintenance.

Ce contentieux est particulièrement intéressant sous l’angle du droit comparé, la société SAS se présentant comme un partenaire privilégié – et omnipotent – auprès de très nombreuses administrations. Un système prédictif de détection des fraudes est similairement utilisé par le département de la santé et des services sociaux d’Illinois[16]. D’autres administrations dans le monde ont recours à ses services à l’instar de l’administration fiscale et douanière irlandaise[17].

 

La fin des décisions administratives non supervisées. Aujourd’hui, l’Agence utilise toujours MiDAS dans le cadre de la détection des fraudes. Notons toutefois qu’elle a mis un terme à la prise de décision non supervisée. Désormais aucune détermination de fraude, ni décision administrative, ne peut être prise au seul moyen d’un programme automatisé.

 

L’administration algorithmique : phénomène en croissance. L’affaire MiDAS n’est malheureusement pas un cas isolé. En 2016, un système similaire dénommé « Centrelink », mis en place par le gouvernement australien, a affecté la vie de dizaines de milliers de ses citoyens. Les bénéficiaires de prestations, identifiés comme fraudeurs, ont reçu des courriers de la part du dispositif les invitant à apporter la preuve qu’ils n’avaient pas demandé de prestations auxquelles ils n’avaient pas le droit. Plus de 20% ont reçu des avis erronés ou des montants de dettes nettement supérieurs à ce qu’ils devaient réellement.

Ce dysfonctionnement a rapporté une manne financière non négligeable au Trésor australien, qui explique les réticences du gouvernement à mettre un terme au dispositif. Un groupe parlementaire l’avait en effet recommandé au regard du taux d’erreurs engendré[18].

 

En France, les administrations recourent également largement à ce type de système[19]. La CNAF utilise par exemple le data mining afin de détecter des sommes indûment versées. Pour éviter les écueils étrangers, la France a adopté des dispositions protectrices au bénéfice des administrés. L’article 10 de la loi du 6 janvier 1978, modifié par le règlement européen de la protection des données dans son article 22, prévoit ainsi qu’une décision ne peut être fondée exclusivement sur un traitement automatisé. Le Conseil Constitutionnel a par ailleurs rappelé, dans le considérant n°70 de sa décision du 12 juin 2018, que « l’administration sollicitée à l’occasion de ces recours est alors tenue de se prononcer sans pouvoir se fonder exclusivement sur l’algorithme »[20].

 

L’affaire MiDAS laisse entrevoir un futur possible de l’administration algorithmique : par ses conséquences, lourdes, et sa complexité, elle rappelle que la délégation algorithmique, pour servir le bien commun, doit rester aux mains de l’homme.

 

Pour citer cette contribution : M. El ABED, “L’administration à l’épreuve de la délégation algorithmique : le cas MiDAS”, Brève DL4T n°03/2019, 24 juin 2019. 

Télécharger la version PDF : Brève DL4T 03/2019

 

[1] La chaire Alexandre Koyré y consacra une journée d’études pluridisciplinaire le 14 juin 2019 intitulée« Algorithmes, administrations et lutte contre la fraude ».

https://www.droiteconomique.org/manifestation/algorithmes-administration-et-lutte-contre-la-fraude-quel-modele-pour-la-delegation-algorithmique/

[2] Sur ce débat, voy. C Lequesne Roth, « La science des données numériques au service du contrôle fiscal francais, Réflexions sur l’Algocratie », dans A.Pariente (dir.), Les chiffres en finances publiques, Paris, éd. Mare & Martin, 2019. https://dl4t.org/la-science-des-donnees-numeriques-au-service-du-controle-fiscal-francais/

[3] Au terme de seulement deux années.

[4] Estimé à 47 millions de dollars. https://www.nascio.org/portals/0/awards/nominations2014/2014/2014MI7NASCIO%20Nomination%20%20Michigan%20Integrated%20Data%20Automated%20System%20(MiDAS)%20&%20Unemployment%20Insurance%20Modernization%20Project3.pdf

[5] https://eu.freep.com/story/news/local/michigan/2017/07/30/fraud-charges-unemployment-jobless-claimants/516332001/

[6] Cahoo v. SAS Analytics Inc., No. 18-1296 (6th Cir. 2019)

[7] Cahoo v. SAS Analytics Inc., No. 18-1296 (6th Cir. 2019)

[8]https://waysandmeans.house.gov/sites/democrats.waysandmeans.house.gov/files/documents/Shaefer-Gray-USDOL-Memo_06-01-2015.pdf

[9] https://spectrum.ieee.org/riskfactor/computing/software/michigans-midas-unemployment-system-algorithm-alchemy-that-created-lead-not-gold

[10] Cahoo v. SAS Analytics Inc., No. 18-1296 (6th Cir. 2019)

[11] Zynda et al v. Zimmer et al, No. 2:2015cv11449, 20 avril 2015

[12] http://spb.mplp.org:8080/download/attachments/11239427/SPB+UI+Materials+1-18.pdf?version=1

[13] https://courts.michigan.gov/Courts/MichiganSupremeCourt/oral-arguments/2018-2019/Pages/156389.aspx

[14] Cahoo v. SAS Analytics Inc., No. 18-1296 (6th Cir. 2019)

[15] https://www.michigan.gov/documents/localgov/3200061_425619_7.pdf

[16] https://www.sas.com/fr_fr/customers/illinois-department-of-healthcare-and-family-services.html

[17] https://www.sas.com/fr_fr/customers/irish-tax-and-customers.html

[18] https://www.smh.com.au/politics/federal/robodebt-has-harmed-thousands-say-senators-20170621-gwvgzg.html

[19] C. Lequesne-Roth, « La science des données numériques au service du contrôle fiscal francais .. », précédemment cité.

[20] Décision n° 2018-765 DC du 12 juin 2018, Loi relative à la protection des données personnelles, non conformité partielle.