- 5 décembre -
Depuis 2021, nous documentons via notre campagne France Contrôle les algorithmes de contrôle social utilisés au sein de nos administrations sociales. Dans ce cadre, nous avons en particulier analysé le recours aux algorithmes de notation. Après avoir révélé que l’algorithme utilisé par la CAF visait tout particulièrement les plus précaires, nous démontrons, via la publication de son code<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_25023_4_1').tooltip({ tip: '#footnote_plugin_tooltip_text_25023_4_1', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });</script>
, que l’Assurance Maladie utilise un algorithme similaire ciblant directement les femmes en situation de précarité.
Depuis 2018, un algorithme développé par l’Assurance Maladie (CNAM) attribue une note, ou score de suspicion, à chaque foyer bénéficiant de la Complémentaire Santé Solidaire gratuite (C2SG), soit 6 millions de personnes parmi les plus pauvres de France<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_25023_4_2').tooltip({ tip: '#footnote_plugin_tooltip_text_25023_4_2', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });</script>
. Cette note sert à sélectionner les foyers devant faire l’objet d’un contrôle. Plus elle est élevée, plus la probabilité qu’un foyer soit contrôlé est grande. Suite à une erreur de la CNAM, nous avons pu avoir accès au code source de cet algorithme que nous rendons public avec cet article. Le constat est accablant.
L’algorithme cible délibérément les mères précaires. Ces dernières, ouvertement présentées dans des documents officiels par les responsables de la CNAM comme étant « les plus à risques d’anomalies et de fraude »<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_25023_4_3').tooltip({ tip: '#footnote_plugin_tooltip_text_25023_4_3', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });</script>
, reçoivent un score de suspicion plus élevé que le reste des assuré·es. En retour, elles subissent un plus grand nombre de contrôles. Notons que les – trop rares – témoignages dont nous disposons montrent que ces contrôles peuvent notamment aboutir à des suspensions abusives de couverture santé entraînant des ruptures d’accès aux soins aux conséquences particulièrement graves, et ce, pour l’ensemble des ayants droit du foyer dont les enfants<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_25023_4_4').tooltip({ tip: '#footnote_plugin_tooltip_text_25023_4_4', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });</script>
.
Stigmatiser les femmes précaires
« Première demande dont le demandeur est une femme de plus de 25 ans avec plus d’un majeur et au moins un mineur dans le foyer »<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_25023_4_5').tooltip({ tip: '#footnote_plugin_tooltip_text_25023_4_5', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });</script>
. Voici, mot pour mot, comment est décrit, au détour d’une slide PowerPoint, ce que les responsables de la CNAM appellent le « profil-type du fraudeur »<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_25023_4_6').tooltip({ tip: '#footnote_plugin_tooltip_text_25023_4_6', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });</script>
. C’est ce « profil-type » que l’algorithme est chargé d’aller détecter parmi les assuré·es. Plus une personne se rapproche de ce profil, plus son score de suspicion est élevé et sa probabilité d’être contrôlée est grande.
L’analyse du code de l’algorithme vient confirmer cette description. Parmi les variables utilisées par l’algorithme et augmentant le score de suspicion, on trouve notamment le fait d’être une femme, d’avoir des enfants mineurs ou d’être âgé·e de plus de 25 ans<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_25023_4_7').tooltip({ tip: '#footnote_plugin_tooltip_text_25023_4_7', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });</script>
.
Si cet algorithme ne fait pas directement apparaître de critères liés à la précarité économique, c’est tout simplement que ce critère est déjà présent de base dans la définition de la population analysée. Bénéficiaire de la C2SG, cette « femme de plus de 25 ans » fait partie des 6 millions de personnes les plus pauvres de France, dont la majorité est allocataire du RSA et/ou privée d’emploi<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_25023_4_8').tooltip({ tip: '#footnote_plugin_tooltip_text_25023_4_8', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });</script>
.
Vers un ciblage des personnes malades ou en situation de handicap ?
En complément du code de l’algorithme utilisé depuis 2018, nous avons obtenu celui d’un modèle expérimental développé en vue d’évolutions futures. En plus de cibler les mères précaires, ce modèle ajoute aux critères venant augmenter le score de suspicion d’un·e assuré·e le fait d’être en situation de handicap (« bénéficier d’une pension d’invalidité »), d’être malade (être « consommateur de soin » ou avoir « perçu des indemnités journalières », c’est-à-dire avoir été en arrêt maladie) ou encore… d’être « en contact avec l’Assurance Maladie »<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_25023_4_9').tooltip({ tip: '#footnote_plugin_tooltip_text_25023_4_9', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });</script>
.
Une précision s’impose. Le fait que ce modèle expérimental n’ait pas été généralisé n’est en rien lié à un sursaut de décence de la part de la CNAM. Son « efficience » fut au contraire vantée dans des documents distribués lors de sa présentation en « Comité de direction Fraude » début 2020<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_25023_4_10').tooltip({ tip: '#footnote_plugin_tooltip_text_25023_4_10', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });</script>
. Le seul problème, y expliquent les équipes de statisticien·nes de la CNAM, est que son utilisation n’est pas légale car ce nouveau modèle nécessiterait un « croisement de données non autorisé ». Pour pouvoir le mettre en place, les équipes cherchent à appâter les dirigeant⸱es de la CNAM afin de gagner leur appui pour obtenir le changement réglementaire nécessaire à la mise en place de ce croisement de données<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_25023_4_11').tooltip({ tip: '#footnote_plugin_tooltip_text_25023_4_11', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });</script>
.
Opacité et indécence
S’il est une chose cruciale que montrent les documents que nous rendons publics, c’est que les dirigeant⸱es de la CNAM sont parfaitement au courant de la violence des outils qu’ils et elles ont validé. Nul besoin d’être expert·e en statistique pour comprendre les descriptions retranscrites ci-dessus relatives du « profil-type du fraudeur »<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_25023_4_12').tooltip({ tip: '#footnote_plugin_tooltip_text_25023_4_12', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });</script>
que l’algorithme est chargé de cibler.
Mais plutôt que de s’y opposer, les responsables de la CNAM ont préféré utiliser l’opacité entourant son fonctionnement pour en tirer profit. Technique « à la pointe de la technologie », « intelligence artificielle » permettant une « détection proactive » de la fraude, outil prédictif « à la Minority Report » : voici comment, au gré de rapports officiels ou d’interventions publiques, ce type d’outil est vanté<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_25023_4_13').tooltip({ tip: '#footnote_plugin_tooltip_text_25023_4_13', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });</script>
. L’absence de transparence vis à vis du grand public quant aux critères de ciblage de l’algorithme permet de masquer la réalité des politiques de contrôles. Cette situation permet alors aux dirigeant.es de l’Assurance Maladie de faire briller leurs compétences gestionnaires et leur capacité d’innovation sur le dos des plus précaires.
Au caractère indécent d’une telle présentation, ajoutons ici qu’elle est en plus mensongère. Car, contrairement à la manière dont il est présenté, l’algorithme n’est pas construit pour détecter les seules situations de fraudes. La documentation technique montre qu’il est entraîné pour prédire le fait qu’un dossier présente ce que l’Assurance Maladie appelle une « anomalie », c’est à dire le fait que les revenus d’un·e assuré·e dépasse le plafond de revenus de la C2S<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_25023_4_14').tooltip({ tip: '#footnote_plugin_tooltip_text_25023_4_14', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });</script>
. Or seule une partie de ces « anomalies » – lorsque l’écart entre les revenus et le plafond dépasse un certain montant – est classifiée comme fraude par l’Assurance-Maladie. Tout laisse à penser que la majorité des « anomalies » détectées par l’algorithme résulte avant tout d’erreurs involontaires, liées à la complexité des critères d’attribution de la C2SG qui inclut notamment l’ensemble des revenus dont le foyer dispose, et ce, jusqu’aux cadeaux et dons familiaux<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_25023_4_15').tooltip({ tip: '#footnote_plugin_tooltip_text_25023_4_15', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });</script>
.
Cette communication est finalement à mettre en perspective face aux enjeux financiers. En 2022, le directeur de l’Assurance Maladie annonçait que la fraude à l’ensemble de la C2S était estimée à 1% de son coût, soit 25 millions sur plus de 2,5 milliards d’euros<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_25023_4_16').tooltip({ tip: '#footnote_plugin_tooltip_text_25023_4_16', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });</script>
. En revanche, le taux de non-recours à cette prestation sociale était lui estimé à plus de 30%, soit un « gain » d’environ… un milliard d’euros pour la CNAM<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_25023_4_17').tooltip({ tip: '#footnote_plugin_tooltip_text_25023_4_17', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });</script>
. Ces chiffres soulignent l’hypocrisie politique de l’importance de lutter contre la fraude à la C2SG – et la nécessité des outils dopés à l’intelligence artificielle – tout en démontrant que le recours à de tels outils est avant tout une question d’image et de communication au service des dirigeant·es de l’institution.
Technique et déshumanisation
Il est une dernière chose que mettent en lumière les documents que nous rendons public. Rédigés par les équipes de statisticien·nes de la CNAM, ils offrent un éclairage particulièrement cru sur l’absence flagrante de considération éthique par les équipes techniques qui développent les outils numériques de contrôle social. Dans ces documents, nulle part n’apparaît la moindre remarque quant aux conséquences humaines de leurs algorithmes. Leur construction est abordée selon des seules considérations techniques et les modèles uniquement comparés à l’aune du sacro-saint critère d’efficience.
On perçoit alors le risque que pose la numérisation des politiques de contrôle dans le poids qu’elle donne à des équipes de data-scientists coupées des réalités de terrain – ils et elles ne seront jamais confrontées à la réalité d’un contrôle et à leurs conséquences en termes d’accès aux soins – et nourries d’une vision purement mathématique du monde.
On appréhende aussi l’intérêt d’une telle approche pour les responsables des administrations sociales. Ils et elles n’ont plus à faire face aux éventuelles réticences des équipes de contrôleur·ses lors de la définition des politiques de contrôle<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_25023_4_18').tooltip({ tip: '#footnote_plugin_tooltip_text_25023_4_18', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });</script>
. Ils et elles n’ont d’ailleurs même plus à expliquer la façon dont ces politiques ont été construites aux équipes de contrôleur·ses, à qui il est simplement demandé de contrôler les dossiers les moins bien notés par un algorithme-boîte-noire.
Le problème n’est pas technique mais politique
Depuis maintenant deux ans, nous documentons la généralisation des algorithmes de notation à des fins de contrôle au sein de notre système social. À l’instar de la CNAM, nous avons montré qu’ils étaient aujourd’hui utilisés à la Caisse Nationale des Allocations Familiales (CNAF), l’Assurance-Vieillesse ou encore la Mutualité Sociale Agricole et ont été expérimentés à France Travail.
Depuis deux ans, nous alertons sur les risques associés à l’essor de ces techniques, tant en termes de surveillance numérique que de discriminations et de violence institutionnelle. Surtout, nous n’avons eu de cesse de répéter que, quelques soient les institutions sociales, ces algorithmes ne servent qu’un seul objectif : faciliter l’organisation de politiques de harcèlement et de répression des plus précaires, et ce grâce à l’opacité et au vernis scientifique qu’ils offrent aux responsables des administrations sociales.
C’est désormais chose prouvée pour deux administrations. Pour la CNAM avec cet article. Mais aussi pour la CNAF, dont nous avons publié il y a tout juste un an le code de l’algorithme de notation alimenté par les données personnelles de plus de 30 millions de personnes, et que nous avons attaqué devant le Conseil d’État en octobre dernier avec 14 autres organisations en raison du ciblage des personnes en situation de précarité, de handicap ou encore les mères isolées.
Nous espérons que cet article, associé à ceux publiés sur la CNAF, finira de démontrer qu’il n’est pas nécessaire d’accéder au code de l’ensemble de ces algorithmes pour connaître leurs conséquences sociales. Car le problème n’est pas technique mais politique.
Vendus au nom de la soi-disant « lutte contre la fraude sociale », ces algorithmes sont en réalité conçus pour détecter des trop-perçus, ou indus, dont toutes les études montrent qu’ils se concentrent sur les personnes précaires en très grande difficulté. En effet, ces indus sont largement le fait d’erreurs déclaratives involontaires consécutives à deux principaux facteurs: la complexité des règles d’attribution des minima sociaux (RSA, AAH, C2SG…) et des situations personnelles de grande instabilité (personnelle, professionnelle ou administrative). Un ancien responsable de la CNAF expliquait ainsi que « Les indus s’expliquent […] par la complexité des prestations, le grand nombre d’informations mobilisées pour déterminer les droits et l’instabilité accrue de la situation professionnelle des allocataires », ce qui est avant tout le cas pour les « prestations liées à la précarité […] très tributaires de la situation familiale, financière et professionnelle des bénéficiaires »<script type="text/javascript"> jQuery('#footnote_plugin_tooltip_25023_4_19').tooltip({ tip: '#footnote_plugin_tooltip_text_25023_4_19', tipClass: 'footnote_tooltip', effect: 'fade', predelay: 0, fadeInSpeed: 200, delay: 400, fadeOutSpeed: 200, position: 'top right', relative: true, offset: [10, 10], });</script>
.
Autrement dit, ces algorithmes ne peuvent pas être améliorés car ils ne sont que la traduction technique d’une politique visant à harceler et réprimer les plus précaires d’entre nous.
Lutter
L’hypocrisie et la violence de ces pratiques et des politiques qui les sous-tendent doivent être dénoncées et ces algorithmes abandonnés. Quant aux responsables qui les appellent de leurs vœux, les valident et les promeuvent, ils et elles doivent répondre de leur responsabilité.
Pour nous aider à continuer à documenter ces abus, vous pouvez nous faire un don. Nous appelons également celles et ceux qui, bénéficiaires de la C2SG ou non, souhaitent agir contre cet algorithme et plus largement les politiques de contrôles de la CNAM. Assuré·es, collectifs, syndicats, employé·es de la CNAM, vous pouvez nous contacter sur algos@laquadrature.net pour réfléchir collectivement aux suites à donner à cette publication.
<script type="text/javascript"> function footnote_expand_reference_container_25023_4() { jQuery('#footnote_references_container_25023_4').show(); jQuery('#footnote_reference_container_collapse_button_25023_4').text('−'); } function footnote_collapse_reference_container_25023_4() { jQuery('#footnote_references_container_25023_4').hide(); jQuery('#footnote_reference_container_collapse_button_25023_4').text('+'); } function footnote_expand_collapse_reference_container_25023_4() { if (jQuery('#footnote_references_container_25023_4').is(':hidden')) { footnote_expand_reference_container_25023_4(); } else { footnote_collapse_reference_container_25023_4(); } } function footnote_moveToReference_25023_4(p_str_TargetID) { footnote_expand_reference_container_25023_4(); var l_obj_Target = jQuery('#' + p_str_TargetID); if (l_obj_Target.length) { jQuery( 'html, body' ).delay( 0 ); jQuery('html, body').animate({ scrollTop: l_obj_Target.offset().top - window.innerHeight * 0.2 }, 380); } } function footnote_moveToAnchor_25023_4(p_str_TargetID) { footnote_expand_reference_container_25023_4(); var l_obj_Target = jQuery('#' + p_str_TargetID); if (l_obj_Target.length) { jQuery( 'html, body' ).delay( 0 ); jQuery('html, body').animate({ scrollTop: l_obj_Target.offset().top - window.innerHeight * 0.2 }, 380); } }</script>
La Quadrature du Net est une association de défense des droits et libertés des citoyens sur Internet. Elle promeut une adaptation de la législation française et européenne qui soit fidèle aux valeurs qui ont présidé au développement d'Internet, notamment la libre circulation de la connaissance.À ce titre, La Quadrature du Net intervient notamment dans les débats concernant la liberté d'expression, le (...)
VSA et biométrie : la CNIL démissionnaire
- 4 décembre -
Particulièrement défaillante sur les sujets liés à la surveillance d’État, la CNIL a encore manqué une occasion de s’affirmer comme véritable (...)
C’est pas de l’IA, c’est de l’exploitation dernier cri
- 29 novembre -
Après deux ans passés à diversifier ses champs d’action, La Quadrature du Net s’attaque désormais à un nouveau front : la lutte contre le déferlement de (...)
C’EST PAS DE L’IA
- 28 novembre -
Quand on entend parler d’intelligence artificielle, c’est l’histoire d’un mythe moderne qui nous est racontée. Celui d’une IA miraculeuse qui doit (...)
Enquête : à Marseille comme ailleurs, l’accaparement du territoire par les infrastructures du numérique
- 20 novembre -
Depuis fin 2023, le collectif marseillais Le Nuage était sous nos pieds enquête, analyse et lutte contre les impacts sociaux, écologiques et (...)
Briefcam au Ministère de l’Intérieur : le rapport d’inspection tente de noyer le poisson
- 8 novembre -
L’an dernier, le média d’investigation Disclose révélait que depuis des années, en se sachant dans l’illégalité la plus totale, la police nationale avait (...)