{"id":45251,"date":"2022-06-01T15:28:25","date_gmt":"2022-06-01T13:28:25","guid":{"rendered":"https:\/\/gestions-hospitalieres.fr\/?p=45251"},"modified":"2022-07-19T16:36:31","modified_gmt":"2022-07-19T14:36:31","slug":"le-principe-de-garantie-humaine-de-lia-en-sante","status":"publish","type":"post","link":"https:\/\/www.ricom-web8.com\/gestions\/le-principe-de-garantie-humaine-de-lia-en-sante\/","title":{"rendered":"Le principe de garantie humaine de l\u2019IA en sant\u00e9"},"content":{"rendered":"Temps de lecture\u00a0: <\/span> 5<\/span> minutes<\/span><\/span>

Le d\u00e9ploiement de l\u2019intelligence artificielle (IA) est source d\u2019am\u00e9liorations potentielles litt\u00e9ralement extraordinaires pour notre sant\u00e9. Ce saut qualitatif possible pour notre syst\u00e8me de soins s\u2019accompagne d\u2019un effet de levier potentiel majeur pour la croissance de la France. Il induit \u00e9galement des transformations possiblement radicales des m\u00e9tiers du champ sanitaire et m\u00e9dico-social.<\/p>\n

Dans La Machine, le M\u00e9decin et Moi<\/i>(1)<\/sup>, je montrais \u00e0 quel point notre syst\u00e8me de sant\u00e9 \u00e9tait en train de conna\u00eetre une transformation profonde sous l\u2019effet de l\u2019\u00e9mergence progressive d\u2019un v\u00e9ritable data management en sant\u00e9.<\/p>\n

L\u2019avis 129 du Comit\u00e9 consultatif national d\u2019\u00e9thique (CCNE)(2)<\/sup>, \u00e9mis dans le cadre de la pr\u00e9paration de la r\u00e9vision bio\u00e9thique, a identifi\u00e9 ces risques \u00e9thiques, notamment ceux d\u2019une d\u00e9l\u00e9gation pratique de la d\u00e9cision du m\u00e9decin et du consentement du patient \u00e0 l\u2019IA. Le principal danger est donc celui de la perte d\u2019un recul critique des soignants et des soign\u00e9s avec, en arri\u00e8re-plan, une m\u00e9canique algorithmique fond\u00e9e sur la loi du plus grand nombre, cette derni\u00e8re pouvant aller \u00e0 l\u2019encontre d\u2019int\u00e9r\u00eats d\u2019individus ou de groupes d\u2019individus.<\/p>\n

Pour r\u00e9guler ces risques \u00e9thiques, le principe de \u00ab\u2009garantie humaine de l\u2019IA\u2009\u00bb est issu d\u2019un mouvement de propositions acad\u00e9miques, citoyennes mais aussi de professionnels de sant\u00e9. L\u2019id\u00e9e fondamentale qui le justifie est simple \u00e0 formuler\u2009: ne pas laisser la machine sans supervision, ne pas courir le risque d\u2019une d\u00e9rive \u00e9thique non r\u00e9gul\u00e9e et, finalement, garder l\u2019humain au centre du dispositif.<\/p>\n

Quelles obligations\u2009?<\/h1>\n

Le principe de garantie humaine de l\u2019IA et du num\u00e9rique en sant\u00e9, introduit et port\u00e9 par Ethik-IA depuis 2017, a \u00e9t\u00e9 reconnu dans les avis 129 et 130 du CCNE et dans l\u2019article 11 du projet de loi bio\u00e9thique(3)<\/sup>, devenu l\u2019article 17 dans la loi. Cet article 17 de la loi de bio\u00e9thique entr\u00e9e en vigueur en ao\u00fbt et le principe de garantie humaine de l\u2019IA qui en d\u00e9coule impose \u00e0 tous les utilisateurs et concepteurs de solutions d\u2019IA en sant\u00e9\u2009:<\/p>\n

    \n
  • la mise en \u0153uvre d\u2019une information pr\u00e9alable du patient sur le recours \u00e0 l\u2019IA dans sa prise en charge\u2009;<\/li>\n
  • le d\u00e9ploiement d\u2019une supervision humaine de la solution d\u2019IA \u00ab\u2009en vie r\u00e9elle\u2009\u00bb dans des conditions de tra\u00e7abilit\u00e9 mises en \u0153uvre sous le contr\u00f4le et la supervision de la Cnil et de la Haute Autorit\u00e9 de sant\u00e9 (HAS)\u2009;<\/li>\n
  • la supervision peut s\u2019exercer avec le d\u00e9ploiement de \u00ab\u2009coll\u00e8ges de garantie humaine\u2009\u00bb.<\/li>\n<\/ul>\n

    Il est \u00e0 relever que le principe de garantie humaine a re\u00e7u, au cours des ann\u00e9es 2020-2021, en plus de la r\u00e9vision bio\u00e9thique, des concr\u00e9tisations dans trois autres cadres tr\u00e8s significatifs\u2009:<\/p>\n

      \n
    • la garantie humaine a \u00e9t\u00e9 int\u00e9gr\u00e9e \u00e0 la grille d\u2019auto\u00e9valuation des dispositifs m\u00e9dicaux int\u00e9grant de l\u2019IA pr\u00e9alablement \u00e0 leur admission au remboursement publi\u00e9 en octobre 2020 par la HAS\u2009;<\/li>\n
    • le principe de garantie humaine est repris dans le cadre des recommandations de l\u2019OMS sur l\u2019\u00e9thique et la gouvernance de l\u2019IA en sant\u00e9 du 28 juin 2021\u2009;<\/li>\n
    • le principe a \u00e9t\u00e9 repris dans le livre blanc sur l\u2019IA publi\u00e9 par la Commission europ\u00e9enne le 19 f\u00e9vrier 2020.<\/li>\n<\/ul>\n

      Dans la nouvelle loi de bio\u00e9thique, les dispositions concern\u00e9es figurent \u00e0 l\u2019article\u00a017. Les termes \u00ab\u2009garantie humaine\u2009\u00bb ne figurent pas dans le texte lui-m\u00eame mais sont en revanche tr\u00e8s directement repris dans l\u2019expos\u00e9 des motifs du projet de loi(4)<\/sup> et dans son \u00e9tude d\u2019impact(5)<\/sup>. Ce positionnement correspond \u00e0 la distinction que l\u2019on peut effectuer entre un principe \u00e9thique g\u00e9n\u00e9ral et ses concr\u00e9tisations op\u00e9rationnelles en droit positif.<\/p>\n

      Dans son avis rendu sur la loi de bio\u00e9thique, le Conseil d\u2019\u00c9tat a, par ailleurs, d\u00e9gag\u00e9 une continuit\u00e9 entre le principe g\u00e9n\u00e9ral de pr\u00e9servation de la d\u00e9cision humaine en cas de traitement algorithmique reconnu par le Conseil constitutionnel dans sa d\u00e9cision sur la loi de transposition du RGPD et les dispositions ainsi port\u00e9es par le projet de loi bio\u00e9thique.<\/p>\n

      Le principe de garantie humaine de l\u2019IA (Human Oversight<\/i>) est \u00e9galement introduit \u00e0 l\u2019article 14 du projet de r\u00e8glement sur l\u2019intelligence artificielle de la Commission europ\u00e9enne diffus\u00e9 le 21 avril 2021 et en phase de finalisation dans le cadre de la pr\u00e9sidence fran\u00e7aise de l\u2019Union europ\u00e9enne (PFUE). L\u2019article 14 du projet de r\u00e8glement de la Commission europ\u00e9enne sur l\u2019IA instituant ce principe se situe dans le droit-fil de ces d\u00e9marches pilotes et de ces recommandations.<\/p>\n

      On retrouve dans cet article 14 les deux axes essentiels de l\u2019article 17 et des m\u00e9thodologies construites par Ethik-IA depuis 2017 dans le champ de la sant\u00e9\u2009:<\/p>\n

        \n
      • l\u2019information des utilisateurs de la solution d\u2019IA\u2009;<\/li>\n
      • la supervision humaine de l\u2019IA dans sa phase de conception et, dans une logique d\u2019am\u00e9lioration continue de la qualit\u00e9, dans son utilisation en vie r\u00e9elle.<\/li>\n<\/ul>\n

        Cette nouvelle compliance requiert donc la d\u00e9monstration d\u2019une garantie humaine effective et tra\u00e7able. Plusieurs options peuvent \u00eatre prises pour s\u2019y conformer. Nous pr\u00e9sentons ici la m\u00e9thodologie dite des \u00ab\u2009coll\u00e8ges de garantie humaine\u2009\u00bb port\u00e9e par Ethik-IA depuis 2017 et entrant dans le champ d\u2019un processus de normalisation en cours avec l\u2019Afnor et d\u2019un accord-cadre sign\u00e9 \u00e0 la fin de l\u2019ann\u00e9e 2021 avec le Digital M\u00e9dical Hub de l\u2019AP-HP.<\/p>\n

        Ne pas laisser la machine sans supervision, ne pas courir le risque d\u2019une d\u00e9rive \u00e9thique non r\u00e9gul\u00e9e, garder l\u2019humain au centre du dispositif\u2026<\/p><\/blockquote>\n

        Les coll\u00e8ges de garantie humaine<\/h1>\n

        Les coll\u00e8ges de garantie humaine peuvent associer experts du num\u00e9rique, m\u00e9decins, professionnels param\u00e9dicaux et repr\u00e9sentants des usagers dans le but d\u2019assurer la supervision humaine d\u2019un algorithme. Leur vocation est d\u2019assurer dans la phase de conception et en vie r\u00e9elle une supervision de l\u2019efficacit\u00e9 et du caract\u00e8re \u00e9thique des services num\u00e9riques mis en jeu. L\u2019objectif consiste \u00e0 s\u2019assurer \u00ab\u2009au fil de l\u2019eau\u2009\u00bb que l\u2019application ou l\u2019algorithme reste sur un d\u00e9veloppement op\u00e9rationnel \u00e0 la fois efficace m\u00e9dicalement et responsable \u00e9thiquement.<\/p>\n

        Un projet pilote conduit par Ethik-IA sous l\u2019\u00e9gide de l\u2019UFSBD<\/h2>\n

        L\u2019Union fran\u00e7aise pour la sant\u00e9 bucco-dentaire (UFSBD) a confi\u00e9 \u00e0 Ethik-IA la r\u00e9alisation d\u2019un audit juridique et \u00e9thique du fonctionnement de la solution Oralien (solution d\u2019IA de reconnaissance d\u2019image mise en \u0153uvre par la start-up fran\u00e7aise Dental Monitoring dans le domaine dentaire s\u2019appliquant \u00e0 48\u00a0Ehpad dans le cadre d\u2019un protocole de financements innovants article 51 LFSS) afin de s\u2019assurer de la conformit\u00e9 de celle-ci avec les r\u00e8gles en mati\u00e8re de protection des donn\u00e9es \u00e0 caract\u00e8re personnel, notamment au regard des obligations sp\u00e9cifiques qui s\u2019imposent en mati\u00e8re de donn\u00e9es dites \u00ab\u2009sensibles\u2009\u00bb concernant la sant\u00e9. Tout comme Ethik-IA, l\u2019UFSBD a fait le choix strat\u00e9gique de s\u2019inscrire dans le cadre de PariSant\u00e9 Campus.<\/p>\n

        Le coll\u00e8ge de garantie humaine joue ainsi le r\u00f4le de deuxi\u00e8me avis humain sur une s\u00e9lection de dossiers al\u00e9atoires\u2009; il est positionn\u00e9 aupr\u00e8s de l\u2019UFSBD et se r\u00e9unit sous son \u00e9gide. En pratique, ce coll\u00e8ge mobilise une \u00e9quipe de quatre experts r\u00e9viseurs chirurgiens-dentistes, ind\u00e9pendants de Dental Monitoring choisis par l\u2019UFSBD.<\/p>\n

        Le coll\u00e8ge est compl\u00e9t\u00e9 par des repr\u00e9sentants des \u00e9tablissements concern\u00e9s par l\u2019exp\u00e9rimentation, des repr\u00e9sentants des patients et de Dental Monitoring. Il se r\u00e9unit tous les trimestres et \u00e9tudie \u00e0 chaque rencontre 30\u00a0dossiers identifi\u00e9s, soit de mani\u00e8re al\u00e9atoire, soit \u00e0 partir d\u2019\u00e9v\u00e9nements ind\u00e9sirables remont\u00e9s par les acteurs de terrain de l\u2019exp\u00e9rimentation. Pour chacun de ces dossiers, une grille d\u2019analyse \u00e9labor\u00e9e par Ethik-IA, en collaboration avec l\u2019UFSBD, est renseign\u00e9e.<\/p>\n

        Cette exp\u00e9rimentation pilote est men\u00e9e en articulation \u00e9troite avec la HAS et le Snitem dans une optique d\u2019extrapolation de cette m\u00e9thodologie de v\u00e9rification de la conformit\u00e9 Garantie Humaine pour tous les utilisateurs d\u2019IA. Un processus de normalisation a \u00e9galement \u00e9t\u00e9 engag\u00e9 avec l\u2019Afnor.<\/p>\n

        Perspectives de d\u00e9ploiement<\/h2>\n

        Depuis le projet UFSBD, Ethik-IA a d\u00e9velopp\u00e9 une dizaine de pilotes de m\u00e9thodologies de garantie humaine de l\u2019IA en sant\u00e9 dans des domaines aussi divers que les essais cliniques in silico<\/i> avec le secteur pharmaceutique, l\u2019IA en g\u00e9nomique, l\u2019IA de pharmacovigilance ou la d\u00e9tection de pathologies par traitements massifs de donn\u00e9es dans des programmes de responsabilit\u00e9 populationnelle en sant\u00e9. Pour rendre la m\u00e9thodologie plus facilement tra\u00e7able et duplicable, une plateforme de conformit\u00e9 en garantie humaine de l\u2019IA a \u00e9t\u00e9 d\u00e9velopp\u00e9e avec Luminess en environnement certifi\u00e9 HDS. Cet outil permet notamment la mise en \u0153uvre facilit\u00e9e des revues de cas humain versus<\/i> IA tout en ayant vocation \u00e0 permettre une comparabilit\u00e9 et un \u00e9talonnage des r\u00e9sultats dans une logique d\u2019am\u00e9lioration continue de la qualit\u00e9. Dans le m\u00eame esprit de synergie, Luminess et son pr\u00e9sident Thibault Lanxade ont choisi d\u2019inscrire leurs \u00e9quipes sant\u00e9 dans l\u2019\u00e9cosyst\u00e8me de PariSant\u00e9 Campus.<\/p>\n

        L\u2019int\u00e9gration d\u2019Ethik-IA au sein de PariSant\u00e9 Campus permet donc de diffuser tout \u00e0 la fois le principe de garantie humaine et une m\u00e9thodologie extrapolable de compliance aupr\u00e8s des nombreux acteurs de l\u2019IA pr\u00e9sents sur site, et ainsi de positionner le premier Hub international de d\u00e9ploiement de cette nouvelle conformit\u00e9.<\/p>\n

        La d\u00e9marche est par ailleurs en phase d\u2019extrapolation \u00e0 d\u2019autres domaines d\u2019application de l\u2019IA (logement, legal tech<\/i>, communications \u00e9lectroniques et postales). La diffusion de cette m\u00e9thodologie au niveau europ\u00e9en est elle aussi \u00e0 un stade avanc\u00e9, en particulier dans le cadre des travaux du S\u00e9minaire du patient num\u00e9rique.<\/p>\n