Cécile Petitgand, chercheuse postdoctorale au H-POD (Hub santé : politique, organisations et droit) et membre de JusticIA a signé le 10 mars dernier un billet de blogue sur le site de la Chaire de recherche du Canada sur la culture collaborative en droit et politiques de la santé.
En raison de son intérêt au regard des travaux de JusticIA, nous le reproduisons ici :
Le 19 février dernier, la Commission européenne a publié plusieurs documents clés pour donner corps à sa nouvelle stratégie numérique au service de la “souveraineté technologique européenne » et de la transition vers une économie verte. Parmi ces documents, le nouveau livre blanc sur l’intelligence artificielle (IA) propose des mesures concrètes pour impulser le développement et le déploiement de systèmes d’IA qui soient effectifs, sécures et dignes de confiance. Dans cet article, nous proposons de découvrir en quoi consistent ces propositions réglementaires, qui posent déjà plusieurs défis pour les entreprises canadiennes qui souhaitent commercialiser leurs technologies médicales en Union européenne (UE).
Bâtir un « écosystème d’excellence »
Face à la domination des concurrents nord-américains et asiatiques, l’UE souhaite renforcer ses actifs humains et technologiques de manière à bâtir un « écosystème d’excellence en IA ». Avec l’injection de 20 milliards d’euros dans les dix prochaines années, les dirigeants européens veulent non seulement stimuler la recherche et l’innovation, mais aussi accompagner les populations dans cette transition technologique. Les investissements annoncés, qui viendront aussi bien du public que du privé, serviront notamment à mettre sur un pied « un marché unique des données » (single market for data) qui devra favoriser le développement de systèmes d’IA performants, tout en permettant aux citoyens de garder un plus grand contrôle sur leurs données, dont celles qui ont trait à leur état de santé.
Conscients que l’expertise humaine devra accompagner les avancées technologiques en IA, les dirigeants européens souhaitent investir massivement dans la formation des populations, en lançant un plan d’action en éducation numérique. Ce plan visera à soutenir la transformation numérique des établissements d’enseignement secondaire et supérieur, de façon à former une plus grande quantité d’expert(e)s en IA (plus de femmes et de minorités notamment). À ces investissements s’ajoutera la constitution de Hub d’innovation dans chaque État membre dont la mission sera d’appuyer les administrations publiques, les chercheurs, les entrepreneurs, les industriels, les organisations à but non lucratif et les citoyens dans le développement et le déploiement de systèmes d’IA qui servent l’intérêt public. C’est le cas par exemple des systèmes auto-apprenants qui visent à aider les médecins à poser des diagnostics pour gagner en efficience et en précision.
Légende : L’écosystème d’excellence que souhaite bâtir l’Union européenne
Bâtir un « écosystème de confiance »
Outre ce plan d’action socio-économique, la Commission européenne a élaboré un ensemble de propositions réglementaires pour favoriser la mise en œuvre de systèmes d’IA qui soient dignes de confiance (trustworthy). En s’appuyant sur les travaux des membres du groupe d’experts de haut niveau sur l’IA, la Commission propose six critères génériques pour autoriser ou non la mise sur le marché européen des systèmes d’IA jugés « à haut risque » – catégorie incluant selon l’UE l’ensemble des algorithmes utilisés dans le secteur de la santé.
- Données d’entraînement : les données utilisées pour entraîner les systèmes d’IA doivent être représentatives de la population (absence de biais) et être adéquatement protégées de façon à générer un minimum de risques au cours de l’utilisation des systèmes.
- Enregistrement des données et des informations : la nature des données d’entraînement ainsi que l’ensemble des techniques et méthodes utilisées pour développement le système d’IA doivent être renseignées auprès des instances de réglementation. Celles-ci peuvent même exiger dans certains cas d’avoir accès aux bases de données d’entraînement détenus par les entreprises qui ont développé les systèmes.
- Partage de l’information : Les instances de réglementation doivent connaître les capacités et les limites des systèmes d’IA, ceci incluant leur niveau de fiabilité et leur risque d’erreur. Les citoyens, quant à eux, doivent savoir quand ils sont amenés à interagir avec une machine et non avec un humain (par exemple, lorsqu’ils conversent avec un chatbot qui leur propose d’analyser leurs symptômes).
- Robustesse et exactitude :Les développeurs de systèmes d’IA doivent mettre en œuvre toutes les mesures possibles pour garantir l’effectivité et la sécurité maximales de ces systèmes. Cette exigence s’applique également aux personnes chargées du déploiement des systèmes d’IA dans les organisations, comme les gestionnaires des établissements de soins.
- Supervision humaine : Dépendamment de l’utilisation qui sera faite d’un système et de ses effets attendus, le niveau de contrôle humain exigé varie. Toutefois, pour les systèmes d’IA à haut risque, par exemple ceux utilisés pour diagnostiquer une tumeur ou prédire son évolution, une intervention humaine est indispensable pour vérifier la validité d’une décision algorithmique.
- Outre ces critères, d’autres conditions s’appliquent pour les systèmes d’IA à caractère très sensible, comme ceux qui servent à la reconnaissance faciale dans les lieux publics. De tels systèmes peuvent contrevenir aux droits humains fondamentaux lorsqu’ils conduisent à des situations de profilage et de discrimination. Pour cette raison, la Commission européenne considère les systèmes de reconnaissance biométrique comme des cas particuliers, qui doivent faire l’objet de restrictions supplémentaires.
Avancées et incertitudes
Les propositions de la Commission européenne sont indéniablement ambitieuses et prometteuses pour le développement et le déploiement responsables de l’IA. Elles visent en effet à uniformiser les cadres réglementaires de 27 pays aux sensibilités politiques et aux niveaux de développement économique et technologique relativement variés. Cet effort d’uniformisation réglementaire, s’il parvient à son terme, fera de l’UE un espace d’une plus grande clarté juridique pour les développeurs et les vendeurs de systèmes d’IA, qu’ils soient européens ou étrangers. En effet, aujourd’hui, une entreprise canadienne souhaitant commercialiser un dispositif médical d’IA en UE doit se conformer aux législations spécifiques de chaque pays, outre les normes et standards du bloc européen. Une fois la stratégie IA de l’UE arrivée à pleine maturité, ces procédures pourront être simplifiées.
Pour autant, de nombreuses incertitudes pèsent encore sur le plan de certification européen en IA. En effet, s’il est louable pour la Commission d’adopter une approche réglementaire proportionnée au risque, aucun élément n’indique clairement comment celle-ci pourra être mise en œuvre. En effet, la Commission fournit très peu de précisions quant aux critères utilisés pour analyser le niveau de risque des systèmes d’IA. Est-ce que tous les systèmes qui seront introduits dans les organisations de santé seront considérés comme particulièrement sensibles et donc soumis à de nombreuses exigences ? Pensons par exemple à des systèmes d’IA qui visent l’optimisation des processus de prises de rendez-vous dans les hôpitaux. Pour les petites et moyennes entreprises qui commercialisent ces systèmes, l’exigence d’une certification européenne pourrait apparaître comme trop coûteuse et trop bureaucratique.
Enfin, il est permis de douter du réalisme de certaines propositions réglementaires qui, bien qu’utiles et louables, répétons-le, risquent fort bien d’être difficiles à mettre en œuvre. La Commission préconise en effet que les développeurs de systèmes d’IA doivent, dans certains cas, fournir aux instances de régulation les jeux de données ayant servi à l’entraînement et à la validation de leurs systèmes. Toutefois, dans le domaine de l’IA, où les brevets n’ont pas lieu d’être, le secret industriel repose largement sur les données détenues par les industriels. Pourrait-on imaginer qu’une entreprise comme Google DeepMind, à la pointe de l’IA en santé, consente à partager les données dont elle dispose avec les législateurs pour montrer patte blanche et autoriser la mise en marché de ses produits ?
Pour cela, il sera nécessaire de mettre en œuvre des instances de réglementation qui remportent non seulement la confiance des citoyens mais aussi celle des industriels, afin que le partage de données et d’informations puisse fonctionner sans risque de conduire à une perte de compétitivité pour les entreprises les plus performantes du domaine de l’IA et de la santé.
Ce contenu a été mis à jour le 13 mars 2020 à 14 h 34 min.
Commentaires