Doit-on confier les décisions de vie ou de liberté aux technologies d'intelligence artificielle ? La question mérite d'être posée étant donné que l'IA est aujourd'hui vue comme la solution à tous les problèmes dans notre société. À la vitesse avec laquelle les choses avancent, c'est possible que l'IA soit le décideur de demain dans presque tous les domaines, y compris sur le champ de bataille dans des zones de guerre. En tout cas, de nombreux pays y travaillent, en commençant par les USA. Rappelons qu'ils comptaient sur Google pour développer leur projet Maven, qui vise à fournir à l'armée une vision par ordinateur avancée permettant de détecter et identifier automatiquement des objets, dans pas moins de 38 catégories, capturés par la caméra d'un drone. Ce qui laisse croire que Maven pourrait être utilisée pour des frappes ciblées. Heureusement, Google a fait marche arrière après la vague de protestations à laquelle l'entreprise a fait face. Mais cela ne semble pas avoir freiné les USA dans leurs ambitions d'IA militaires.Le pays de l'Oncle Sam s'approprie de bien d'autres manières l'IA dans des décisions qui pourraient mettre en péril la vie ou la liberté des populations. Par exemple, les services de police utilisent des algorithmes prédictifs pour décider où envoyer leurs agents. Les forces de l'ordre utilisent aussi des systèmes de reconnaissance faciale pour identifier les suspects. À propos, les chercheurs et les défenseurs des droits civils ont maintes fois démontré que les systèmes de reconnaissance faciale pouvaient commettre de grosses erreurs. Ils présentent des biais au détriment des personnes de couleur ; un danger qui a été montré l'année passée quand la technologie de reconnaissance faciale d'Amazon a identifié à tort 28 membres du Congrès US comme étant des criminels.
Mais l'outil IA le plus redoutable est sans doute celui qui doit être utilisé par le système judiciaire pour emprisonner des accusés ou fixer leur peine correctionnelle : des algorithmes d'évaluation des risques criminels. Les USA sont en effet confrontés à un gros problème, ils emprisonnent plus de personnes que tout autre pays au monde. À la fin de 2016, près de 2,2 millions d'adultes étaient détenus en prison et 4,5 millions supplémentaires dans d'autres établissements correctionnels. En d'autres termes, un Américain adulte sur 38 était sous une forme ou une autre de surveillance correctionnelle. Sous la pression immense de réduire le nombre de prisonniers sans risquer d'augmenter la criminalité, les salles d'audience à travers les États-Unis se sont donc tournées vers des outils automatisés pour tenter d'affecter les accusés dans le système judiciaire de la manière la plus efficace et sûre possible. Et c'est là que cette IA en entrée en jeu.
Les outils d’évaluation des risques sont conçus pour faire une chose : noter les détails du profil de l’accusé et lui attribuer un score de récidive. En se basant sur ce score et d'autres paramètres, un juge peut déterminer le type de services de réhabilitation que doivent recevoir certains accusés, s’ils doivent être incarcérés avant le procès et quelle doit être la durée de leur peine. Un score faible ouvre la voie à un destin plus généreux. Et un score élevé vous expose à un destin pénible. L'idée derrière l'utilisation de tels outils algorithmiques est que si vous pouvez prédire avec précision un comportement criminel, vous pouvez affecter des ressources en conséquence, que ce soit pour sa réhabilitation ou pour des peines de prison. En théorie, cela réduit également tout biais influençant le processus, car les juges prennent leurs décisions en se basant sur des recommandations fondées sur des données et non sur leur instinct.
Mais le problème est que ces outils modernes d'évaluation de risques reposent souvent sur des algorithmes formés à partir de données historiques sur la criminalité. Ainsi, les populations qui historiquement ont été ciblées de manière disproportionnée par les forces de l'ordre - en particulier les minorités et les communautés à faible revenu - risquent de se voir attribuer des scores élevés de récidive. En 2016 par exemple, il a été découvert en Floride que l'outil IA utilisé pour prédire si un accusé commettra de futurs crimes juge les Noirs plus sévèrement que les Blancs. À titre d'exemple, Propublica, le média qui relatait l'affaire a révélé que deux personnes arrêtées pour possession de drogue, l'une (un homme blanc) a été classée comme étant à faible risque (niveau 3/10), alors que l'autre (un homme noir) a été classée comme étant à risque élevé (niveau 10/10). Le premier a pourtant été coupable de la même infraction trois fois plus tard, contrairement à l'autre accusé qui n'a été coupable d'aucune infraction plus après sa libération.
Le débat sur l'utilisation de ces outils fait rage. En juillet dernier, plus de 100 organisations de défense des droits civils et communautaires, y compris l'ACLU (Union américaine pour les libertés civiles) et la NAACP (l'Association nationale pour l'avancement des personnes de couleur), ont signé une déclaration appelant à ne pas utiliser ces outils d'évaluation de risques. Mais pendant ce temps, de plus en plus de juridictions et d’États US, y compris la Californie, se sont tournés vers ceux-ci dans un objectif de résoudre leur problème de prisons surchargées.
Alors, au cours de la conférence Data for Black Lives le week-end dernier, des technologues, des experts juridiques et des activistes communautaires ont tenté encore une fois de mettre le problème sur la place publique. « L’intelligence artificielle n’aura peut-être pas d’impact personnel considérable si vous utilisez souvent les algorithmes d’apprentissage automatique via les flux de nouvelles de Facebook ou les classements des résultats de recherche de Google... Mais dans le système de justice pénale américain, un algorithme peut déterminer la trajectoire de votre vie », rapporte le MIT Media Lab qui a accueilli cette conférence.
Dans un article, il explique que les algorithmes d’apprentissage automatique utilisent des statistiques pour rechercher des modèles dans les données. Donc, si vous alimentez des données historiques sur la criminalité, il déterminera les modèles associés à la criminalité. Mais ces modèles déterminent des corrélations statistiques et non des relations de causalité. « Si un algorithme constatait, par exemple, que le faible revenu était corrélé à un taux de récidive élevé, vous ne seriez pas averti de la question de savoir si le faible revenu était réellement un facteur criminel. Mais c’est précisément ce que font les outils d’évaluation des risques : ils transforment les connaissances corrélatives en mécanismes de notation causale », rapporte le MIT Media Lab. L'utilisation des données historiques pour entraîner des outils d'évaluation de risques peut signifier que les algorithmes copient les erreurs du passé. Ils pourraient donc amplifier et perpétuer les biais incorporés et générer encore plus de données entachées de biais pour alimenter un cercle vicieux. Un problème auquel s'ajoute le fait que les algorithmes d’évaluation des risques sont propriétaires, il est donc également impossible d'auditer leurs décisions ou de les tenir responsables.
Et en France, doit-on utiliser l'IA dans le système judiciaire ?
La question tombe à pic, puisque l'idée d'utiliser l'intelligence artificielle dans les décisions de justice a récemment été abordée. D'après Daniel Chen, directeur de recherche à l'Université Toulouse Capitole, on devrait utiliser l'IA dans le système judiciaire. Dans une étude intitulée « Apprentissage automatique et État de droit », M. Chen préconise notamment d’utiliser l’apprentissage automatique pour réduire les décisions parfois biaisées des juges. L’apprentissage automatique va apprendre des décisions déjà rendues dans les cours et tribunaux, faire des analyses et apporter des améliorations sur celles contenant des biais humains.
« L’analyse judiciaire prédictive promet d’accroître l’équité du droit. De nombreux travaux empiriques observent des incohérences dans le comportement des juges. En prédisant les décisions judiciaires avec plus ou moins de précision, en fonction d'attributs judiciaires ou de caractéristiques de procédure, le machine learning permet de détecter les cas où les juges sont le plus susceptibles de laisser des préjugés extra juridiques influencer leur prise de décision », dit-il dans son étude. Mais quand on voit ce qui se produit aux USA, ne devrait-on pas se montrer prudent à l'égard de l'étude de M. Chen ? Pourquoi l'IA serait-elle plus efficace dans le système judiciaire français que dans celui des USA ?
Source : MIT Media Lab
Et vous ?
Que pensez-vous de la place accordée à l'IA dans des domaines comme la justice pénale ? En France, doit-on utiliser l'IA dans le système judiciaire ? Pourquoi une IA pourrait-elle être meilleure qu'un juge ? Doit-on confier les décisions de vie ou de liberté à l'IA ? Dans quels cas ? Où devrait s'arrêter l'utilisation des technologies d'intelligence artificielle ?Voir aussi :
L'intelligence artificielle peut-elle aider à rendre les décisions de justices moins biaisées ? Oui, selon un expert L'intelligence artificielle menace-t-elle la démocratie dans le monde ? Oui, selon un conseiller principal à la Commission européenne Intelligence artificielle : le public semble plus soutenir son développement qu'y être opposé, d'après un sondage Google ne vendra pas la technologie de reconnaissance faciale pour l'instant, avant d'aborder d'importantes questions de technologie et de politique La technologie de reconnaissance faciale d'Amazon identifie à tort 28 membres du Congrès US comme des criminels, quels dangers pour les Américains ? Microsoft développe un outil pour détecter automatiquement les biais dans les algorithmes d'IA, une solution pour éviter les discriminations ? 
