Pourquoi avons-nous besoin d’un contrôle étatique de la qualité des algorithmes ?

L’intelligence artificielle : pour beaucoup, elle représente le summum du progrès ; pour d’autres, un cauchemar dystopien. Cependant, ceux qui l’associent principalement à des robots humanoïdes devraient savoir que l’intelligence artificielle est bien plus que cela, et qu’elle est déjà présente dans les domaines les plus intimes de notre vie. De plus en plus de décisions sont prises à l’aide d’algorithmes et de modèles mathématiques et non plus seulement par les humains. Les estimations des cotes de crédit, les filtrages des candidatures à un emploi ou les évaluations des risques en matière d’assurance ne sont que quelques exemples. Qu’ont en commun ces algorithmes ? Ils prennent des décisions qui peuvent avoir d’importantes conséquences sur les individus, ils affectent la vie de beaucoup de personnes – et sont secrets.

Quand les algorithmes prennent des décisions

Cela peut avoir de sérieuses conséquences, comme ce fut le cas pour les cotes de crédits en Allemagne, par exemple. Les erreurs s’accumulent et il devient incroyablement difficile pour les personnes concernées de faire corriger leur dossier. Comment un algorithme a-t-il été programmé, pourquoi arrive-t-il à une décision donnée, et comment les erreurs peuvent-elles être corrigées ? Une réponse à ces questions peut difficilement être apportée lorsque les algorithmes sont protégés par le secret d’affaires.

De nos jours, la majorité des algorithmes ne sont plus programmés à partir de règles prédéfinies, mais apprennent des règles à partir des données elles-mêmes – c’est ce que l’on appelle le « machine learning » (en français, « apprentissage automatique »). Ainsi, il n’est pas toujours possible de déterminer après coup quelles données ont été davantage prises en compte que d’autres, ou comment la décision a été prise – les programmeurs eux-mêmes n’y parviennent pas. Les décisions prises sur la base de données erronées posent un problème. Et ce dernier s’aggrave lorsque des biais structurels (des inégalités, par exemple) se trouvent dans les données qui alimentent l’algorithme, car certaines personnes sont alors désavantagées injustement par le modèle.

Il est donc d’autant plus important de porter une attention particulière aux biais potentiels avant la collecte des données et la création de modèles de calcul. La différence principale entre les partis-pris des humains et ceux de machines réside dans le fait qu’une décision prise par une machine est perçue par les humains comme neutre et objective. Mais nous oublions trop souvent d’où proviennent les données, comment elles ont été collectées et utilisées, et la pertinence réelle des modèles obtenus.

Par exemple, dans les secteurs dans lesquels il existe encore une relation de genre déséquilibrée, comme dans de nombreuses professions d’ingénieurs, la base de données disponible est, elle aussi, déséquilibrée. Si un algorithme est entraîné avec ces données sans aucune adaptation, les préjugés et les injustices humains sont repris par l’algorithme – supposé neutre – et ainsi consolidés plutôt qu’éliminés. L’algorithme apprend donc : « les hommes occupent mieux cet emploi que les femmes ». Il existe des moyens de compenser cela à l’avance ou de vérifier par la suite. Mais si l’algorithme n’est pas accessible au public, les candidats à un emploi ou les défenseurs des consommateurs n’ont aucun moyen de tester la qualité des modèles utilisés.

De plus, les résultats issus de modèles basés sur du machine learning sont souvent moins précis qu’ils ne le paraissent au départ. Des déclarations telles que « notre IA trouve le meilleur candidat avec une précision de 90 % » sont, certes, impressionnantes au premier abord. Mais un taux de 90 % est-il vraiment assez bon pour un algorithme qui prend des décisions importantes concernant les perspectives d’avenir des gens ? Dix pour cent des personnes seraient donc mal triées depuis le début. Les personnes avec des CV inhabituels qui se démarquent et rendent une entreprise plus diversifiée – et donc, selon les études actuelles, plus performante – ne correspondent pas à la norme et ne sont donc pas reconnues par les algorithmes comme des employés types et idéaux.

Y a-t-il encore un humain derrière la machine ?

Il est souvent avancé un contre argument selon lequel les décisions vraiment importantes sont au final encore prises par un être humain. Mais quelles options sont présentées à ces personnes ? Alors que les chargés de recrutement peuvent aujourd’hui décider d’inviter un ou deux candidats non conventionnels à un entretien, dans le futur, une machine les éliminera peut-être dès le premier tour.

Pour les entreprises, cela peut signifier une perte de diversité. Pour les personnes concernées, cela peut avoir des conséquences bien plus sérieuses. Ainsi, lors de la sélection de candidats à un emploi, il existe encore aujourd’hui une discrimination structurelle à l’encontre, par exemple, des personnes d’origine étrangère. Qu’arrivera-t-il dans le futur si ces personnes n’ont non seulement pas moins de chances, mais potentiellement aucune chance de décrocher un entretien parce qu’un algorithme largement utilisé les aura automatiquement disqualifiées ? Les conséquences d’un préjugé issu de la machine sont encore plus néfastes que celles d’un préjugé humain, car une machine ne peut reconnaitre avoir commis une erreur et être agréablement surprise.

Et si l’on regarde comment les algorithmes sont utilisés dans de plus en plus de secteurs, un scénario dans lequel seules les personnes étant à tout point de vue « dans la moyenne » seront en mesure de trouver un emploi, une assurance maladie privée, un crédit et une habitation n’est pas si loin. Tout le processus étant bien entendu « neutre » et basé sur des données.

L’utilisation généralisée des algorithmes dans tous les domaines de la vie finira par arriver et est déjà en partie une réalité. Pourtant, cela ne signifie pas nécessairement que l’avenir est sombre pour ceux qui sont défavorisés dans la société d’aujourd’hui. L’argument selon lequel les algorithmes n’ont pas de préjugés n’est pas totalement faux, à condition que les données soient choisies et que le logiciel soit programmé en tenant compte de lignes directrices éthiques.

C’est précisément là que le contrôle des algorithmes pourrait commencer à être opéré. Comme il en existe dans d’autres domaines afin d’assurer, par exemple, le caractère sûr des aliments et des appareils électriques, une agence gouvernementale pourrait concevoir des règles, des mesures et des tests visant à lutter contre la discrimination. Elle pourrait également vérifier la conformité à ces règles des algorithmes ayant une influence directe sur des individus. Ainsi, l’intérêt légitime des entreprises à protéger leurs secrets commerciaux serait préservé, et les consommateurs pourraient avoir confiance en l’équité des algorithmes utilisés. Il est clair que l’action d’une telle agence serait une intervention dans le fonctionnement du marché libre et nécessiterait beaucoup d’efforts. Mais les gouvernants ne devraient pas se refuser à prendre de telles mesures si l’on souhaite que nos lois anti-discrimination gardent tout leur sens dans le futur.