Superviser l’automatisation, un enjeu de société

En cette fin de semaine, nous vous emmenons faire un tour sous le capot des technologies de gouvernance ! Trois articles nous rappellent que le moteur algorithmique devrait être régulièrement contrôlé par les pouvoirs publics et être alimenté par des données dont l’extraction s’est faite avec l’approbation des citoyens. Les algorithmes sont, dans un monde de plus en plus complexe, utilisés comme outils de décision. Or, ces instruments de politique publique ne sont pas neutres : ils impactent les relations entre l’Etat et ses administrés.

Aux Etats-Unis, l’automatisation du système de protection sociale a été mise en place dès les années 70.  Elle permet, par exemple, de mieux déterminer des accès prioritaires dans des situations d’urgences, mais elle induit une perte de relation entre l’Etat et les bénéficiaires. L’automatisation de certains choix administratifs peut également accroître les cas d’inéligibilité à des services sociaux, avec des conséquences parfois tragiques pour les populations paupérisées. Le recours croissant aux technologies pour l’organisation administrative et la prise de décision nécessite donc d’intégrer des paramètres éthiques dans la conception des algorithmes, pour éviter qu’ils n’induisent des biais racistes ou des inégalités de traitement face au système judiciaire.

Un autre enjeu consiste à connaître les paramètres définis par les concepteurs et les données nécessaires pour faire fonctionner les algorithmes. En France, certains avancent que la transparence des algorithmes et les contrôles politiques et démocratiques du recueil des données n’ont pas été intégrés dans la plupart des smart-cities. Un chantier urgent pour la cohésion sociale ?