La logique imparfaite au cœur de l'automatisation Fantasy

La technologie ne résout pas le problème de la confiance, de la responsabilité ou du travail - elle déplace la responsabilité des systèmes vers les individus.

Dans les secteurs privé, public et à but non lucratif, une recette commune est appliquée aux magasins de données en croissance: interopérabilité → intégration → optimisation → automatisation.

Promettant une ère de «villes intelligentes», de «services efficaces» et de «loisirs illimités», l'automatisation est le fantasme qui anime la révolution actuelle des entreprises et de la bureaucratie.

Vous êtes submergé par la masse d'informations (personnellement identifiables et autres) générées par vos opérations à l'ère numérique? Ne pas craindre, l'ère de l'automatisation est ici.

Une pile pour les résoudre tous

L'automatisation promet une conformité (économique). Il vénère à l'autel de l'efficacité. Il dépeint vos problèmes épineux comme étant déboguables et vos systèmes complexes comme un ensemble de relations causales linéaires attendant d’être démêlées. Il ne fait pas la distinction entre les types de problèmes et les processus auxquels font face les institutions privées et publiques. Cela permettra non seulement d’exploiter vos données sur les diamants, mais également de couper et de polir les pierres. En termes simples, cela «changera le monde».

Les organisations ne mobilisent pas seulement leurs propres données. Les meilleures informations proviennent de l'analyse d'un grand nombre de données provenant de différentes sources. C’est la raison pour laquelle les agences du secteur public mettent en commun les données de tous les services et pourquoi les entreprises de consommation absorbent les informations personnelles de leurs clients. Comme cité par le New York Times, les entreprises américaines ont dépensé près de 20 milliards de dollars en 2018 pour acquérir et traiter des données sur les consommateurs. La logique promise de cette dépense ressemble à ceci:

À l'étape 1, relative à l'interopérabilité, les données sont rendues lisibles et digestibles par une machine. Le temps de la numérisation manuelle de fichiers PDF est presque révolu. Une pile croissante d'outils, notamment des scanneurs, de la vision par ordinateur et des algorithmes de traitement du langage naturel, parvient de mieux en mieux à grignoter les substrats de données les plus désordonnés et à régurgiter les données extraites et compilées, prêtes à être analysées. Avec l'analyse graphique, même les ensembles de données les plus disparates peuvent être superposés pour l'extraction.

À l'étape 2, les données de systèmes distincts sont intégrées et rendues accessibles via des interfaces, des tableaux de bord et des bases de données. Chercheurs longitudinaux, réjouissez-vous! Les silos sont étendus. Les graphiques sont analysés. Des relations inédites sont modélisées et visualisées. Les tendances sont annoncées, leur force et leur direction disséquées et servies comme autant de «perspicacité».

À l'étape 3, l'optimisation, les algorithmes sont superposés sur la pile, ce qui promet de faire des choses comme «recommander», «personnaliser» et «prévoir» bien mieux que n'importe quel humain. Au lieu d'un engagement complexe des parties prenantes dans ses débats complexes sur les valeurs, ces algorithmes s'inspirent de la logique de nos décisions passées et de nos récits dominants - du capitalisme et de l'institutionnalisme néolibéral. Ils conduisent vers l'efficacité. Ils conduisent vers la croissance. Si les systèmes précédents qui ont généré leurs entrées de données historiques étaient viables, équitables ou équitables, les algorithmes le seraient peut-être également. Si ce n'est pas le cas, accélérez l'effondrement.

À l'étape 4, automatisation, les nouveaux algorithmes se voient attribuer de nouvelles responsabilités. S'appuyant sur une pile qui prétend déjà mieux comprendre la dynamique et les relations du système, ils proposent désormais de réorganiser les mécanismes de responsabilité et les structures de prise de décision. Ils déterminent la solvabilité. Ils allouent des prestations de soins de santé. Ils déterminent l’accès aux services publics - sur des comportements auparavant orthogonaux ou sur la capacité de prouver son identité.

Hélas. À court terme, du moins, la terre promise ressemble à une tentative de créer un compte numérique DHS en Arkansas, et malheureusement ce n’est pas beau.

“Le futur est déjà là - juste inégalement distribué”

Depuis que je suis philanthropique, le changement se produit partout - à des vitesses différentes selon les endroits, modifiant le terrain même du travail que nous souhaitons accomplir dans tous les secteurs et toutes les régions - parfois de manière insidieuse, toujours inexorablement.

Auparavant, j’ai travaillé dans le secteur public (Institut Cebrowski du DoD), dans le secteur privé (recherche syndiquée sur le futur des technologies) et dans le conseil intersectoriel (développement d’écosystèmes d’innovation pour des concours de primes incitatives). En peu de temps, j’entoure un enthousiasme pour la technologie (à 24 ans, je me suis décrit dans une candidature comme un «évangéliste des technologies vestimentaires») à un sceptique prudent quant à la capacité de la technologie à intervenir positivement dans les systèmes humains.

L'année dernière, lors d'une réunion sur Sand Hill Road, j'ai insisté sur le fait de centrer l'éthique et l'équité dans le développement de systèmes automatisés du secteur public. Un bailleur de fonds et un passionné de l'intégration de données ont alors demandé très sérieusement: «Pourquoi continuez-vous - comme, qu'est-ce qui pourrait mal tourner?

À ce stade, de mon point de vue, il est moins question de ce qui pourrait mal tourner que de ce qui a déjà été fait. Il y a quelque chose de pourri au centre de la fantaisie de l'automatisation.

L'automatisation porte de nombreux noms («intelligence artificielle», «prise de décision algorithmique», etc.) mais aime cacher sa vraie nature. Voici quelques-uns des nombreux visages qu’il porte.

Garbage in, Garbage out.

Et la plupart sont des ordures.

Bien sûr, le «big data» a révélé des corrélations et des relations qui permettent la monétisation, la création de valeur et une prestation de services améliorée (peut-être moins que vous ne le pensiez). Mais c’est en grande partie en dépit de la qualité et de la véracité des données, pas à cause de cela.

Pour citer l’une des nombreuses idées fausses, ce que nous construisons n’est pas réellement une intelligence artificielle, c’est une intelligence humaine (imparfaite) à l’échelle de la machinerie industrielle et sociétale. Et oui, c’est bien un homme blanc qui porte un short cargo avec des chaussettes et des sandales à Palo Alto.

La planification se déguise souvent en prédiction.

À l'échelle, les algorithmes créent l'avenir qu'ils ont prédit.

Lorsque les machines font des prévisions précises, c’est le triomphe du statu quo et non de la prévoyance.

Plus souvent, comme chez les humains, ils font des prophéties auto-réalisatrices. Ils serviront plus de la même chose, plus rapidement cette fois, avec plus de précision et avec moins de votre contribution nécessaire. Pour recommander ce qu'il faut regarder ensuite sur Netflix, c'est vraiment génial. Je n'aspire pas à arrêter d'aimer les films de science-fiction avec une forte avance féminine. (Au cas où il n’aurait pas pénétré dans votre bulle de filtre, ne dormez pas sur le classique du camp instantané The Pyramid.)

Mais s’agissant de la prestation de services et des systèmes du secteur public qui ont un impact réel sur les familles et les moyens de subsistance, c’est une autre histoire. Pourquoi devrions-nous délibérément modeler la prise de décision future sur les modèles du passé, qui, nous le savons, ont été systématiquement biaisés, injustes, inéquitables, discriminatoires et, dans de nombreux cas, idéologiquement irresponsables, voire dangereux? Bien sûr, les algorithmes sont assez efficaces pour apprendre des modèles du passé afin de projeter les décisions futures. Mais dans la myriade de systèmes, c’est la dernière chose à faire.

La friction est le moteur de la stabilité - et du progrès.

Des systèmes sains se développent au bord du chaos.

L'automatisation arrive sous le signe du «progrès», mais se révèle être un agent de stagnation.

La friction - la lutte - est théorisée comme étant la force motrice de l'évolution biologique, de l'utilisation d'outils et du développement technologique, d'un système immunitaire florissant, etc. Et pourtant, dans le livre de recettes de l’automation, c’est le premier sur la liste des substitutions d’ingrédients.

Malade d'avoir à faire vos propres recherches? Les algorithmes vont extraire de vastes réserves d’informations pour vous éviter de le faire. Marre d'attendre en ligne? Les algorithmes peuvent optimiser votre heure d'arrivée. Marre de composer des réponses dans le cadre de la communication humaine de base? Les algorithmes peuvent suggérer une réponse étrangement juste pour vous.

Mais quels sont les enjeux de cette ruée vers la lubrification de toutes nos actions (trans)? Que peut-on perdre lorsque nous n'avons plus à attendre, à nous ennuyer, à nous débattre, à y penser ou même à essayer?

L'optimisation et l'influence sont des formes subtiles de contrôle.

Empruntant aux modèles d’affaires ad-tech, l’automatisation dans une société capitaliste ne consiste pas seulement à vendre plus de produits, mais aussi à concevoir un comportement humain.

L’infrastructure d’exploitation de données sous-jacente à l’automatisation est la même que celle qui sous-tend Surveillance Capitalisme: elle veut émousser notre agence, nous voler notre sanctuaire et effacer notre imprévisibilité. Comme le dit Shoshana Zuboff, «Oubliez le cliché selon lequel s'il est gratuit, vous êtes le produit - vous n'êtes pas le produit, mais simplement la source gratuite de matière première à partir de laquelle les produits sont fabriqués pour la vente et l'achat… Vous n'êtes pas le produit, vous sont la carcasse abandonnée. "

Dans «Algorithm and Blues: La tyrannie de l'utopie de la technologie intelligente à venir», Brett Frischman décrit une partie de l'idéologie au cœur de la «technologie intelligente» et de l'automatisation:

«Les téléphones intelligents, les grilles, les voitures, les maisons, les vêtements, etc. rendront notre vie plus facile, plus belle et plus heureuse. Ces affirmations sont profondément enracinées dans une vision utopique de la technologie intelligente qui se fonde sur des visions techno-utopiques antérieures telles que le cyber-utopisme, ainsi que sur des visions économico-utopiques telles que l'idée coaséenne de marchés parfaitement efficients et sans friction et la vision taylorienne. de travailleurs scientifiquement dirigés et parfaitement productifs. Dans notre monde numérique en réseau moderne, ces visions vont bien au-delà de leurs contextes initiaux d'internet idéalisé, de marchés et de lieux de travail. Smart-tech peut gérer beaucoup plus de nos vies. "

Il n'y a pas de magie dans l'apprentissage automatique.

Seuls les uns et les zéros, les graphiques et les corrélations.

Il n’ya pas de magie dans l’apprentissage automatique, juste un flot en cascade de décisions abdiquées (et donc de responsabilité). Bien sûr, les déséquilibres de pouvoir inhérents à un monde où certains humains prennent des décisions pour le compte d’autres humains (pour ne rien dire des non-humains) posent de nombreux problèmes, mais sommes-nous vraiment sûrs que les équations mathématiques glorifiées feront un meilleur travail?

Parlant avec le New York Times, le grand-père de la programmation informatique, Donald Knuth, a récemment admis: «Je crains que les algorithmes ne deviennent trop importants dans le monde. Les informaticiens craignaient que personne ne nous écoute. Maintenant, je suis inquiet que trop de gens écoutent. "

Il est clair que de nombreux décideurs ont déjà accepté le fantasme selon lequel les machines sont mieux à même de faire des choix que nous. Code est en train de prendre en charge des systèmes et des décisions importants, dans de nombreux cas sans même se préoccuper des processus de réparation ou d’arbitrage. Qui peut se permettre une longue bataille juridique pour obtenir un recours après qu'un algorithme de buggy a refusé leurs soins de santé? Paradoxalement, seuls ceux dont le revenu les empêche d’avoir accès aux services publics.

Qui gagne - et qui perd - dans un monde automatisé?

L'automatisation promet d'inaugurer de nouvelles formes d'inégalité.

De plus en plus, l’accès à des services qui confèrent un visage explicitement humain à l’automatisation de la prestation de services est vendu à prime. Et dans un monde automatisé, la vie privée et le sanctuaire sont des privilèges que vous payez.

«Mieux ne signifie jamais mieux pour tout le monde. Cela signifie toujours pire pour certains. ”- Margaret Atwood

Pour avoir un aperçu des vainqueurs du long jeu, jetez un coup d’œil à certains des promoteurs les plus virulents de l’automation:
+ La Banque interaméricaine de développement (BID) encourage l'utilisation de l'analyse prédictive dans le secteur public, qui fait partie d'un fétiche en cours, également connu sous le nom de «données pour le développement».
+ Pour IBM, les données sont la nouvelle huile. Pour les éditeurs de logiciels, c’est l’automatisation qui compte, et le secteur public est un marché émergent gigantesque.
+ Comme l’a dit Mark Zuckerberg de Facebook, (faiblement) contesté par le Congrès sur presque tous les problèmes liés à la plate-forme médiatisée par la consommation globale d’informations (initialement conçue pour réduire les frictions associées au contrôle des étudiants de première année): des algorithmes vont résoudre ce problème.
+ Les grands cabinets de conseil comme Accenture ont tout à gagner de ce qu'ils appellent leur «vision technologique». Cette semaine, McKinsey est critiqué pour avoir aidé et légitimé des gouvernements autoritaires.

Fondamentalement, il existe des compromis implicites dans un avenir automatisé. On nous vend une facture de marchandises basée sur la valeur supposée de l'efficacité, mais faisons des compromis invisibles en équité. On nous promet d’être libérés des frictions, mais finissons par perdre la sérendipité. Nos systèmes optimisent l’allocation des ressources, mais uniquement en nous surveillant de manière continue et de plus en plus responsables de la gestion de nos interactions avec le système. Nous attendons avec impatience un avenir où la corvée sera confiée à une machine, mais nous avons du mal à imaginer conserver notre dignité et à mener une vie significative. Nous sommes séduits par la logique de la mesure et de l’évaluation simples, mais oublions que tout ce qui compte ne peut pas être mesuré.

L’inégalité structurelle se situe clairement dans l’angle mort analytique de l’automatisation.

La dépendance excessive à l'égard de l'analyse des données hiérarchise de manière fonctionnelle les types de corrélations que l'algèbre linéaire reconnaît bien - mais pas ceux découlant d'une dynamique systémique complexe.

A présent, les algorithmes biaisés sont un problème bien connu. Du fait qu’elles reposent sur des données antérieures, elles sont sujettes à la codification de mauvaises habitudes, reposant sur une collecte de données erronée, une distribution historique inéquitable des services (et donc une surveillance excessive des populations à faible revenu et minoritaires) et des hypothèses prédéfinies. Nous pouvons voir la preuve de ce biais dans les résultats racistes et sexistes des efforts d'automatisation dans tous les secteurs.

Cependant, en mettant tout l'accent sur l'instauration de l'équité, la responsabilité et la transparence dans l'apprentissage automatique, nous ne parvenons toujours pas à voir la forêt pour les arbres. Plus précisément, les tentatives de correction du biais dans les algorithmes ne tiennent généralement pas compte des inégalités structurelles. Parce qu’elle est ancrée dans les données historiques et née de ses données historiques, l’automatisation sait seulement comment approfondir les rainures des modèles existants, en valorisant uniquement les variables qui ont été isolées pour être mesurées puis rendues significatives par leur relation avec d’autres métriques.

Mais c’est précisément l’écosystème structurel dans lequel l’automatisation est en cours de déploiement qu’il nous faudra résoudre et traiter si nous voulons exploiter les promesses des outils analytiques. Légitimement résistante à l’analyse statistique, l’eau dans laquelle nous nageons - un riche ragoût plein d’histoires de domination, d’idéologies de croissance et de consommation, de fausses dichotomies fondamentales, d’autant plus déchaînées, de désinformation omniprésente et de fatalisme écologique - est un phénomène que nous pouvons entrevoir mais à peine transcender.

Avec l'automatisation, la transcendance n'est pas proposée. Optimisation, oui. Atténuation, peut-être. Solutions, en nom seulement. Au lieu de cela, le fantasme de l'automatisation est porteur de l'exceptionnalisme et de l'attrait arrogant de la «fin de l'histoire». Le fantasme de l'automatisation suggère de déployer des outils d'analyse pour enfermer les structures du statu quo. C’est une vision particulière du «progrès». Les choses pourraient être tellement meilleures, suggère-t-elle, à condition que la répartition générale du pouvoir et des ressources reste sensiblement la même.

En examinant des algorithmes susceptibles de révolutionner les soins de santé, Shannon Mattern écrit:

De plus, la confiance aveugle selon laquelle la collecte de données omniprésente mènera à des "découvertes bénéfiques pour tous" mérite le scepticisme. Des études empiriques à grande échelle peuvent renforcer les disparités en matière de santé, en particulier lorsque les analyses démographiques ne sont pas fondées sur des hypothèses ou des cadres théoriques spécifiques. L’éthicien Celia Fisher affirme que des études telles que Human Project doivent définir clairement «ce que signifie la classe, la race et la culture, en tenant compte de la façon dont ces définitions sont continuellement façonnées et redéfinies par les forces sociales et politiques» et de la marginalisation de certains groupes. même pathologisé, dans le discours médical et la pratique. Les chercheurs qui tirent des conclusions sur la base de corrélations observées - non théorisées et non historisées - courent le risque, selon elle, "d'attribuer les problèmes de santé à des dispositions génétiques ou culturelles de groupes marginalisés plutôt qu'à des politiques qui entretiennent des inégalités systémiques en matière de santé politique et institutionnelle". - Shannon Mattern, “Databodies in Codespace”

L'automatisation déplace le fardeau de la responsabilité des systèmes vers les personnes.

Le mythe du temps de loisirs illimité à travers l'automatisation sonne déjà faux.

Dans un monde automatisé, les processus ont été repensés non pas pour améliorer l'expérience utilisateur, mais pour augmenter les marges bénéficiaires et / ou réduire les dépenses en capital humain.

Mais comme le montrent les recherches de Karen Levy sur le camionnage, l’automatisation ne remplace pas les humains autant qu’elle les envahit. Comme un ex-partenaire violent, il surveille, empiète, contrôle et manipule tout en exigeant un accès intime au corps et en exigeant un accès croissant à l'esprit.

Sans intervention, ceux qui sont déjà marginalisés seront encore marginalisés. Et lorsque l'automatisation est déployée au service du statu quo, la valeur est extraite et / ou le travail invisible requis de toute personne qui interagit avec des systèmes automatisés.

La patiente est maintenant coordinatrice et défenseur de ses propres soins. Le consommateur est activement consommé dans le cycle de consommation en cours. La citoyenne est maintenant arbitre de sa propre vérité et conservatrice de sa propre signification. Dans tous les secteurs, le travail invisible (et non rémunéré) nécessaire maintenant pour naviguer dans les systèmes dans lesquels nous sommes inextricablement impliqués nous révèle - l’individu - de plus en plus responsable et de plus en plus banalisé dans les actes de consommation, de citoyenneté et de recherche de la santé et du bien-être.

Aucune technologie neutre.

Dans la hiérarchie fractale de la technologie d'automatisation, des valeurs invisibles sont incorporées partout où vous regardez.

Il existe des valeurs - des valeurs morales - dans chaque choix de conception, chaque processus de mise en œuvre, chaque changement de culture organisationnelle et chaque impact sur la prise de décision de l'utilisateur final.

L’encadrement de l’automatisation en tant que «solution technique» ou application inévitable de la technologie occulte les bases philosophiques et morales ancestrales des algorithmes d’apprentissage automatique implicites dans la pile d’automatisation, fonctionnant trop souvent sur pilote automatique au lieu de conversations dures et inclusives. sur les valeurs qui résistent à la quantification et à la mesure.

En matière de technologie d'automatisation, nous ne devrions jamais assumer la neutralité, sans parler de progrès positifs. Ceci est particulièrement important pour l'intégration et l'automatisation des données dans le secteur public. La même infrastructure technique construite pour soutenir la transparence du gouvernement peut être facilement déployée pour le contrôle social. Les mêmes couches d'analyse qui promettent de rendre les systèmes de justice pénale plus justes peuvent également être utilisées pour remplir les prisons privées de citoyens marginalisés. Et les mêmes mécanismes de surveillance qui promettent d’améliorer la sécurité publique peuvent être mobilisés pour limiter l’accès des citoyens aux services.

La Chine fait la promotion de son système de crédit social, basé littéralement sur la phrase du gouvernement "une fois indigne de confiance, toujours restreinte", afin de renforcer la confiance des citoyens dans le gouvernement. Les responsables chinois ont rencontré leurs homologues dans au moins 36 pays l'an dernier dans le but de partager leur approche de la «gestion des nouveaux médias ou de l'information» (lire: contrôle numérique). Au Mexique, où déjà à peine 2% des citoyens estiment vivre dans une démocratie complète, la transparence est en avance sur la responsabilité, laissant derrière elle non seulement la vérité, mais aussi le cynisme et le désengagement. Au Brésil, un système de données intégré public renommé et expansif, conçu pour automatiser la fourniture de services sociaux, est connecté aux données sur l’emploi du secteur privé, tout comme un hardliner qui est devenu romantique et qui est tombé amoureux de la dictature militaire. Au Kenya, le gouvernement a entrepris de répertorier le génome et la géométrie du lobe des oreilles de chaque citoyen. Et aux États-Unis, des systèmes de données publics intégrés sont en cours de construction et toucheront bientôt la majorité des citoyens.

Pour être clair, de nombreux fonctionnaires dévoués qui exploitent nos services publics sont favorables à l’intégration des données; Même accéder à des tableaux de bord de données en temps réel à partir de la propre agence reste une perspective convaincante dans de nombreux districts. Cependant, il est utile de faire une distinction entre les données utilisées pour améliorer les résultats par la recherche et les données utilisées pour la gestion de cas individuels, l'analyse prédictive, l'aide à la décision et la prestation de services automatisée. Je crains que les entreprises de technologie vendent au secteur public une vision de l’automatisation dont les outils intègrent les valeurs du capitalisme et non la durabilité; efficacité, pas équité; le statu quo, pas la justice. Et à noter, quel que soit le nombre de meilleures pratiques suivies dans la conception et la mise en œuvre (comme dans le système de données intégré du comté d'Allegheny, en Pennsylvanie), chaque histoire d'automatisation a au moins deux facettes.

Toutes les images dans ce document sont une gracieuseté de Daniel Rehn sur Flickr

Où que vous regardiez, le fantasme de l’automatisation est de trouver un terrain d’achat et un terrain fertile pour planter ses graines. En dépit du battage publicitaire accablant des entreprises de technologie d'entreprise, l'entreprise le fait le plus souvent de manière discrète, insidieuse et stratégique.

Les communautés concernées ne sont pas informées jusqu'au premier contact avec un processus buggy ou une expérience utilisateur énervante. Les RIR universitaires sont une chose longtemps désirée et pourtant oubliée depuis longtemps dans la précipitation d’expédier. Les systèmes sont dissociés d’un contexte à l’autre, étiquetés en blanc et largués dans un autre. Vendus par la promesse de la modernisation et du progrès, nos dirigeants s’engagent à obtenir un contrôle sociétal commercial standard.

Je tiens à souligner que rien de tout cela ne condamne l'intégration de données, l'analyse graphique, ou l'apprentissage automatique. Ce sont des outils précieux dans un kit qui doit également inclure les sciences sociales et l'engagement des parties prenantes. Mais le contexte dans lequel ces outils sont déployés définit la dépendance au chemin. Le fantasme qui sous-tend l'achat et la conception de ces outils mérite un examen attentif. Les modèles commerciaux qu’ils soutiennent, les valeurs incorporées qu’ils codent, le degré de centrage sur la personne qu’ils reflètent, la façon dont ils transfèrent subtilement les responsabilités entre les parties prenantes et les inégalités structurelles qu’ils menacent de verrouiller sont profondément enracinés. Et le contexte actuel dans lequel les outils d'automatisation sont vendus et déployés est profondément imparfait.

Engagements envers l'engagement communautaire, méthodologies de conception centrées sur la personne et approches de mise en œuvre, examen éthique rigoureux et continu, inclusion par défaut de spécialistes des sciences sociales et d'artistes dans les processus de développement, audit algorithmique et discussion explicite et exhaustive des valeurs intégrées aux outils (particulièrement mûrs). à revoir: les pactes sociaux tacites entre les citoyens et les mécanismes de gouvernance commerciale / légale) pourraient contribuer grandement à garantir que l'automatisation ne soit pas assombrie par l'autoritarisme, mais pas si nous restons endormis au volant de cette voiture autonome.

Quelque chose est pourri au centre du rêve et nous devons nous réveiller de toute urgence avant d'automatiser les promesses brisées de notre passé dans le tissu même de notre avenir.