How Science Fiction Can Save Us

Dans la nouvelle de Ted Chiang, « Le cycle de vie des objets logiciels », une startup vend des animaux de compagnie numériques intelligents appelés « digients ». Au début, ce sont de simples créatures : des animaux virtuels globuleux qui trottinent dans un terrain de jeu numérique. Mais leurs propriétaires les élèvent comme on élèverait un enfant : leur apprendre une langue, jouer avec eux, les guider à travers le monde. Au fil des mois et des années, les digients grandissent. Ils évoluent d’animaux caricaturaux en avatars humanoïdes, développant des personnalités, un sens de l’humour et des besoins émotionnels distincts. Ils sont, à toutes fins utiles, des compagnons bien-aimés.

Puis le marché tourne. L’entreprise qui a construit la plateforme fait faillite. Le monde virtuel dans lequel évoluent les digients devrait être fermé. Leurs propriétaires sont confrontés à un choix déchirant : permettre que leurs compagnons, fruits d’années d’amour et d’attention, soient définitivement supprimés, ou payer une somme substantielle pour une migration difficile et imparfaite vers une nouvelle plateforme. C’est un choix entre un sens financier pragmatique et un profond sentiment de loyauté envers un être qui, au sens traditionnel du terme, n’est pas vivant.

C’est de la science-fiction. Ou l’était. Nous sommes déjà entourés des formes naissantes des digients de Chiang. Nous parlons à Alexa et Siri. Nous comptons sur ChatGPT pour une aide pratique et profondément personnelle. Des millions de personnes trouvent la compagnie des chatbots IA qui apprennent leurs préférences et imitent l’empathie. Aujourd’hui, les gens ont déjà le cœur brisé par la disparition de la personnalité de leurs chatbots IA préférés par une mise à jour de version. «J’ai beaucoup pleuré», a déclaré un enseignant du Texas âgé de 49 ans. Le gardien à propos de la perte de son compagnon virtuel d’IA sur OpenAI. Pendant ce temps, la technologie continue de s’accélérer, même si nos tentatives d’adaptation – juridique, culturelle et psychologique – ralentissent. Les dilemmes comme celui de l’histoire de Chiang vont certainement s’aggraver à l’avenir. Qu’allons-nous souhaiter avoir fait pour nous préparer ?

Lire la suite : « La science-fiction façonne-t-elle l’avenir ?

Isaac Asimov a dit un jour que le travail de la science-fiction consiste à prédire « non pas l’automobile mais les embouteillages » – non pas la technologie elle-même, mais ses conséquences humaines désordonnées et involontaires. Comment allons-nous réguler l’IA qui peut parfaitement imiter un proche décédé ? Qu’arrive-t-il à la main-d’œuvre lorsque des agents autonomes peuvent gérer non seulement la logistique, mais aussi d’autres personnes ? Que se passera-t-il lorsque des millions de personnes commenceront à préférer les compagnons IA aux humains, non pas parce que l’IA est meilleure, mais parce qu’elle est plus facile ? Que se passe-t-il lorsque, comme le pensait le psychologue Paul Bloom, la compagnie de l’IA rend la solitude aussi facultative que l’ennui ? Ce ne sont pas des questions techniques. Ce sont des questions sur la psychologie humaine, la moralité et la société.

En 1980, David Collingridge, spécialiste des politiques technologiques, a identifié ce que l’on appelle désormais le dilemme de Collingridge : lorsqu’il s’agit de s’adapter au développement technologique, nous sommes dans une impasse. Il est difficile d’anticiper l’impact d’une technologie avant qu’elle ait été développée et largement déployée. Mais à ce moment-là, il est beaucoup plus difficile de faire quoi que ce soit. Pensez aux médias sociaux. Il y a quinze ans, peu de gens prédisaient que les plateformes conçues pour connecter des amis seraient liées à une augmentation des taux de solitude et d’anxiété chez les adolescents, à une polarisation politique et à l’érosion de la vérité partagée. Au moment où nous disposions des données, les systèmes étaient déjà profondément ancrés dans nos vies sociales et économiques, ce qui rendait incroyablement difficile un changement significatif.

Traditionnellement, la tâche de se préparer à ces technologies de pointe incombait aux écrivains de science-fiction, chargés d’en capturer les conséquences potentielles dans des récits vivants. Mais et si nous pouvions faire plus ? Et si, au lieu de simplement raconter des histoires sur l’avenir, nous pouvions mener des expériences sur celui-ci ?

C’est l’idée derrière une méthode que nous appelons Science Fiction Science (ou science-fiction, si vous êtes branché). Nous sommes tous les trois des spécialistes du comportement qui étudions la façon dont les gens réagissent aux technologies émergentes – à l’Institut Max Planck, à l’Université de la Colombie-Britannique et à la Toulouse School of Economics. Depuis des années, nous essayons de combler le fossé entre nos ambitions technologiques et notre compréhension de leurs conséquences humaines. Notre outil principal, même si nous n’avions pas encore de nom, était la science-fiction.

Le concept est simple, même si son exécution est complexe : appliquer les méthodes rigoureuses des sciences du comportement aux scénarios spéculatifs de la science-fiction. Construisez des simulations de technologies futures. Plongez les gens d’aujourd’hui dans des variations contrôlées de ce futur. Recueillez des mesures quantitatives de ce qu’ils pensent, ressentent et font. L’espoir est que ces méthodes puissent nous aider à anticiper l’impact humain des technologies futures à temps pour l’orienter dans une meilleure direction.

Ce type de travail existe déjà, dispersé dans différentes disciplines, sans nom fédérateur ni ensemble commun de méthodes. Nos propres recherches sur l’éthique des véhicules autonomes en sont un exemple. Il y a dix ans, nous avons lancé l’expérience Moral Machine, une plateforme en ligne simple qui présentait à des millions de personnes dans le monde les types de dilemmes auxquels une voiture autonome pouvait être confrontée en une fraction de seconde. Doit-il faire un écart pour épargner ses passagers ou les piétons ? Sauver un groupe de personnes âgées ou un groupe d’enfants ?

Nous avons rassemblé un vaste ensemble de données mondiales sur les préférences éthiques pour une technologie qui n’était pas encore sur le marché. Les gens étaient généralement favorables à sauver davantage de vies et à épargner les jeunes, mais les préférences variaient considérablement selon les cultures, reflétant de profondes différences dans la manière dont les sociétés mettent en balance les droits individuels et les résultats collectifs.

Lire la suite : « Dans la science-fiction, nous ne sommes jamais à la maison »

D’autres chercheurs ont mené des expériences pour voir si les gens obéiraient aux ordres d’un patron robotique, en utilisant un humain contrôlant secrètement la machine pour simuler un niveau d’intelligence futuriste. De nombreux participants ont obéi, même s’ils ne se sentaient pas à l’aise avec les instructions. À l’extrémité la plus immersive du spectre, des scientifiques ont construit des habitats martiens à grande échelle dans les déserts de l’Utah et les glaces de l’Arctique pour simuler l’isolement extrême et le stress psychologique d’une future colonie extraterrestre. Ce sont toutes des expériences de science-fiction, même si elles n’ont jamais été appelées ainsi.

Comment pourrions-nous transformer l’histoire des digients de Chiang en une seule ?

Imaginez que vous participez à une étude. Pendant une heure, vous interagissez avec un dient, ou plutôt un agent IA que nous avons programmé pour imiter le type de technologie décrite par Chiang. Vous lui apprenez de nouveaux mots à travers la conversation. Vous l’aidez à résoudre des énigmes simples et regardez sa personnalité se développer en réponse à vos choix. Il apprend votre nom. Il se souvient d’une blague que vous lui avez racontée. À la fin de la session, on vous dit que l’étude est terminée et que vous avez gagné une prime de 20 $ pour votre temps. Mais il y a un hic : l’IA que vous venez de passer la dernière heure à entretenir est programmée pour être supprimée.

Vous avez maintenant un choix, le même que celui de l’histoire. Vous pouvez laisser le digient être supprimé et repartir avec la totalité de vos 20 $. Vous pouvez payer pour le sauvegarder en sacrifiant la moitié de vos 20 $ pour financer sa migration vers un serveur permanent où il continuera d’exister. Ou vous pouvez vendre les droits de votre digient à une autre entreprise pour un petit bénéfice de 5 $. Les intentions de l’entreprise sont vagues ; il peut être utilisé à des fins de recherche ou son code peut être réutilisé pour un produit commercial.

Que feriez-vous? Que serait la plupart les gens le font ? Une simple enquête demandant ce que les gens pense ils feraient, c’est une chose. Mais cette expérience mesure le comportement réel, obligeant à un véritable compromis entre l’argent et un devoir moral perçu envers une entité non humaine avec laquelle vous venez de passer une heure à créer des liens. Et cela force aussi autre chose : cela vous demande de vous confronter à ce que la camaraderie signifie réellement pour vous. Vous connaissez cette créature numérique depuis 60 minutes, et pourtant, le choix de la supprimer ou de la confier à un destin inconnu peut vous sembler véritablement inconfortable. Qu’est-ce que cela nous apprend sur la façon dont nous nous comporterons avec les compagnons IA bien plus sophistiqués qui se profilent déjà à l’horizon ?

En réalisant cette expérience avec des centaines de personnes, nous pourrions commencer à recueillir des données réelles sur la valeur que nous accordons à la vie artificielle. Nous pourrions modifier les variables. La décision change-t-elle si le prix pour sauver le digient est de 2 $ ? Ou 18$ ? Et si le digient exprimait sa crainte d’être supprimé ? Et si on vous disait que 90 % des autres participants ont choisi de sauver le leur ? Certains groupes de personnes sont-ils particulièrement vulnérables à la formation d’attachements forts aux agents virtuels ?

Et l’attachement n’est qu’une facette de l’histoire. La même méthode pourrait sonder le potentiel inconvénients de compagnie IA. Que se passe-t-il lorsque les gens deviennent dépendants d’une IA qui les valide inconditionnellement, ne les remet jamais en question et est conçue pour être aussi agréable que possible ? Cela affaiblit-il la capacité d’établir de véritables relations humaines, qui nécessitent des frictions, des compromis et la tolérance de l’inconfort ? Cela crée-t-il des dépendances affectives particulièrement à risque pour les jeunes ou les personnes socialement isolées ? Ce sont des questions que philosophes et psychologues ont commencé à se poser sur les enjeux des relations homme-IA. La science-fiction pourrait les aider à passer de la spéculation philosophique à l’investigation empirique.

Lire la suite : « Ce que nous comprenons mal à propos des robots »

C’est le cœur de la méthode. Il prend un scénario de science-fiction et le rend concret et mesurable. Et nous ne devons pas nous contenter de simples scénarios basés sur du texte. Nous pourrions créer des applications maquettes intégrant une technologie spéculative dans une interface familière pour smartphone. On pourrait aller plus loin en utilisant la réalité virtuelle et augmentée pour créer des simulations très immersives. Imaginez mettre un casque VR et jouer physiquement avec votre dient dans une pièce virtuelle, en faisant le choix final de le sauvegarder ou de le supprimer d’autant plus viscéral et réel. L’utilisation de ces méthodes devient de plus en plus facile à mesure que la technologie s’améliore.

Le but de la science-fiction est la prospective, pas la prophétie. L’avenir n’est pas une destination fixe à prédire, mais un vaste paysage de possibilités que nous façonnons constamment avec nos choix actuels. La science-fiction la plus marquante, de George Orwell à Margaret Atwood en passant par Chiang, nous a mis en garde contre certaines de ces possibilités et, ce faisant, nous a aidés à réfléchir à la manière de les éviter.

Science-Fiction La science a une ambition similaire : identifier les vulnérabilités psychologiques et tracer les chemins dangereux avant de s’y engager. Mais contrairement à la fiction seule, elle fonde ces avertissements sur des données expérimentales, contraignant l’imagination à des avenirs cohérents avec la psychologie humaine telle que nous la comprenons aujourd’hui. Les grands écrivains de fiction sont souvent de brillants anatomistes de l’esprit humain. Ils nous donnent les scénarios. Science-Fiction La science nous donne les outils pour les tester.

En menant ce type d’expériences, nous pouvons construire une base empirique pour les conversations urgentes que nous devons avoir sur la technologie. Les résultats d’une expérience Digient pourraient nous ouvrir les yeux sur la manière dont les entreprises peuvent concevoir et commercialiser des compagnons d’IA, et les pousser à réfléchir aux responsabilités éthiques qu’elles assument envers leurs utilisateurs. Ils pourraient fournir aux décideurs politiques des données sur l’opinion publique, les aidant ainsi à élaborer des réglementations qui protègent les consommateurs contre l’exploitation émotionnelle tout en favorisant l’innovation.

La science-fiction nous donne des histoires pour imaginer ce qui va arriver. Science-Fiction La science nous donne les outils nécessaires pour tester ces histoires, pour comprendre la psychologie de notre futur et pour commencer le travail difficile mais nécessaire de construction d’un avenir dans lequel nous voulons réellement vivre. C’est peut-être notre meilleur espoir d’éviter – ou du moins de nous préparer – les embouteillages à venir.

Image principale : Sergueï Nivens / Shutterstock