Cela a commencé il y a trois milliards et demi d’années dans une mare de boue, lorsqu’une molécule a fait une copie d’elle-même et est ainsi devenue l’ancêtre ultime de toute vie terrestre. Cela a commencé il y a quatre millions d’années, lorsque les volumes cérébraux ont commencé à grimper rapidement dans la lignée des hominidés.
Il y a cinquante mille ans avec l’essor de l’Homo sapiens sapiens.
Il y a dix mille ans avec l’invention de la civilisation.
Il y a cinq cents ans avec l’invention de l’imprimerie.
Il y a cinquante ans avec l’invention de l’ordinateur.
Dans moins de trente ans, cela prendra fin.
Jaan Tallinn est tombé sur ces mots en 2007, dans un essai en ligne intitulé Regarder dans la singularité. Le « ça » était la civilisation humaine. L’humanité cesserait d’exister, prédit l’auteur de l’essai, avec l’émergence de la superintelligence, ou IA, qui surpasse l’intelligence humaine dans un large éventail de domaines.
Tallinn, un programmeur informatique né en Estonie, a une formation en physique et une propension à aborder la vie comme un gros problème de programmation. En 2003, il a cofondé Skype, développant le backend de l’application. Il a encaissé ses actions après qu’eBay l’ait achetée deux ans plus tard, et maintenant il cherchait quelque chose à faire. Regarder dans la singularité du code informatique, de la physique quantique et des citations de Calvin et Hobbes. Il était accro.
Tallinn découvrit bientôt que l’auteur, Eliezer Yudkowsky, théoricien autodidacte, avait écrit plus de 1 000 essais et articles de blog, dont beaucoup consacrés à la superintelligence. Il a écrit un programme pour gratter les écrits de Yudkowsky sur Internet, les classer chronologiquement et les formater pour son iPhone. Puis il a passé la plus grande partie d’une année à les lire.
Le terme intelligence artificielle, ou simulation de l’intelligence dans les ordinateurs ou les machines, a été inventé en 1956, une décennie seulement après la création des premiers ordinateurs numériques électroniques. L’espoir pour le domaine était initialement élevé, mais dans les années 1970, lorsque les premières prédictions ne se sont pas dissipées, un « hiver de l’IA » s’est installé. Lorsque Tallinn a trouvé les essais de Yudkowsky, AI connaissait une renaissance. Les scientifiques développaient des IA qui excellaient dans des domaines spécifiques, tels que la victoire aux échecs, le nettoyage du sol de la cuisine et la reconnaissance de la parole humaine. Ces IA « étroites », comme on les appelle, ont des capacités surhumaines, mais uniquement dans leurs domaines de domination spécifiques. Une IA jouant aux échecs ne peut pas nettoyer le sol ou vous emmener d’un point A à un point B. L’IA superintelligente, croit Tallinn, combinera un large éventail de compétences en une seule entité. Plus sombre, il pourrait également utiliser des données générées par des humains équipés de smartphones pour exceller dans la manipulation sociale.
En lisant les articles de Yudkowsky, Tallinn est devenue convaincue que la superintelligence pourrait conduire à une explosion ou à une percée de l’IA qui pourrait menacer l’existence humaine – que les IA ultra-intelligentes prendront notre place sur l’échelle de l’évolution et nous domineront comme nous dominons maintenant les singes. Ou, pire encore, nous exterminer.
Après avoir terminé le dernier des essais, Tallinn a envoyé un e–mail à Yudkowsky – tout en minuscules, tout comme son style. « je suis jaan, l’un des ingénieurs fondateurs de skype », a-t-il écrit. Finalement, il est arrivé au point: « je suis d’accord avec cela… se préparer à l’événement de l’IA générale dépassant l’intelligence humaine est l’une des principales tâches de l’humanité. »Il voulait aider.
Lorsque Tallinn s’est envolé pour la région de la Baie pour d’autres réunions une semaine plus tard, il a rencontré Yudkowsky, qui vivait à proximité, dans un café à Millbrae, en Californie. Leur rencontre a duré quatre heures. « En fait, il comprenait vraiment les concepts sous-jacents et les détails », m’a dit récemment Yudkowsky. » C’est très rare. »Par la suite, Tallinn a écrit un chèque de 5 000£ (3 700 £) au Singularity Institute for Artificial Intelligence, l’organisation à but non lucratif où Yudkowsky était chercheur. (L’organisation a changé son nom en Institut de recherche sur l’Intelligence Machine, ou Miri, en 2013.) Tallinn a depuis donné à l’institut plus de 600 000 dollars.
La rencontre avec Yudkowsky a apporté un but à Tallinn, l’envoyant en mission pour nous sauver de nos propres créations. Il s’est lancé dans une vie de voyage, donnant des conférences à travers le monde sur la menace posée par la superintelligence. La plupart du temps, cependant, il a commencé à financer des recherches sur des méthodes qui pourraient donner à l’humanité une issue: l’IA dite amicale. Cela ne signifie pas qu’une machine ou un agent est particulièrement habile à discuter de la météo ou qu’il se souvient des noms de vos enfants – bien que l’IA superintelligente puisse faire ces deux choses. Cela ne signifie pas qu’il est motivé par l’altruisme ou l’amour. Une erreur courante consiste à supposer que l’IA a des pulsions et des valeurs humaines. « Amical » signifie quelque chose de beaucoup plus fondamental: que les machines de demain ne nous anéantiront pas dans leur quête pour atteindre leurs objectifs.
Au printemps dernier, j’ai rejoint Tallinn pour un repas dans la salle à manger du Jesus College de l’Université de Cambridge. L’espace en forme d’église est orné de vitraux, de moulures en or et de peintures à l’huile d’hommes en perruques. Tallinn était assis à une lourde table en acajou, vêtu de l’habit décontracté de la Silicon Valley: jean noir, T-shirt et baskets en toile. Un plafond voûté en bois s’étendait au-dessus de ses cheveux gris-blonds.
À 47 ans, Tallinn est à certains égards votre entrepreneur en technologie classique. Il pense que grâce aux progrès de la science (et à condition que l’IA ne nous détruise pas), il vivra « beaucoup, beaucoup d’années ». Lorsqu’il sort en boîte avec des chercheurs, il survit même aux jeunes étudiants diplômés. Sa préoccupation au sujet de la superintelligence est commune dans sa cohorte. La fondation du cofondateur de PayPal, Peter Thiel, a donné 1,6 million de dollars à Miri et, en 2015, le fondateur de Tesla, Elon Musk, a fait un don de 10 millions de dollars au Future of Life Institute, une organisation de sécurité technologique à Cambridge, dans le Massachusetts. Mais l’entrée de Tallinn dans ce monde raréfié s’est faite derrière le rideau de fer dans les années 1980, lorsque le père d’un camarade de classe avec un emploi gouvernemental a donné accès à des ordinateurs centraux à quelques enfants brillants. Après l’indépendance de l’Estonie, il a fondé une société de jeux vidéo. Aujourd’hui, Tallinn vit toujours dans sa capitale – également appelée Tallinn – avec sa femme et le plus jeune de ses six enfants. Quand il veut rencontrer des chercheurs, il les emmène souvent dans la région de la Baltique.
Sa stratégie de don est méthodique, comme presque tout ce qu’il fait. Il répartit son argent entre 11 organisations, chacune travaillant sur différentes approches de la sécurité de l’IA, dans l’espoir que l’on puisse s’en tenir. En 2012, il a cofondé le Cambridge Centre for the Study of Existential Risk (CSER) avec une dépense initiale de près de 200 000 $.
Les risques existentiels – ou risques X, comme les appelle Tallinn – sont des menaces à la survie de l’humanité. En plus de l’IA, les 20 chercheurs du CSER étudient le changement climatique, la guerre nucléaire et les armes biologiques. Mais, pour Tallinn, ces autres disciplines « ne sont vraiment que des drogues de passerelle ». Les préoccupations concernant les menaces plus largement acceptées, telles que le changement climatique, pourraient attirer les gens. L’horreur des machines superintelligentes qui envahissent le monde, espère-t-il, les convaincra de rester. Il était en visite à Cambridge pour une conférence parce qu’il souhaite que la communauté universitaire prenne la sécurité de l’IA plus au sérieux.
Au Jesus College, nos compagnons de table étaient un assortiment aléatoire de participants à des conférences, y compris une femme de Hong Kong qui étudiait la robotique et un Britannique diplômé de Cambridge dans les années 1960.L’homme plus âgé a demandé à tout le monde à la table où ils allaient à l’université. (La réponse de Tallinn, l’Université estonienne de Tartu, ne l’a pas impressionné.) Il a ensuite essayé d’orienter la conversation vers les nouvelles. Tallinn le regarda de travers. « Je ne suis pas intéressé par les risques à court terme », a-t-il déclaré.
Tallinn a changé le sujet pour la menace de la superintelligence. Lorsqu’il ne parle pas à d’autres programmeurs, il utilise par défaut des métaphores, et il en a parcouru sa suite: l’IA avancée peut se débarrasser de nous aussi rapidement que les humains coupent des arbres. La superintelligence est pour nous ce que nous sommes pour les gorilles.
Une IA aurait besoin d’un corps pour prendre le relais, a déclaré l’homme plus âgé. Sans une sorte de boîtier physique, comment pourrait-il prendre le contrôle physique?
Tallinn avait une autre métaphore prête: « Mettez-moi dans un sous-sol avec une connexion Internet, et je pourrais faire beaucoup de dégâts », a-t-il déclaré. Puis il a pris une bouchée de risotto.
Chaque IA, qu’il s’agisse d’une Roomba ou de l’un de ses descendants potentiels dominant le monde, est guidée par les résultats. Les programmeurs attribuent ces objectifs, ainsi qu’une série de règles sur la façon de les poursuivre. L’IA avancée n’aurait pas nécessairement besoin de se voir attribuer l’objectif de domination du monde pour l’atteindre – cela pourrait être tout simplement accidentel. Et l’histoire de la programmation informatique regorge de petites erreurs qui ont déclenché des catastrophes. En 2010, par exemple, lorsqu’un trader de la société de fonds communs de placement Waddell & Reed a vendu des milliers de contrats à terme, le logiciel de la société a omis une variable clé de l’algorithme qui a aidé à exécuter la transaction. Le résultat a été le « flash crash » américain d’un billion de dollars.
Les chercheurs des fonds de Tallinn pensent que si la structure de récompense d’une IA surhumaine n’est pas correctement programmée, même des objectifs bénins pourraient avoir des fins insidieuses. Un exemple bien connu, présenté par le philosophe de l’Université d’Oxford Nick Bostrom dans son livre Superintelligence, est un agent fictif chargé de fabriquer autant de trombones que possible. L’IA pourrait décider que les atomes dans les corps humains seraient mieux utilisés comme matière première.
Les opinions de Tallinn ont leur part de détracteurs, même parmi la communauté des personnes concernées par la sécurité de l’IA. Certains objectent qu’il est trop tôt pour s’inquiéter de restreindre l’IA superintelligente alors que nous ne la comprenons pas encore. D’autres disent que se concentrer sur des acteurs technologiques voyous détourne l’attention des problèmes les plus urgents auxquels le terrain est confronté, comme le fait que la majorité des algorithmes sont conçus par des hommes blancs, ou basés sur des données biaisées à leur égard. « Nous risquons de construire un monde dans lequel nous ne voulons pas vivre si nous ne relevons pas ces défis à court terme », a déclaré Terah Lyons, directrice exécutive du Partnership on AI, un consortium de l’industrie technologique axé sur la sécurité de l’IA et d’autres questions. (Plusieurs des instituts de Tallinn sont membres.) Mais, a-t-elle ajouté, certains des défis à court terme auxquels sont confrontés les chercheurs, tels que l’élimination des biais algorithmiques, sont des précurseurs de ceux que l’humanité pourrait voir avec une IA super intelligente.
Tallinn n’est pas si convaincue. Il rétorque que l’IA superintelligente apporte des menaces uniques. En fin de compte, il espère que la communauté de l’IA pourrait suivre l’exemple du mouvement antinucléaire des années 1940.À la suite des bombardements d’Hiroshima et de Nagasaki, les scientifiques se sont regroupés pour tenter de limiter de nouveaux essais nucléaires. « Les scientifiques du projet Manhattan auraient pu dire: « Regardez, nous faisons de l’innovation ici, et l’innovation est toujours bonne, alors plongeons-nous en avant », m’a-t-il dit. « Mais ils étaient plus responsables que cela. »
Tallinn prévient que toute approche de la sécurité de l’IA sera difficile à obtenir. Si une IA est suffisamment intelligente, elle pourrait mieux comprendre les contraintes que ses créateurs. Imaginez, dit-il, » se réveiller dans une prison construite par une bande de quinquagénaires aveugles. »C’est ce que cela pourrait être pour une IA super intelligente qui est confinée par des humains.
Le théoricien Yudkowsky a trouvé la preuve que cela pourrait être vrai quand, à partir de 2002, il a mené des sessions de chat dans lesquelles il jouait le rôle d’une IA enfermée dans une boîte, tandis qu’une rotation d’autres personnes jouait le gardien chargé de garder l’IA dedans. Trois fois sur cinq, Yudkowsky – un simple mortel – dit avoir convaincu le gardien de le libérer. Ses expériences n’ont cependant pas découragé les chercheurs d’essayer de concevoir une meilleure boîte.
Les chercheurs financés par Tallinn poursuivent une grande variété de stratégies, allant de la pratique à l’apparence farfelue. Certains théorisent sur la boxe de l’IA, soit physiquement, en construisant une structure réelle pour la contenir, soit en programmant dans les limites de ce qu’elle peut faire. D’autres essaient d’apprendre à l’IA à adhérer aux valeurs humaines. Quelques-uns travaillent sur un interrupteur de dernière chance. Un chercheur qui se penche sur les trois est le mathématicien et philosophe Stuart Armstrong du Future of Humanity Institute de l’Université d’Oxford, que Tallinn appelle « l’endroit le plus intéressant de l’univers. »(Tallinn a donné à FHI plus de 310 000 dollars.)
Armstrong est l’un des rares chercheurs au monde à se concentrer à temps plein sur la sécurité de l’IA. Quand je l’ai rencontré pour un café à Oxford, il portait un maillot de rugby déboutonné et avait l’air de quelqu’un qui passe sa vie derrière un écran, avec un visage pâle encadré par un désordre de cheveux sablonneux. Il a parsemé ses explications d’un mélange désorientant de références à la culture populaire et de mathématiques. Quand je lui ai demandé à quoi cela pourrait ressembler de réussir à la sécurité de l’IA, il a répondu: « Avez-vous vu le film Lego? Tout est génial. »
Une des recherches d’Armstrong porte sur une approche spécifique de la boxe appelée IA « oracle ». Dans un article de 2012 avec Nick Bostrom, qui a co-fondé FHI, il a proposé non seulement de bloquer la superintelligence dans un réservoir de stockage – une structure physique – mais aussi de la limiter à répondre à des questions, comme une planche Ouija vraiment intelligente. Même avec ces limites, une IA aurait un immense pouvoir de remodeler le destin de l’humanité en manipulant subtilement ses interrogateurs. Pour réduire la possibilité que cela se produise, Armstrong propose des limites de temps sur les conversations, ou l’interdiction des questions qui pourraient bouleverser l’ordre mondial actuel. Il a également suggéré de donner au proxy oracle des mesures de survie humaine, comme la moyenne industrielle du Dow Jones ou le nombre de personnes traversant la rue à Tokyo, et de lui dire de les maintenir stables.
En fin de compte, Armstrong estime qu’il pourrait être nécessaire de créer, comme il l’appelle dans un article, un « gros bouton d’arrêt rouge »: soit un commutateur physique, soit un mécanisme programmé dans une IA pour s’éteindre automatiquement en cas de rupture. Mais concevoir un tel commutateur est loin d’être facile. Ce n’est pas seulement qu’une IA avancée intéressée par l’auto-préservation pourrait empêcher d’appuyer sur le bouton. Il pourrait également devenir curieux de savoir pourquoi les humains ont conçu le bouton, l’activer pour voir ce qui se passe et se rendre inutile. En 2013, un programmeur nommé Tom Murphy VII a conçu une IA capable d’apprendre à jouer aux jeux Nintendo Entertainment System. Déterminée à ne pas perdre à Tetris, l’IA a simplement appuyé sur pause – et a maintenu le jeu figé. « Vraiment, le seul coup gagnant est de ne pas jouer », a observé Murphy avec ironie, dans un article sur sa création.
Pour que la stratégie réussisse, une IA doit se désintéresser du bouton ou, comme l’a dit Tallinn: « Elle doit attribuer une valeur égale au monde où elle n’existe pas et au monde où elle existe. »Mais même si les chercheurs peuvent y parvenir, il y a d’autres défis à relever. Et si l’IA s’est copiée plusieurs milliers de fois sur Internet?
L’approche qui excite le plus les chercheurs est de trouver un moyen de faire adhérer l’IA aux valeurs humaines – non pas en les programmant, mais en apprenant aux IA à les apprendre. Dans un monde dominé par la politique partisane, les gens s’attardent souvent sur la façon dont nos principes diffèrent. Mais, m’a dit Tallinn, les humains ont beaucoup en commun: « Presque tout le monde apprécie sa jambe droite. On n’y pense tout simplement pas. »L’espoir est qu’une IA puisse apprendre à discerner de telles règles immuables.
Dans le processus, une IA aurait besoin d’apprendre et d’apprécier le côté moins logique des humains: que nous disons souvent une chose et en entendons une autre, que certaines de nos préférences entrent en conflit avec d’autres et que les gens sont moins fiables lorsqu’ils sont ivres. Malgré les défis, estime Tallinn, cela vaut la peine d’essayer car les enjeux sont si élevés. « Nous devons penser à quelques pas en avant », a-t-il déclaré. » Créer une IA qui ne partage pas nos intérêts serait une horrible erreur. »
Lors de sa dernière nuit à Cambridge, j’ai rejoint Tallinn et deux chercheurs pour dîner dans un steakhouse. Un serveur a assis notre groupe dans une cave blanchie à la chaux avec une atmosphère de grotte. Il nous a remis un menu d’une page qui proposait trois types de purée différents. Un couple s’est assis à la table à côté de nous, puis quelques minutes plus tard a demandé à déménager ailleurs. » C’est trop claustrophobe », se plaignit la femme. J’ai pensé au commentaire de Tallinn sur les dégâts qu’il pourrait causer s’il était enfermé dans un sous-sol avec rien d’autre qu’une connexion Internet. Nous y étions, dans la boîte. Comme au signal, les hommes ont envisagé des moyens de sortir.
Les invités de Tallinn comprenaient l’ancien chercheur en génomique Seán Ó hÉigeartaigh, directeur exécutif du CSER, et Matthijs Maas, chercheur en IA à l’Université de Copenhague. Ils ont plaisanté sur une idée de film d’action ringard intitulé Superintelligence v Blockchain!, et a discuté d’un jeu en ligne appelé Universal Paperclips, qui riffs sur le scénario du livre de Bostrom. L’exercice consiste à cliquer à plusieurs reprises sur votre souris pour créer des trombones. Ce n’est pas vraiment tape-à-l’œil, mais cela donne une idée de la raison pour laquelle une machine pourrait chercher des moyens plus efficaces de produire des fournitures de bureau.
Finalement, les discussions se sont orientées vers de plus grandes questions, comme c’est souvent le cas lorsque Tallinn est présente. Le but ultime de la recherche sur la sécurité de l’IA est de créer des machines qui sont, comme le philosophe de Cambridge et co-fondateur du CSER, Huw Price, « éthiquement et cognitivement surhumaines ». D’autres ont soulevé la question: si nous ne voulons pas que l’IA nous domine, voulons-nous dominer l’IA? En d’autres termes, l’IA a-t-elle des droits ? Tallinn pense que c’est une anthropomorphisation inutile. Il suppose que l’intelligence est égale à la conscience – une idée fausse qui agace de nombreux chercheurs en IA. Plus tôt dans la journée, le chercheur du CSER José Hernández-Orallo a plaisanté en disant que lorsqu’il parlait avec des chercheurs en IA, la conscience était « le mot C ». (« Et le « libre arbitre » est le mot F », a-t-il ajouté.)
Dans la cave, Tallinn a déclaré que la conscience était à côté du but: « Prenons l’exemple d’un thermostat. Personne ne dirait que c’est conscient. Mais il est vraiment gênant de faire face à cet agent si vous êtes dans une pièce réglée à 30 degrés négatifs. »
Ó hÉigeartaigh retentit. « Ce serait bien de s’inquiéter de la conscience », a-t-il déclaré, « mais nous n’aurons pas le luxe de nous inquiéter de la conscience si nous n’avons pas d’abord résolu les problèmes de sécurité technique. »
Les gens sont trop préoccupés par ce qu’est l’IA superintelligente, a déclaré Tallinn. Quelle forme prendra-t-elle ? Devrions-nous nous inquiéter de la prise de contrôle d’une seule IA ou d’une armée d’entre elles? « De notre point de vue, l’important est ce que fait l’IA », a-t-il souligné. Et cela, croit-il, dépend peut–être encore des humains – pour l’instant.
Cette pièce est initialement parue dans le magazine Popular Science