Es begann vor dreieinhalb Milliarden Jahren in einem Schlammbecken, als ein Molekül eine Kopie von sich selbst anfertigte und so zum ultimativen Vorfahren allen irdischen Lebens wurde. Es begann vor vier Millionen Jahren, als das Gehirnvolumen in der Hominidenlinie schnell zu steigen begann.
Vor fünfzigtausend Jahren mit dem Aufstieg des Homo sapiens sapiens.
Vor zehntausend Jahren mit der Erfindung der Zivilisation.
Vor fünfhundert Jahren mit der Erfindung der Druckmaschine.
Vor fünfzig Jahren mit der Erfindung des Computers.
In weniger als dreißig Jahren wird es enden.
Jaan Tallinn stolperte 2007 in einem Online-Essay namens Staring into the Singularity über diese Worte. Das „es“ war die menschliche Zivilisation. Die Menschheit würde aufhören zu existieren, prognostizierte der Autor des Essays, mit dem Aufkommen von Superintelligenz oder KI, die die Intelligenz auf menschlicher Ebene in einer breiten Palette von Bereichen übertrifft.
Tallinn, ein in Estland geborener Computerprogrammierer, hat einen Hintergrund in Physik und eine Neigung, sich dem Leben wie einem großen Programmierproblem zu nähern. 2003 war er Mitbegründer von Skype und entwickelte das Backend für die App. Er kassierte seine Aktien ein, nachdem eBay sie zwei Jahre später gekauft hatte, und jetzt war er auf der Suche nach etwas zu tun. Starrte in die Singularität vermischte Computercode, Quantenphysik und Calvin und Hobbes Zitate. Er war süchtig.
Tallinn entdeckte bald, dass der Autor, Eliezer Yudkowsky, ein autodidaktischer Theoretiker, mehr als 1.000 Essays und Blogposts geschrieben hatte, von denen viele der Superintelligenz gewidmet waren. Er schrieb ein Programm, um Yudkowskys Schriften aus dem Internet zu kratzen, chronologisch zu ordnen und für sein iPhone zu formatieren. Dann verbrachte er den größten Teil eines Jahres damit, sie zu lesen.
Der Begriff künstliche Intelligenz oder die Simulation von Intelligenz in Computern oder Maschinen wurde bereits 1956 geprägt, nur ein Jahrzehnt nach der Schaffung der ersten elektronischen Digitalcomputer. Die Hoffnung auf das Feld war anfangs groß, aber in den 1970er Jahren, als sich frühe Vorhersagen nicht bewahrheiteten, setzte ein „KI-Winter“ ein. Als Tallinn Yudkowskys Essays fand, erlebte AI eine Renaissance. Wissenschaftler entwickelten KIs, die sich in bestimmten Bereichen auszeichneten, wie zum Beispiel beim Schach gewinnen, den Küchenboden reinigen und menschliche Sprache erkennen. Solche „engen“ KIs, wie sie genannt werden, haben übermenschliche Fähigkeiten, aber nur in ihren spezifischen Dominanzbereichen. Eine schachspielende KI kann den Boden nicht reinigen oder Sie von Punkt A nach Punkt B bringen. Superintelligente KI, so glaubte Tallinn, wird eine breite Palette von Fähigkeiten in einer Einheit vereinen. Dunkler könnte es auch Daten verwenden, die von Smartphone-Toting-Menschen generiert werden, um soziale Manipulation zu übertreffen.
Als ich Yudkowskys Artikel las, war ich überzeugt, dass Superintelligenz zu einer Explosion oder einem Ausbruch von KI führen könnte, die die menschliche Existenz bedrohen könnte – dass Ultrasmart AIs unseren Platz auf der Evolutionsleiter einnehmen und uns so dominieren wird, wie wir jetzt Affen dominieren. Oder, schlimmer noch, uns auszurotten.
Nachdem ich den letzten der Essays beendet hatte, schoss ich eine E–Mail an Yudkowsky ab – alles Kleinbuchstaben, wie es sein Stil ist. „ich bin Jaan, einer der Gründungsingenieure von Skype“, schrieb er. Schließlich kam er auf den Punkt: „Ich stimme dem zu … die Vorbereitung auf den Fall, dass die allgemeine KI die menschliche Intelligenz übertrifft, ist eine der Hauptaufgaben der Menschheit.“ Er wollte helfen.
Als er eine Woche später zu anderen Treffen in die Bay Area flog, traf er Yudkowsky, der in der Nähe wohnte, in einem Cafe in Millbrae, Kalifornien. Ihr Get-together erstreckte sich auf vier Stunden. „Er hat die zugrunde liegenden Konzepte und Details wirklich verstanden“, erzählte mir Yudkowsky kürzlich. „Das ist sehr selten.“ Danach schrieb ich einen Scheck über $ 5,000 (£ 3,700) an das Singularity Institute for Artificial Intelligence, die gemeinnützige Organisation, bei der Yudkowsky wissenschaftlicher Mitarbeiter war. (Die Organisation änderte 2013 ihren Namen in Machine Intelligence Research Institute oder Miri. Seitdem hat Tallinn dem Institut mehr als 600.000 US-Dollar zur Verfügung gestellt.
Die Begegnung mit Yudkowsky brachte einen Sinn und schickte ihn auf eine Mission, um uns vor unseren eigenen Kreationen zu retten. Er begann ein Leben des Reisens und hielt Vorträge auf der ganzen Welt über die Bedrohung durch Superintelligenz. Vor allem aber begann er die Forschung an Methoden zu finanzieren, die der Menschheit einen Ausweg bieten könnten: die sogenannte freundliche KI. Das bedeutet nicht, dass eine Maschine oder ein Agent besonders geschickt darin ist, über das Wetter zu plaudern oder sich an die Namen Ihrer Kinder zu erinnern – obwohl eine superintelligente KI in der Lage sein könnte, beides zu tun. Es bedeutet nicht, dass es durch Altruismus oder Liebe motiviert ist. Ein weit verbreiteter Irrtum ist die Annahme, dass KI menschliche Triebe und Werte hat. „Freundlich“ bedeutet etwas viel Grundlegenderes: dass die Maschinen von morgen uns nicht auslöschen werden, um ihre Ziele zu erreichen.
Im vergangenen Frühjahr kam ich zu einem Essen in den Speisesaal des Jesus College der Universität Cambridge. Der kirchenartige Raum ist mit Buntglasfenstern, Goldleisten und Ölgemälden von Männern in Perücken geschmückt. Er saß an einem schweren Mahagoni-Tisch und trug das lässige Gewand des Silicon Valley: schwarze Jeans, T-Shirt und Canvas-Sneakers. Eine gewölbte Holzdecke ragte hoch über sein graublondes Haar.
Mit 47 Jahren ist Tallinn in gewisser Weise Ihr Lehrbuch-Tech-Unternehmer. Er glaubt, dass er dank der Fortschritte in der Wissenschaft (und vorausgesetzt, die KI zerstört uns nicht) „viele, viele Jahre“ leben wird. Beim Clubbing mit Forschern überdauert er sogar die jungen Doktoranden. Seine Besorgnis über Superintelligenz ist unter seiner Kohorte verbreitet. Die Stiftung des PayPal-Mitbegründers Peter Thiel hat Miri 1,6 Millionen US-Dollar gespendet, und 2015 spendete Tesla-Gründer Elon Musk 10 Millionen US-Dollar an das Future of Life Institute, eine Organisation für Technologiesicherheit in Cambridge, Massachusetts. Aber Tallinns Eintritt in diese seltene Welt erfolgte in den 1980er Jahren hinter dem eisernen Vorhang, als der Vater eines Klassenkameraden mit einem Regierungsjob einigen klugen Kindern Zugang zu Großrechnern gewährte. Nach der Unabhängigkeit Estlands gründete er eine Videospielfirma. Heute lebt Tallinn noch in seiner Hauptstadt – auch Tallinn genannt – mit seiner Frau und dem jüngsten seiner sechs Kinder. Wenn er sich mit Forschern treffen will, fliegt er sie oft einfach ins Baltikum.
Seine Spendenstrategie ist methodisch, wie fast alles andere, was er tut. Er verteilt sein Geld auf 11 Organisationen, die jeweils an unterschiedlichen Ansätzen zur KI-Sicherheit arbeiten, in der Hoffnung, dass man dabei bleibt. Im Jahr 2012 war er Mitbegründer des Cambridge Centre for the Study of Existential Risk (CSER) mit einem anfänglichen Aufwand von fast 200.000 US-Dollar.
Existenzielle Risiken – oder X-Risiken, wie Tallinn sie nennt – bedrohen das Überleben der Menschheit. Zusätzlich zur KI untersuchen die rund 20 Forscher am CSER Klimawandel, Atomkrieg und Biowaffen. Aber für Tallinn sind diese anderen Disziplinen „wirklich nur Einstiegsdrogen“. Die Besorgnis über allgemein akzeptierte Bedrohungen wie den Klimawandel könnte die Menschen anziehen. Der Horror von superintelligenten Maschinen, die die Welt übernehmen, hofft er, wird sie davon überzeugen, zu bleiben. Er besuchte Cambridge für eine Konferenz, weil er möchte, dass die akademische Gemeinschaft die KI-Sicherheit ernster nimmt.
Am Jesus College waren unsere Essensbegleiter eine zufällige Auswahl von Konferenzbesuchern, darunter eine Frau aus Hongkong, die Robotik studierte, und ein Brite, der in den 1960er Jahren seinen Abschluss in Cambridge machte. Der ältere Mann fragte alle am Tisch, wo sie die Universität besuchten. (Tallinns Antwort, Estlands Universität Tartu, beeindruckte ihn nicht.) Er versuchte dann, das Gespräch auf die Nachrichten zu lenken. Tallinn sah ihn ausdruckslos an. „Ich bin nicht an kurzfristigen Risiken interessiert“, sagte er.
Tallinn änderte das Thema in die Bedrohung durch Superintelligenz. Wenn er nicht mit anderen Programmierern spricht, verwendet er standardmäßig Metaphern, und er rannte durch seine Suite von ihnen: Fortschrittliche KI kann uns so schnell entsorgen, wie Menschen Bäume fällen. Superintelligenz ist für uns, was wir für Gorillas sind.
Eine KI würde einen Körper brauchen, um zu übernehmen, sagte der ältere Mann. Ohne irgendeine Art von physischer Hülle, wie könnte es möglicherweise physische Kontrolle erlangen?
Er hatte eine andere Metapher parat: „Stecke mich in einen Keller mit Internetverbindung, und ich könnte viel Schaden anrichten“, sagte er. Dann nahm er einen Bissen Risotto.
Jede KI, egal ob es sich um einen Roomba oder einen seiner potenziellen weltbeherrschenden Nachkommen handelt, wird von Ergebnissen bestimmt. Programmierer weisen diese Ziele zusammen mit einer Reihe von Regeln zu, wie sie verfolgt werden sollen. Fortgeschrittene KI müsste nicht unbedingt das Ziel der Weltherrschaft erhalten, um es zu erreichen – es könnte nur zufällig sein. Und die Geschichte der Computerprogrammierung ist voller kleiner Fehler, die Katastrophen auslösten. Im Jahr 2010 zum Beispiel, als ein Händler mit der Investmentfondsgesellschaft Waddell & Reed Tausende von Futures-Kontrakten verkaufte, ließ die Software des Unternehmens eine Schlüsselvariable aus dem Algorithmus aus, der bei der Ausführung des Handels half. Das Ergebnis war der Billionen-Dollar-US-„Flash-Crash“.
Die Forscher und Fonds glauben, dass, wenn die Belohnungsstruktur einer übermenschlichen KI nicht richtig programmiert ist, selbst gutartige Ziele heimtückische Ziele haben könnten. Ein bekanntes Beispiel, das der Philosoph der Oxford University, Nick Bostrom, in seinem Buch Superintelligence dargelegt hat, ist ein fiktiver Agent, der so viele Büroklammern wie möglich herstellen soll. Die KI könnte entscheiden, dass die Atome im menschlichen Körper besser als Rohstoff verwendet werden könnten.
Tallinns Ansichten haben ihren Anteil an Kritikern, selbst in der Gemeinschaft der Menschen, die sich mit KI-Sicherheit befassen. Einige argumentieren, dass es zu früh ist, sich Gedanken über die Einschränkung der superintelligenten KI zu machen, wenn wir sie noch nicht verstehen. Andere sagen, dass die Konzentration auf schurkenhafte technologische Akteure die Aufmerksamkeit von den dringendsten Problemen des Feldes ablenkt, wie die Tatsache, dass die Mehrheit der Algorithmen von weißen Männern entworfen wurde oder auf Daten basiert, die auf sie ausgerichtet sind. „Wir laufen Gefahr, eine Welt aufzubauen, in der wir nicht leben wollen, wenn wir diese Herausforderungen nicht kurzfristig angehen“, sagte Terah Lyons, Executive Director der Partnership on AI, einem Konsortium der Technologiebranche, das sich auf KI-Sicherheit und andere Themen konzentriert. (Einige der Institute, die wir unterstützen, sind Mitglieder. Einige der kurzfristigen Herausforderungen, vor denen Forscher stehen, wie das Ausmerzen algorithmischer Verzerrungen, sind Vorläufer für diejenigen, die die Menschheit mit superintelligenter KI sehen könnte.
Tallinn ist nicht so überzeugt. Er kontert, dass superintelligente KI einzigartige Bedrohungen mit sich bringt. Letztendlich hofft er, dass die KI-Community dem Beispiel der Anti-Atom-Bewegung in den 1940er Jahren folgen könnte. Nach den Bombenanschlägen auf Hiroshima und Nagasaki schlossen sich Wissenschaftler zusammen, um weitere Atomtests zu begrenzen. „Die Wissenschaftler des Manhattan-Projekts hätten sagen können:’Schau, wir machen hier Innovation, und Innovation ist immer gut, also lass uns einfach weitermachen'“, sagte er mir. „Aber sie waren verantwortlicher als das.“
Tallinn warnt davor, dass jeder Ansatz zur KI-Sicherheit schwer richtig zu machen sein wird. Wenn eine KI ausreichend intelligent ist, kann sie die Einschränkungen besser verstehen als ihre Ersteller. Stellen Sie sich vor, er sagte: „Aufwachen in einem Gefängnis, das von einem Haufen blinder Fünfjähriger gebaut wurde.“ So könnte es für eine superintelligente KI aussehen, die von Menschen begrenzt wird.
Der Theoretiker Yudkowsky fand Beweise dafür, dass dies wahr sein könnte, als er ab 2002 Chat-Sitzungen durchführte, in denen er die Rolle einer KI spielte, die in einer Box eingeschlossen war, während eine Rotation anderer Personen den Gatekeeper spielte, der damit beauftragt war, die KI zu halten. Drei von fünf Mal, Yudkowsky – ein Sterblicher – sagt, er habe den Pförtner überzeugt, ihn freizulassen. Seine Experimente haben die Forscher jedoch nicht davon abgehalten, eine bessere Box zu entwerfen.
Die Forscher stellen fest, dass Tallinn-Fonds eine Vielzahl von Strategien verfolgen, von praktischen bis hin zu scheinbar weit hergeholten. Einige theoretisieren über das Boxen von KI, entweder physisch, indem sie eine tatsächliche Struktur aufbauen, um sie zu enthalten, oder indem sie Grenzen für das programmieren, was sie tun kann. Andere versuchen, der KI beizubringen, sich an menschliche Werte zu halten. Einige arbeiten an einem letzten Aus-Schalter. Ein Forscher, der sich mit allen Dreien befasst, ist der Mathematiker und Philosoph Stuart Armstrong vom Future of Humanity Institute der Universität Oxford, was er „den interessantesten Ort im Universum“ nennt.“ (Tallinn hat FHI mehr als 310.000 Dollar gegeben.)
Armstrong ist einer der wenigen Forscher weltweit, der sich hauptberuflich mit KI-Sicherheit beschäftigt. Als ich ihn in Oxford zum Kaffee traf, trug er ein aufgeknöpftes Rugbyhemd und sah aus wie jemand, der sein Leben hinter einem Bildschirm verbringt, mit einem blassen Gesicht, eingerahmt von einem Durcheinander sandiger Haare. Er würzte seine Erklärungen mit einer verwirrenden Mischung aus populärkulturellen Referenzen und Mathematik. Als ich ihn fragte, wie es aussehen könnte, bei AI Safety erfolgreich zu sein, sagte er: „Hast du den Lego-Film gesehen? Alles ist super.“
Ein Teil von Armstrongs Forschung befasst sich mit einem spezifischen Ansatz für das Boxen, der als „Oracle“ -KI bezeichnet wird. In einem Artikel von 2012 mit Nick Bostrom, dem Mitbegründer von FHI, schlug er vor, Superintelligenz nicht nur in einem Vorratsbehälter – einer physischen Struktur – abzugrenzen, sondern sie auch auf die Beantwortung von Fragen zu beschränken, wie ein wirklich intelligentes Ouija-Board. Selbst mit diesen Grenzen hätte eine KI eine immense Macht, das Schicksal der Menschheit neu zu gestalten, indem sie ihre Vernehmer subtil manipuliert. Um die Möglichkeit zu verringern, dass dies geschieht, schlägt Armstrong Zeitlimits für Gespräche vor oder verbietet Fragen, die die aktuelle Weltordnung auf den Kopf stellen könnten. Er hat auch vorgeschlagen, dem Orakel Proxy-Maße für das menschliche Überleben zu geben, wie den Dow Jones Industrial Average oder die Anzahl der Menschen, die die Straße in Tokio überqueren, und ihm zu sagen, dass er diese konstant halten soll.
Letztendlich, so Armstrong, könnte es notwendig sein, einen „großen roten Aus-Knopf“ zu schaffen, wie er es in einem Papier nennt: entweder einen physischen Schalter oder einen Mechanismus, der in eine KI programmiert ist, um sich im Falle eines Ausbruchs automatisch auszuschalten. Das Entwerfen eines solchen Schalters ist jedoch alles andere als einfach. Es ist nicht nur so, dass eine fortschrittliche KI, die an Selbsterhaltung interessiert ist, verhindern könnte, dass der Knopf gedrückt wird. Es könnte auch neugierig werden, warum Menschen den Knopf erfunden haben, ihn aktivieren, um zu sehen, was passiert, und sich selbst unbrauchbar machen. Im Jahr 2013 entwarf ein Programmierer namens Tom Murphy VII eine KI, die sich selbst beibringen konnte, Nintendo Entertainment System-Spiele zu spielen. Entschlossen, bei Tetris nicht zu verlieren, drückte die KI einfach Pause – und hielt das Spiel eingefroren. „Wahrlich, der einzige gewinnende Zug ist, nicht zu spielen“, bemerkte Murphy ironisch in einem Papier über seine Schöpfung.
Damit die Strategie erfolgreich ist, muss eine KI sich nicht für die Welt interessieren, oder, wie Tallinn es ausdrückte: „Sie muss der Welt, in der sie nicht existiert, und der Welt, in der sie existiert, den gleichen Wert beimessen.“ Aber selbst wenn Forscher das erreichen können, gibt es andere Herausforderungen. Was ist, wenn sich die KI mehrere tausend Mal über das Internet kopiert hat?
Der Ansatz, der Forscher am meisten begeistert, besteht darin, einen Weg zu finden, KI an menschlichen Werten festzuhalten – nicht indem man sie programmiert, sondern indem man KIs beibringt, sie zu lernen. In einer Welt, die von Parteipolitik dominiert wird, beschäftigen sich die Menschen oft damit, wie sich unsere Prinzipien unterscheiden. Aber Er sagte mir, Menschen haben viel gemeinsam: „Fast jeder schätzt sein rechtes Bein. Wir denken einfach nicht darüber nach.“ Die Hoffnung ist, dass eine KI gelehrt werden könnte, solche unveränderlichen Regeln zu erkennen.
Dabei müsste eine KI die weniger logische Seite des Menschen lernen und schätzen: dass wir oft das eine sagen und das andere meinen, dass einige unserer Vorlieben mit anderen in Konflikt stehen und dass Menschen weniger zuverlässig sind, wenn sie betrunken sind. Trotz der Herausforderungen, Tallinn glaubt, es ist einen Versuch wert, weil die Einsätze so hoch sind. „Wir müssen ein paar Schritte vorausdenken“, sagte er. „Eine KI zu schaffen, die unsere Interessen nicht teilt, wäre ein schrecklicher Fehler.“
An seinem letzten Abend in Cambridge traf ich mich mit ihm und zwei Forschern zum Abendessen in einem Steakhouse. Ein Kellner setzte unsere Gruppe in einen weiß getünchten Keller mit einer höhlenartigen Atmosphäre. Er gab uns ein einseitiges Menü, das drei verschiedene Arten von Brei angeboten. Ein Paar setzte sich neben uns an den Tisch und bat einige Minuten später, woanders hinzuziehen. „Es ist zu klaustrophobisch“, klagte die Frau. Ich dachte an Tallinns Kommentar über den Schaden, den er anrichten könnte, wenn er in einem Keller mit nichts als einer Internetverbindung eingesperrt wäre. Hier waren wir, in der Box. Wie auf ein Stichwort, Die Männer überlegten Wege, um herauszukommen.
Zu den Gästen von Tallinn gehörten der ehemalige Genomforscher Seán Ó hÉigeartaigh, der Executive Director von CSER ist, und Matthijs Maas, ein KI-Forscher an der Universität Kopenhagen. Sie scherzten über eine Idee für einen nerdigen Actionfilm mit dem Titel Superintelligence v Blockchain!, und diskutierte ein Online-Spiel namens Universal Paperclips, das auf dem Szenario in Bostroms Buch basiert. Die Übung besteht darin, wiederholt mit der Maus zu klicken, um Büroklammern herzustellen. Es ist nicht gerade auffällig, aber es gibt einen Sinn dafür, warum eine Maschine nach zweckmäßigeren Wegen zur Herstellung von Büromaterial suchen könnte.
Schließlich verlagerte sich das Gespräch in Richtung größerer Fragen, wie es oft der Fall ist, wenn Tallinn anwesend ist. Das ultimative Ziel der KI-Sicherheitsforschung ist es, Maschinen zu schaffen, die, wie der Cambridge-Philosoph und CSER-Mitbegründer Huw Price es einmal ausdrückte, „sowohl ethisch als auch kognitiv übermenschlich“ sind. Andere haben die Frage aufgeworfen: Wenn wir nicht wollen, dass KI uns dominiert, wollen wir dann KI dominieren? Mit anderen Worten, hat KI Rechte? Tallinn glaubt, dass dies eine unnötige Anthropomorphisierung ist. Es geht davon aus, dass Intelligenz gleich Bewusstsein ist – ein Missverständnis, das viele KI-Forscher ärgert. Früher am Tag scherzte der CSER-Forscher José Hernández-Orallo, dass Bewusstsein im Gespräch mit KI-Forschern „das C-Wort“ ist. („Und ‚freier Wille‘ ist das F-Wort“, fügte er hinzu.)
Im Keller sagte Tallinn, dass Bewusstsein nebensächlich sei: „Nehmen Sie das Beispiel eines Thermostats. Niemand würde sagen, dass es bewusst ist. Aber es ist wirklich unbequem, sich diesem Agenten zu stellen, wenn Sie sich in einem Raum befinden, der auf negative 30 Grad eingestellt ist.“
Ó hÉigeartaigh mischte sich ein. „Es wäre schön, sich um das Bewusstsein zu sorgen“, sagte er, „aber wir werden nicht den Luxus haben, uns um das Bewusstsein zu sorgen, wenn wir nicht zuerst die technischen Sicherheitsherausforderungen gelöst haben.“
Die Leute beschäftigen sich übermäßig damit, was superintelligente KI ist“, sagte Er. Welche Form wird es annehmen? Sollten wir uns Sorgen machen, dass eine einzelne KI die Macht übernimmt, oder eine Armee von ihnen? „Aus unserer Sicht ist es wichtig, was KI macht“, betonte er. Und das, so glaubt er, könnte noch an den Menschen liegen – vorerst.
Dieses Stück erschien ursprünglich im Popular Science Magazine