se alkoi kolme ja puoli miljardia vuotta sitten liejulammikossa, jolloin molekyyli teki itsestään kopion ja näin siitä tuli kaiken maallisen elämän perimmäinen esi-isä. Se alkoi neljä miljoonaa vuotta sitten, kun aivotilavuudet alkoivat kasvaa nopeasti hominidilinjassa.
viisikymmentätuhatta vuotta sitten Homo sapiens sapiensin nousun myötä.
kymmenentuhatta vuotta sitten sivilisaation keksimisen myötä.
viisisataa vuotta sitten kirjapainon keksimisen myötä.
viisikymmentä vuotta sitten tietokoneen keksimisen myötä.
vajaan kolmenkymmenen vuoden kuluttua se loppuu.
Jaan Tallinn törmäsi näihin sanoihin vuonna 2007 singulariteettiin tuijottaen. ”Se” oli inhimillinen sivilisaatio. Ihmiskunta lakkaisi olemasta, ennusti esseen kirjoittaja, jolloin syntyisi superintelligence eli tekoäly, joka ylittää ihmisen tason älykkyyden monilla aloilla.
Virolaissyntyisellä tietokoneohjelmoijalla Tallinnalla on fysiikkatausta ja taipumus lähestyä elämää kuin yhtä suurta ohjelmointiongelmaa. Vuonna 2003 hän oli mukana perustamassa Skypeä, joka kehitti sovelluksen taustajärjestelmää. Hän lunasti osakkeensa, kun eBay osti sen kaksi vuotta myöhemmin.nyt hän halusi jotain tekemistä. Tuijottaen singulariteettia, joka sekoitti tietokoneen koodin, kvanttifysiikkaa ja Calvinin ja Hobbesin siteerauksia. Hän oli koukussa.
Tallinnassa huomattiin pian, että kirjailija Eliezer Yudkowsky, itseoppinut teoreetikko, oli kirjoittanut yli 1000 esseetä ja blogikirjoitusta, joista monet oli omistettu superälykkyydelle. Hän kirjoitti ohjelman, jolla hän raaputti Yudkowskyn kirjoitukset internetistä, tilasi ne kronologisesti ja formatoi ne iphonelleen. Sitten hän käytti suurimman osan vuotta niiden lukemiseen.
termi tekoäly eli älykkyyden simulointi tietokoneissa tai koneissa keksittiin jo vuonna 1956, vain vuosikymmen ensimmäisten sähköisten digitaalisten tietokoneiden luomisen jälkeen. Toivo alalla oli aluksi korkealla, mutta 1970-luvulle tultaessa, kun varhaiset ennusteet eivät toteutuneet, alkoi ”TEKOÄLYTALVI”. Kun Tallinna löysi Yudkowskyn esseet, AI koki renessanssin. Tutkijat kehittivät AIs: ää, joka kunnostautui tietyillä osa-alueilla, kuten voittamalla shakissa, siivoamalla keittiön lattiaa ja tunnistamalla ihmisen puheen. Tällaisilla ”kapeilla” AIs: llä, kuten niitä kutsutaan, On yli-inhimillisiä kykyjä, mutta vain niiden tietyillä valta-alueilla. Shakkia pelaava tekoäly ei voi puhdistaa lattiaa tai viedä sinua pisteestä A pisteeseen B. Superintelligent AI, Tallinna tuli uskomaan, yhdistää monenlaisia taitoja yhdeksi kokonaisuudeksi. Synkemmin, se voisi myös käyttää tuottamia tietoja älypuhelin-raahata ihmiset excel sosiaalinen manipulointi.
lukiessaan Yudkowskyn artikkeleita Tallinna vakuuttui siitä, että superälykkyys voisi johtaa ihmisen olemassaoloa uhkaavaan tekoälyn räjähdykseen tai purkautumiseen – että ultramart AIs tulee ottamaan paikkamme evoluutioportailla ja hallitsemaan meitä samalla tavalla kuin me nyt hallitsemme apinoita. Tai vielä pahempaa, tuhota meidät.
viimeisteltyään viimeisen esseen Tallinna tykitti Yudkowskylle sähköpostin – kaikki vähämerkityksisiä, kuten hänen tyyliinsä kuuluu. ”olen Jaan, yksi Skypen perustajainsinööreistä”, hän kirjoitti. Lopulta hän meni asiaan: ”olen samaa mieltä siitä … valmistautuminen tapahtumaan, jossa yleinen tekoäly ylittää ihmisälyn, on yksi ihmiskunnan huipputehtävistä.”Hän halusi auttaa.
kun Tallinna lensi viikkoa myöhemmin Lahden seudulle muihin tapaamisiin, hän tapasi Lähistöllä asuneen Yudkowskyn kahvilassa Kalifornian Millbraessa. Heidän tapaamisensa venyi neljään tuntiin. ”Hän todella, aidosti ymmärsi taustalla olevat käsitteet ja yksityiskohdat”, Yudkowsky kertoi minulle hiljattain. ”Tämä on hyvin harvinaista.”Jälkeenpäin Tallinn kirjoitti 5 000 dollarin (3 700 punnan) shekin Singularity Institute for Artificial Intelligence-nimiselle voittoa tavoittelemattomalle instituutille, jossa Yudkowsky oli tutkijana. (Järjestö muutti nimensä Machine Intelligence Research Instituteksi eli Miriksi vuonna 2013.) Tallinna on sittemmin antanut instituutille yli 600 000 dollaria.
Yudkowskyn kohtaaminen toi Tallinnaan tarkoituksen ja lähetti hänet tehtävälle pelastamaan meidät omista luomuksistamme. Hän ryhtyi matkustelemaan ja piti eri puolilla maailmaa puheita superälykkyyden aiheuttamasta uhasta. Enimmäkseen hän kuitenkin alkoi rahoittaa tutkimusta menetelmistä, jotka voisivat antaa ihmiskunnalle ulospääsyn: niin sanotusta ystävällisestä tekoälystä. Se ei tarkoita, että kone tai agentti olisi erityisen taitava juttelemaan säästä tai että se muistaa lastesi nimet – vaikka superintelligent AI saattaa pystyä tekemään molempia asioita. Se ei tarkoita, että sen vaikuttimena olisi altruismi tai rakkaus. Yleinen harhaluulo on olettaminen, että tekoälyllä olisi inhimillisiä haluja ja arvoja. ”Ystävällinen” tarkoittaa jotain paljon perustavanlaatuisempaa: huomisen koneet eivät tuhoa meitä tavoitteissaan.
viime keväänä lähdin Tallinnaan syömään Cambridgen yliopiston Jesus Collegen ruokasaliin. Kirkkomaista tilaa koristavat lasimaalaukset, kultavalut ja peruukkeihin pukeutuneita miehiä esittävät öljymaalaukset. Tallinna istui raskaan mahonkipöydän ääressä yllään Piilaakson rento asu: mustat farkut, t-paita ja kangaslenkkarit. Holvikatto ulottui korkealle hänen harmaanvaaleiden hiustensa yläpuolelle.
47-vuotiaana Tallinna on jollain tapaa oppikirjasi tekniikkayrittäjä. Hän uskoo, että tieteen edistyksen ansiosta (ja edellyttäen, ettei tekoäly tuhoa meitä), hän elää ”monta, monta vuotta”. Kun hän kerhoilee tutkijoiden kanssa, hän kestää kauemmin kuin nuoret jatko-opiskelijatkin. Hänen huolensa superintelligenssistä on yleistä hänen kohorttinsa keskuudessa. PayPalin perustaja Peter Thielin säätiö on antanut Mirille 1,6 miljoonaa dollaria ja vuonna 2015 Teslan perustaja Elon Musk lahjoitti 10 miljoonaa dollaria Teknologiaturvallisuusorganisaatio Future of Life Institutelle Cambridgessa Massachusettsissa. Mutta Tallinnan sisääntulo tähän harvinaiseen maailmaan tuli rautaesiripun takaa 1980-luvulla, kun luokkatoverin isä, jolla oli valtion työpaikka, antoi muutamille älykkäille lapsille pääsyn suurtietokoneisiin. Viron itsenäistyttyä hän perusti videopeliyrityksen. Nykyään Tallinna asuu yhä pääkaupungissaan-jota kutsutaan myös Tallinnaksi-vaimonsa ja kuudesta lapsestaan nuorimman kanssa. Kun hän haluaa tavata tutkijoita, hän usein vain lennättää heidät Baltiaan.
hänen antamisstrategiansa on järjestelmällinen, kuten lähes kaikki muukin, mitä hän tekee. Hän jakaa rahansa 11 järjestön kesken, joista jokainen työstää erilaisia lähestymistapoja tekoälyn turvallisuuteen siinä toivossa, että yksi voisi pysyä. Tässä 2012, hän cofounded The Cambridge Centre for the Study of Existential Risk (CSER) kanssa alustava kustannukset lähes $200,000.
eksistentiaaliset riskit – tai X-riskit, kuten Tallinna niitä kutsuu-ovat uhkia ihmiskunnan selviytymiselle. Tekoälyn lisäksi CSER: n 20-vuotiaat tutkijat tutkivat ilmastonmuutosta, ydinsotaa ja bioaseita. Mutta Tallinnaan nuo muut tieteenalat ”ovat oikeastaan vain porttihuumeita”. Huoli laajemmin hyväksytyistä uhkista, kuten ilmastonmuutoksesta, saattaa vetää ihmisiä puoleensa. Hän toivoo, että superälykkäiden koneiden kauhut saavat heidät jäämään. Hän oli vierailulla Cambridgessa konferenssissa, koska haluaa akateemisen yhteisön ottavan tekoälyn turvallisuuden vakavammin.
Jesus Collegessa ruokailukumppanimme olivat satunnainen valikoima konferenssikävijöitä, kuten robotiikkaa opiskeleva hongkongilainen nainen ja Cambridgesta 1960-luvulla valmistunut brittimies. vanhempi mies kysyi kaikilta pöydän ääressä, missä he opiskelivat yliopistoa. (Tallinnan vastaus, Viron Tarton yliopisto, ei tehnyt häneen vaikutusta.) Hän yritti sitten ohjata keskustelua kohti uutisia. Tallinna katsoi häntä ilmeettömästi. ”En ole kiinnostunut lähiajan riskeistä”, hän sanoi.
Tallinna vaihtoi aiheen superintelligenssin uhkaan. Kun hän ei puhu muille ohjelmoijille, hän turvautuu kielikuviin, ja hän juoksi läpi hänen sarja niistä: kehittynyt tekoäly voi hävittää meidät yhtä nopeasti kuin ihmiset kaataa puita. Superälykkyys on meille sitä, mitä olemme gorilloille.
tekoäly tarvitsisi ruumiin ottaakseen vallan, vanhempi mies sanoi. Ilman fyysistä koteloa, miten se voisi saada fyysisen hallinnan?
Tallinnassa oli toinen metafora valmiina: ”laittakaa minut kellariin, jossa on nettiyhteys, ja voisin tehdä paljon vahinkoa”, hän sanoi. Sitten hän haukkasi risottoa.
jokainen tekoäly, oli se sitten Roomba tai joku sen mahdollisista maailmaa dominoivista jälkeläisistä, on lopputulosten ajama. Ohjelmoijat antavat nämä tavoitteet sekä joukon sääntöjä siitä, miten niitä tavoitellaan. Kehittyneelle tekoälylle ei välttämättä tarvitsisi antaa maailmanvalloitustavoitetta sen saavuttamiseksi – se voi olla vain sattumaa. Tietokoneohjelmoinnin historia on täynnä pieniä virheitä, jotka aiheuttivat katastrofeja. Esimerkiksi vuonna 2010, kun sijoitusrahastoyhtiö Waddell & Reedin kauppias myi tuhansia futuurisopimuksia, yrityksen ohjelmistosta jäi pois avainmuuttuja algoritmista, joka auttoi kaupan toteuttamisessa. Tuloksena oli biljoonan dollarin Yhdysvaltain ”flash crash”.
tutkijat uskovat, että jos yli-inhimillisen tekoälyn palkitsemisrakennetta ei ole ohjelmoitu oikein, hyväntahtoisillakin tavoitteilla voi olla salakavalia tarkoitusperiä. Yksi tunnettu esimerkki, jonka Oxfordin yliopiston filosofi Nick Bostrom esitti kirjassaan Superintelligence, on fiktiivinen agentti, joka on ohjattu tekemään mahdollisimman monta klemmaria. Tekoäly saattaisi päättää, että ihmisruumiissa olevat atomit olisi parempi käyttää raaka-aineena.
Tallinnan näkemyksissä on osansa parjaajista, jopa tekoälyn turvallisuudesta kiinnostuneiden keskuudessa. Jotkut väittävät, että on liian aikaista huolehtia superintelligentin tekoälyn rajoittamisesta, kun emme vielä ymmärrä sitä. Toiset sanovat, että keskittyminen veijareihin teknologisiin toimijoihin kääntää huomion pois kaikkein kiireellisimmistä ongelmista, joita alalla on, kuten se, että suurin osa algoritmeista on valkoisten miesten suunnittelemia tai perustuu heihin kohdistuvaan dataan. ”Olemme vaarassa rakentaa maailman, jossa emme halua elää, jos emme vastaa näihin haasteisiin lähitulevaisuudessa”, sanoi Terah Lyons, toimitusjohtaja Partnership on AI, teknologiateollisuuden konsortio keskittyy tekoälyn turvallisuuteen ja muihin kysymyksiin. (Useat institutes Tallinna backs ovat jäseniä.) Mutta, hän lisäsi, jotkut tutkijoiden kohtaamista lähiajan haasteista, kuten algoritmisen vinouman kitkeminen, ovat esiasteita niille, joita ihmiskunta saattaa nähdä superälykkään tekoälyn avulla.
Tallinna ei ole niin vakuuttunut. Hän väittää, että älykäs tekoäly tuo mukanaan ainutlaatuisia uhkia. Viime kädessä hän toivoo, että TEKOÄLYYHTEISÖ voisi seurata 1940-luvun ydinaseiden vastaisen liikkeen esimerkkiä. Hiroshiman ja Nagasakin pommitusten jälkeen tiedemiehet liittoutuivat yrittääkseen rajoittaa ydinkokeita. ”Manhattan – projektin tutkijat olisivat voineet sanoa:’ Katso, me teemme täällä innovaatioita, ja innovaatiot ovat aina hyviä, joten mennään vain eteenpäin'”, hän kertoi minulle. ”Mutta he olivat vastuullisempia.”
Tallinna varoittaa, että tekoälyn turvallisuuteen on vaikea suhtautua oikein. Jos tekoäly on riittävän älykäs, sillä saattaa olla parempi käsitys rajoitteista kuin sen tekijöillä. Hän sanoi: ”kuvittele herääväsi vankilassa, jonka on rakentanut joukko sokeita viisivuotiaita.”Tällaista voisi olla superälykäs tekoäly, joka on ihmisten eristämä.
teoreetikko Yudkowsky löysi todisteita siitä, että tämä voisi olla totta, kun hän vuodesta 2002 alkaen johti chat-istuntoja, joissa hän esitti laatikkoon suljettua tekoälyä, kun taas toisten ihmisten rotaatio esitti portinvartijaa, jonka tehtävänä oli pitää tekoäly sisällä. Kolme kertaa viidestä Yudkowsky – pelkkä kuolevainen-sanoo suostutelleensa portinvartijan vapauttamaan hänet. Hänen kokeensa eivät ole kuitenkaan lannistaneet tutkijoita yrittämästä suunnitella parempaa laatikkoa.
Tallinnan rahastojen tutkijat pyrkivät monenlaisiin strategioihin, käytännöllisestä näennäisen kaukaa haettuun. Jotkut teoretisoivat NYRKKEILYÄLYÄ joko fyysisesti rakentamalla todellisen rakenteen sen hillitsemiseksi tai ohjelmoimalla rajat sille, mitä se voi tehdä. Toiset yrittävät opettaa tekoälyä noudattamaan inhimillisiä arvoja. Muutama työskentelee viimeisen ojan katkaisijan parissa. Yksi kaikista kolmesta tutkijasta on matemaatikko ja filosofi Stuart Armstrong Oxfordin yliopiston Future of Humanity-instituutista, jota Tallinna kutsuu ”maailmankaikkeuden kiinnostavimmaksi paikaksi.”(Tallinna on antanut FHI: lle yli 310 000 dollaria.)
Armstrong on yksi harvoista tutkijoista maailmassa, joka keskittyy täysipäiväisesti tekoälyn turvallisuuteen. Kun tapasin hänet kahvilla Oxfordissa, hän pukeutui napittamattomaan rugby-paitaan ja näytti ihmiseltä, joka viettää elämänsä valkokankaan takana, kalpeat kasvot, joita kehystää sotkuinen hiekkainen tukka. Hän maustoi selityksensä hämmentävällä sekoituksella populaarikulttuurin viittauksia ja matematiikkaa. Kun kysyin häneltä, miltä voisi näyttää menestyä TEKOÄLYTURVALLISUUDESSA, hän vastasi: ”Oletko nähnyt Lego-elokuvan? Kaikki on mahtavaa.”
eräs Armstrongin tutkimuskanta tarkastelee nyrkkeilyyn erikoistunutta lähestymistapaa, jota kutsutaan ”oraakkeliksi” TEKOÄLYKSI. Tässä 2012 paperi Nick Bostrom, joka oli mukana perustamassa Fhi, hän ehdotti paitsi walling pois superintelligence säiliössä-fyysinen rakenne-mutta myös rajoittaa sen vastaamalla kysymyksiin, kuten todella älykäs Ouija-aluksella. Näilläkin rajoilla tekoälyllä olisi valtava voima muokata ihmiskunnan kohtaloa manipuloimalla salakavalasti kuulustelijoitaan. Vähentääkseen tämän mahdollisuutta Armstrong ehdottaa keskusteluille aikarajoja tai kieltoa kysymyksiin, jotka saattaisivat kaataa nykyisen maailmanjärjestyksen. Hän on myös ehdottanut, että oraakkelin valtakirjalle annettaisiin ihmisen selviytymisen mittoja, kuten Dow Jones industrial average tai katua ylittävien ihmisten määrä Tokiossa, ja käskettäisiin sitä pitämään nämä vakaina.
lopulta Armstrong uskoo, että voisi olla tarpeen luoda, kuten hän sitä eräässä paperissa kutsuu, ”iso punainen off-painike”: joko fyysinen kytkin tai tekoälyyn ohjelmoitu mekanismi, joka automaattisesti sammuu purkautumistilanteessa. Mutta tällaisen Kytkimen suunnittelu on kaikkea muuta kuin helppoa. Kyse ei ole vain siitä, että kehittynyt, itsesuojelusta kiinnostunut tekoäly voisi estää napin painamisen. Se voisi myös tulla uteliaaksi siitä, miksi ihmiset keksivät napin, aktivoivat sen nähdäkseen, mitä tapahtuu, ja tehdä itsestään hyödyttömän. Vuonna 2013 ohjelmoija Tom Murphy VII suunnitteli tekoälyn, joka voisi opetella pelaamaan Nintendo Entertainment System-pelejä. Päättänyt olla häviämättä Tetriksessä, tekoäly yksinkertaisesti painoi taukoa-ja piti pelin jäissä. ”Totisesti ainoa voittava liike on se, ettei pelaa”, Murphy totesi wryly-lehdessä luomuksestaan.
strategian onnistuminen edellyttää, että tekoäly ei ole kiinnostunut nappulasta, tai kuten Tallinna asian ilmaisi: ”sen on annettava yhtä suuri arvo maailmalle, jossa sitä ei ole, ja maailmalle, jossa se on olemassa.”Mutta vaikka tutkijat voivat saavuttaa sen, on muitakin haasteita. Entä jos tekoäly on kopioinut itsensä useita tuhansia kertoja Internetin kautta?
eniten tutkijoita innostava lähestymistapa on löytää keino saada tekoäly noudattamaan inhimillisiä arvoja– ei ohjelmoimalla niitä, vaan opettamalla AIs oppimaan niitä. Puoluepolitiikan hallitsemassa maailmassa ihmiset pohtivat usein sitä, miten periaatteemme eroavat toisistaan. Mutta Tallinna kertoi, että ihmisillä on paljon yhteistä: ”lähes jokainen arvostaa oikeaa jalkaansa. Emme vain ajattele sitä.”Toiveena on, että tekoäly voitaisiin opettaa erottamaan tällaiset muuttumattomat säännöt.
tekoälyn olisi tässä prosessissa opittava ja arvostettava ihmisten vähemmän loogista puolta: sitä, että sanomme usein yhtä ja tarkoitamme toista, että jotkut mieltymyksemme ovat ristiriidassa toisten kanssa ja että ihmiset ovat vähemmän luotettavia humalassa. Haasteista huolimatta Tallinnan mielestä kannattaa yrittää, koska panokset ovat niin kovat. ”Meidän on ajateltava muutama askel eteenpäin”, hän sanoi. ”Sellaisen tekoälyn luominen, joka ei ole kiinnostunut meistä, olisi kamala virhe.”
hänen viimeisenä iltanaan Cambridgessa lähdin Tallinnan ja kahden tutkijan kanssa syömään pihviravintolaan. Tarjoilija istutti seurueemme valkopesukellariin luolamaiseen tunnelmaan. Hän ojensi meille yhden sivun menun, jossa oli tarjolla kolmea erilaista muusia. Viereisen pöydän ääreen istahti pariskunta, joka muutaman minuutin kuluttua pyysi muuttamaan muualle. ”Se on liian klaustrofobinen”, nainen valitti. Mieleeni tuli Tallinnan kommentti siitä, millaista tuhoa hän voisi aiheuttaa, jos hänet lukittaisiin kellariin, jossa ei olisi muuta kuin nettiyhteys. Tässä sitä oltiin, laatikossa. Miehet miettivät ikään kuin tilauksesta, miten päästä pois.
Tallinnan vieraina olivat entinen genomitutkija Seán Ó Héigeartaigh, joka on CSER: n toiminnanjohtaja, sekä Kööpenhaminan yliopiston TEKOÄLYTUTKIJA Matthijs Maas. He vitsailivat ideasta nörtti toiminta elokuva nimeltään Superintelligence v Blockchain!, ja keskusteltiin nettipeli nimeltä Universal Paperclips, joka riffs skenaario Bostrom kirja. Harjoitukseen kuuluu toistuvasti klikkaamalla hiirtä tehdä paperiliittimiä. Se ei ole varsinaisesti räikeä, mutta se antaa käsityksen siitä, miksi kone saattaa etsiä tarkoituksenmukaisempia tapoja tuottaa toimistotarvikkeita.
lopulta puhe siirtyi kohti isompia kysymyksiä, kuten Tallinnassa usein käy. Tekoälyn turvallisuustutkimuksen perimmäinen tavoite on luoda koneita, jotka ovat, kuten Cambridgen filosofi ja CSER: n perustaja Huw Price asian kerran ilmaisi, ”eettisesti sekä kognitiivisesti yli-inhimillisiä”. Toiset ovat nostaneet esiin kysymyksen: Jos emme halua tekoälyn hallitsevan meitä, haluammeko me hallita tekoälyä? Toisin sanoen, onko tekoälyllä oikeuksia? Tallinnan mielestä tämä on tarpeetonta antropomorfisointia. Siinä oletetaan, että älykkyys on yhtä kuin tietoisuus – harhaluulo, joka ärsyttää monia TEKOÄLYTUTKIJOITA. Aiemmin päivällä CSER-tutkija José Hernández-Orallo vitsaili, että TEKOÄLYTUTKIJOIDEN kanssa puhuttaessa tietoisuus on ”C-sana”. (”Ja’ vapaa tahto ’on F-sana”, hän lisäsi.)
kellarissa Tallinna sanoi, että tietoisuus on sivuseikka: ”otetaan esimerkiksi termostaatti. Kukaan ei sanoisi, että se on tietoista. Mutta on todella hankalaa kohdata se agentti, jos olet huoneessa, joka on asetettu-30 asteeseen.”
Ó Héigeartaigh chimed in. ”Olisi mukavaa olla huolissaan tietoisuudesta”, hän sanoi, ” mutta meillä ei ole varaa huolehtia tietoisuudesta, jos emme ole ensin ratkaisseet teknisiä turvallisuushaasteita.”
ihmiset miettivät liikaa sitä, mikä superälykäs tekoäly on, Tallinna sanoi. Minkä muodon se ottaa? Pitäisikö huolestua siitä, että yksi tekoäly ottaa vallan vai kokonainen armeija? ”Meidän näkökulmastamme tärkeintä on se, mitä tekoäly tekee”, hän painotti. Ja se voi hänen mukaansa olla vielä ihmisistä kiinni-toistaiseksi.
tämä teos ilmestyi alun perin Popular Science-lehdessä