három és fél milliárd évvel ezelőtt kezdődött egy mocsárban, amikor egy molekula másolatot készített magáról, és így minden földi élet végső őse lett. Négy millió évvel ezelőtt kezdődött, amikor az agytérfogatok gyorsan emelkedni kezdtek a hominid vonalban.
ötvenezer évvel ezelőtt a Homo sapiens sapiens felemelkedésével.
tízezer évvel ezelőtt a civilizáció feltalálásával.
ötszáz évvel ezelőtt a nyomda feltalálásával.
ötven évvel ezelőtt a számítógép feltalálásával.
kevesebb, mint harminc év alatt véget ér.
Jaan Tallinn 2007-ben bukkant ezekre a szavakra egy online esszében, amelynek címe: bámul a Szingularitásba. Az” it ” az emberi civilizáció volt. Az emberiség megszűnik létezni, jósolta az esszé szerzője, a szuperintelligencia vagy az AI megjelenésével, amely számos területen felülmúlja az emberi szintű intelligenciát.
Tallinn, egy Észt születésű számítógépes programozó, fizikai háttérrel rendelkezik, és hajlamos arra, hogy az életet egy nagy programozási problémaként közelítse meg. 2003-ban társalapítója volt a Skype-nak, kifejlesztve az alkalmazás hátterét. Beváltotta a részvényeit, miután az eBay megvette két évvel később, és most castingolt, hogy csináljon valamit. A Szingularitásba meredve számítógépes kódokat, kvantumfizikát, Calvin és Hobbes idézeteket gyűjtött össze. Függő volt.
Tallinn hamarosan felfedezte, hogy a szerző, Eliezer Yudkowsky, autodidakta teoretikus, több mint 1000 esszét és blogbejegyzést írt, amelyek közül sokat a szuperintelligenciának szenteltek. Írt egy programot, hogy lekaparja Yudkowsky írásait az internetről, időrendben megrendelje és formázza őket az iPhone-jához. Aztán az év nagy részét azzal töltötte, hogy elolvasta őket.
a mesterséges intelligencia kifejezést, vagy az intelligencia szimulációját számítógépekben vagy gépekben, 1956-ban hozták létre, csak egy évtizeddel az első elektronikus digitális számítógépek létrehozása után. A mezőny reménye kezdetben magas volt, de az 1970-es évekre, amikor a korai előrejelzések nem sikerültek, beindult egy “AI tél”. Amikor Tallinn megtalálta Yudkowsky esszéit, AI reneszánszon ment keresztül. A tudósok olyan mesterséges intelligenciákat fejlesztettek ki, amelyek kiválóak voltak bizonyos területeken, mint például a sakkban való győzelem, a konyha padlójának tisztítása és az emberi beszéd felismerése. Az ilyen “keskeny” AI-k, ahogy nevezik őket, emberfeletti képességekkel rendelkeznek, de csak a dominancia sajátos területein. A sakkozó AI nem tudja megtisztítani a padlót, vagy elvinni az A pontból a B pontba. A szuperintelligens AI, Tallinn azt hitte, hogy a készségek széles skáláját egyesíti egy entitásban. Sötétebben, felhasználhatja az okostelefon-toting emberek által generált adatokat is, hogy kitűnjön a társadalmi manipulációban.
Yudkowsky cikkeit olvasva Tallinn meggyőződött arról, hogy a szuperintelligencia az MI robbanásához vagy kitöréséhez vezethet, ami veszélyeztetheti az emberi létet – hogy az ultrasmart mesterséges intelligenciák elfoglalják a helyünket az evolúciós létrán, és uralni fognak minket, ahogy most uraljuk a majmokat. Vagy, ami még rosszabb, kiirtani minket.
az utolsó esszé befejezése után Tallinn e – mailt küldött Yudkowsky-nak-minden kisbetűvel, akárcsak a stílusa. “jaan vagyok, a skype egyik alapító mérnöke” – írta. Végül a lényegre jutott: “egyetértek ezzel … az emberiség egyik legfontosabb feladata az AI általános eseményének előkészítése, amely meghaladja az emberi intelligenciát.”Segíteni akart.
amikor Tallinn egy héttel később a Bay Area-ba repült más találkozókra, találkozott Yudkowsky, aki a közelben lakott, egy kávézóban Millbrae, Kalifornia. Az összejövetelük négy órán át tartott. “Valóban, őszintén megértette a mögöttes fogalmakat és a részleteket” – mondta Yudkowsky a közelmúltban. “Ez nagyon ritka.”Ezt követően Tallinn 5000 dolláros (3700 dollár) csekket írt a Singularity Institute for Artificial Intelligence nonprofit szervezetnek, ahol Yudkowsky kutató volt. (A szervezet 2013-ban Machine Intelligence Research Institute-ra vagy Miri-re változtatta a nevét.) Tallinn azóta több mint 600 000 dollárt adott az intézetnek.
a Yudkowskyval való találkozás Tallinn célját hozta, küldetésre küldte, hogy megmentsen minket saját teremtéseinktől. Utazási életet kezdett, beszélgetéseket tartott szerte a világon a szuperintelligencia jelentette fenyegetésről. Leginkább azonban olyan módszerek kutatását kezdte finanszírozni, amelyek kiutat adhatnak az emberiségnek: az úgynevezett barátságos AI-t. Ez nem azt jelenti, hogy egy gép vagy ügynök különösen jártas az időjárásról való csevegésben, vagy hogy emlékszik a gyermekei nevére – bár a szuperintelligens AI képes lehet mindkét dologra. Ez nem azt jelenti, hogy az altruizmus vagy a szeretet motiválja. Általános tévedés azt feltételezni, hogy az AI-nek emberi késztetései és értékei vannak. A “barátságos” valami sokkal alapvetőbbet jelent: hogy a holnap gépei nem törölnek el minket céljaik elérése érdekében.
tavaly tavasszal csatlakoztam Tallinnhoz egy étkezésre a Cambridge-i Egyetem Jesus College étkezőjében. A templomszerű teret ólomüveg ablakok, arany öntvény és parókás férfiak olajfestményei díszítik. Tallinn egy nehéz mahagóni asztalnál ült, a Szilícium-völgy alkalmi ruháját viselve: fekete farmert, pólót és vászoncipőt. A boltíves fa mennyezet magasan a szürke-szőke haj sokkja fölé nyúlt.
47 éves korában Tallinn bizonyos szempontból a tankönyv tech vállalkozója. Úgy gondolja, hogy a tudomány fejlődésének köszönhetően (és feltéve, hogy az AI nem pusztít el minket) “sok-sok évig”fog élni. Amikor kutatókkal szórakozik, még a fiatal végzős hallgatókat is túléli. A szuperintelligencia iránti aggodalma gyakori a kohorszában. A PayPal társalapítója, Peter Thiel alapítványa 1,6 millió dollárt adott Mirinek, 2015-ben pedig a Tesla alapítója, Elon Musk 10 millió dollárt adományozott a jövő élet Intézetének, egy technológiai biztonsági szervezetnek Cambridge-ben, Massachusettsben. De Tallinn belépése ebbe a ritka világba a vasfüggöny mögött jött az 1980-as években, amikor egy osztálytárs apja kormányzati munkával néhány okos gyereknek hozzáférést biztosított a nagyszámítógépekhez. Miután Észtország függetlenné vált, videojáték-társaságot alapított. Tallinn ma is a fővárosában él – más néven Tallinn-feleségével és hat gyermeke közül a legfiatalabbal. Amikor kutatókkal akar találkozni,gyakran csak a Balti régióba repül.
adakozási stratégiája módszeres, mint szinte minden más, amit csinál. 11 szervezet között osztja szét a pénzét, amelyek mindegyike az AI biztonságának különböző megközelítésein dolgozik, abban a reményben, hogy az egyik ragaszkodhat. 2012-ben társalapítója volt a Cambridge-i egzisztenciális Kockázatkutató központnak (Cser), amelynek kezdeti költsége közel 200 000 dollár volt.
az egzisztenciális kockázatok-vagy X-kockázatok, ahogy Tallinn hívja őket-fenyegetik az emberiség túlélését. Az AI mellett a Cser 20 páratlan kutatója az éghajlatváltozást, a nukleáris háborút és a biofegyvereket vizsgálja. De Tallinn számára ezek a más tudományágak “valójában csak átjáró drogok”. A szélesebb körben elfogadott fenyegetésekkel, például az éghajlatváltozással kapcsolatos aggodalmak vonzhatják az embereket. A szuperintelligens gépek borzalma, amely átveszi a világot, reméli, meggyőzi őket, hogy maradjanak. Cambridge-be látogatott egy konferenciára, mert azt akarja, hogy az akadémiai közösség komolyabban vegye az AI biztonságát.
a Jesus College-ban vacsoratársaink véletlenszerűen válogattak a konferenciára járók közül, köztük egy hongkongi nő, aki robotikát tanult, és egy brit férfi, aki Cambridge-ben végzett az 1960-as években. az idősebb férfi mindenkit megkérdezett az asztalnál, ahol Egyetemre jártak. (Tallinn válasza, az Észt Tartui Egyetem, nem hatotta meg.) Ezután megpróbálta a beszélgetést a hírek felé irányítani. Tallinn értetlenül nézett rá. “Nem érdekelnek a rövid távú kockázatok” – mondta.
Tallinn megváltoztatta a témát a szuperintelligencia fenyegetésére. Amikor nem beszél más programozókkal, akkor a metaforákat veszi alapul, és végigfutott a lakosztályán: a fejlett AI olyan gyorsan képes megszabadulni tőlünk, mint az emberek a fákat. A szuperintelligencia számunkra az, ami a gorilláknak vagyunk.
egy MI-nek szüksége lenne egy testre, hogy átvegye az irányítást-mondta az idősebb férfi. Valamilyen fizikai burkolat nélkül, hogyan lehetne fizikai irányítást szerezni?
Tallinnban egy másik metafora is készen állt: “tegyél egy alagsorba, ahol internetkapcsolat van, és sok kárt okozhatok” – mondta. Aztán megharapott egy rizottót.
minden AI-t, legyen az Roomba vagy annak egyik potenciális világuralmi leszármazottja, az eredmények vezérlik. A programozók hozzárendelik ezeket a célokat, valamint egy sor szabályt, hogyan kell követni őket. A fejlett AI – nek nem feltétlenül kell megadnia a világuralom célját annak elérése érdekében-ez csak véletlen lehet. A számítógépes programozás története pedig tele van apró hibákkal, amelyek katasztrófákat váltottak ki. 2010-ben például, amikor egy kereskedő a befektetési alap társaság Waddell & Reed több ezer határidős szerződést adott el, a cég szoftvere kihagyott egy kulcsfontosságú változót az algoritmusból, amely segített a kereskedelem végrehajtásában. Az eredmény a billió dolláros amerikai “flash crash” volt.
a kutatók Tallinn alapok úgy vélik, hogy ha egy emberfeletti AI jutalmazási struktúráját nem megfelelően programozzák, akkor még a jóindulatú céloknak is lehet alattomos vége. Az egyik jól ismert példa, amelyet az Oxfordi Egyetem filozófusa, Nick Bostrom írt Superintelligence című könyvében, egy kitalált ügynök, amelynek célja a lehető legtöbb gemkapocs készítése. Az AI dönthet úgy, hogy az emberi testben lévő atomokat jobban fel lehet használni nyersanyagként.
Tallinn nézetei megosztják a detraktorokat, még az AI biztonságával foglalkozó emberek közösségében is. Egyesek azt kifogásolják, hogy túl korai aggódni a szuperintelligens AI korlátozása miatt, amikor még nem értjük. Mások szerint a szélhámos technológiai szereplőkre való összpontosítás eltereli a figyelmet a terület legsürgetőbb problémáiról, mint például az a tény, hogy az algoritmusok többségét fehér férfiak tervezték, vagy a feléjük elfogult adatok alapján. “Fennáll annak a veszélye, hogy olyan világot építünk, amelyben nem akarunk élni, ha nem kezeljük ezeket a kihívásokat a közeljövőben” – mondta Terah Lyons, az AI biztonságával és más kérdésekkel foglalkozó technológiai ipari konzorcium Partnership on AI ügyvezető igazgatója. (Több Intézet Tallinn támogatja tagjai. Hozzátette azonban, hogy a kutatók előtt álló néhány rövid távú kihívás, például az algoritmikus torzítás kiszűrése, előfutára azoknak, amelyeket az emberiség a szuperintelligens AI-vel láthat.
Tallinn nincs annyira meggyőződve. Azt állítja, hogy a szuperintelligens AI egyedi fenyegetéseket hoz. Végül reméli, hogy az AI közösség követheti az atomellenes mozgalom vezetését az 1940-es években. Hirosima és Nagaszaki bombázása nyomán a tudósok összefogtak, hogy megpróbálják korlátozni a további nukleáris kísérleteket. “A Manhattan Projekt tudósai azt mondhatták volna:” Nézd, itt innovációt végzünk, és az innováció mindig jó, szóval csak ugorjunk előre ” – mondta. “De ők sokkal felelősségteljesebbek voltak ennél.”
Tallinn arra figyelmeztet, hogy az AI biztonságának bármilyen megközelítése nehéz lesz helyes. Ha egy AI elég okos, akkor jobban megértheti a korlátokat, mint az alkotói. Képzelje el, azt mondta: “egy olyan börtönben ébredni, amelyet egy csomó vak ötéves gyerek épített.”Ez lehet egy szuperintelligens AI számára, amelyet az emberek korlátoznak.
Yudkowsky teoretikus bizonyítékot talált arra, hogy ez igaz lehet, amikor 2002-től kezdve csevegéseket folytatott, amelyekben egy dobozba zárt AI szerepét töltötte be, míg más emberek rotációja játszotta a KAPUŐRT, akinek feladata az AI bent tartása volt. Ötből háromszor Yudkowsky-pusztán halandó-azt mondja, hogy meggyőzte a kapust, hogy engedje el. Kísérletei azonban nem akadályozták meg a kutatókat abban, hogy jobb dobozt tervezzenek.
a kutatók, hogy Tallinn alapok folytat sokféle stratégiák, a gyakorlati a látszólag erőltetett. Néhány elmélet a boksz AI-ről, akár fizikailag, egy tényleges struktúra felépítésével annak visszatartására, vagy programozással annak korlátaiban, hogy mit tehet. Mások megpróbálják megtanítani az AI-t az emberi értékek betartására. Néhányan dolgoznak egy utolsó árok off-kapcsoló. Stuart Armstrong matematikus és filozófus az Oxfordi Egyetem future of Humanity Intézetében, amelyet Tallinn “az univerzum legérdekesebb helyének” nevez.”(Tallinn több mint 310 000 dollárt adott az FHI-nek.)
Armstrong egyike azon kevés kutatóknak a világon, akik teljes munkaidőben az AI biztonságára összpontosítanak. Amikor Oxfordban találkoztam vele kávézni, kigombolt rögbi inget viselt, és úgy nézett ki, mint aki az életét a képernyő mögött tölti, sápadt arccal, amelyet homokos haj rendetlensége keretez. Magyarázatait a populáris kultúra és a matematika zavaró keverékével fűszerezte. Amikor megkérdeztem tőle, hogy nézhet ki az AI biztonságának sikere, azt mondta: “láttad a Lego film? Minden fantasztikus.”
Armstrong kutatásának egyik törzse a boksz speciális megközelítését vizsgálja, amelyet “oracle” AI-nek hívnak. Egy 2012-es cikkben Nick Bostrom, aki az FHI társalapítója volt, azt javasolta, hogy ne csak a szuperintelligenciát falazzák le egy tárolótartályban – egy fizikai struktúrában–, hanem korlátozzák a kérdések megválaszolására is, mint egy igazán okos Ouija tábla. Még ezekkel a határokkal is, az AI-nek hatalmas ereje lenne az emberiség sorsának átalakítására azáltal, hogy finoman manipulálja kihallgatóit. Ennek lehetőségének csökkentése érdekében Armstrong határidőket javasol a beszélgetésekre, vagy betiltja azokat a kérdéseket, amelyek felboríthatják a jelenlegi világrendet. Azt is javasolta, hogy az oracle proxy méréseket adjon az emberi túlélésről, mint például a Dow Jones ipari átlag vagy a Tokióban az utcán átkelő emberek száma, és mondja meg, hogy tartsa ezeket stabilan.
végül Armstrong úgy véli, hogy szükség lehet egy “nagy piros kikapcsoló gomb” létrehozására, amint azt egy cikkben nevezi: vagy fizikai kapcsoló, vagy egy AI-be programozott mechanizmus, amely kitörés esetén automatikusan kikapcsol. De egy ilyen kapcsoló megtervezése messze nem könnyű. Nem csak az, hogy az önmegőrzés iránt érdeklődő fejlett AI megakadályozhatja a gomb megnyomását. Kíváncsi lehet arra is, hogy az emberek miért találták ki a gombot, aktiválják, hogy lássák, mi történik, és haszontalanná teszik magát. 2013-ban egy Tom Murphy VII nevű programozó tervezett egy AI-t, amely megtaníthatja magát Nintendo Entertainment System játékok lejátszására. Elhatározta, hogy nem veszít a Tetrisnél, az AI egyszerűen megnyomta a pause-t – és befagyasztotta a játékot. “Valóban, az egyetlen nyerő lépés nem a játék” – jegyezte meg Murphy wryly alkotásáról szóló cikkében.
ahhoz, hogy a stratégia sikeres legyen, az AI-nek nem kell érdekelnie a gombot, vagy ahogy Tallinn fogalmazott: “egyenlő értéket kell hozzárendelnie a világhoz, ahol nem létezik, és a világhoz, ahol létezik.”De még ha a kutatók ezt el is tudják érni, vannak más kihívások is. Mi van, ha az AI több ezer alkalommal másolta magát az interneten?
a kutatókat leginkább izgató megközelítés az, hogy megtalálják a módját annak, hogy az AI– t az emberi értékekhez tartsák-nem programozással, hanem az AI-k megtanításával, hogy megtanulják őket. A partizánpolitika által uralt világban az emberek gyakran azon lakoznak, hogy elveink miben különböznek egymástól. De Tallinn azt mondta nekem, hogy az embereknek sok közös vonása van: “szinte mindenki értékeli a jobb lábát. Csak nem gondolunk rá.”A remény az, hogy az AI-t megtaníthatják az ilyen megváltoztathatatlan szabályok felismerésére.
a folyamat során az MI-nek meg kell tanulnia és értékelnie kell az emberek kevésbé logikus oldalát: hogy gyakran mondunk egy dolgot, és mást értünk, hogy egyes preferenciáink ütköznek másokkal, és hogy az emberek kevésbé megbízhatóak részegen. A kihívások ellenére Tallinn úgy véli, érdemes kipróbálni, mert a tét olyan magas. “Néhány lépéssel előre kell gondolkodnunk” – mondta. “Egy olyan AI létrehozása, amely nem osztja az érdekeinket, szörnyű hiba lenne.”
Utolsó Cambridge-i estéjén csatlakoztam Tallinnhoz és két kutatóhoz egy steakhouse-ban vacsorázni. Egy pincér ültette csoportunkat egy fehér mosott pincében, barlangszerű légkörben. Átadott nekünk egy egyoldalas menüt, amely három különféle pépet kínált. Egy pár leült a mellettünk lévő asztalhoz, majd néhány perccel később megkérte, hogy költözzön máshova. “Túl klausztrofóbiás” – panaszkodott a nő. Eszembe jutott Tallinn megjegyzése arról a kárról, amelyet akkor okozhat, ha egy alagsorba zárják, csak internetkapcsolattal. Itt voltunk, a dobozban. Mintha a végszó, a férfiak fontolgatták módon kijutni.
Tallinn vendégei között volt a genomika korábbi kutatója, se ons, A CSER ügyvezető igazgatója, valamint Matthijs Maas, a Koppenhágai Egyetem mesterséges intelligenciával foglalkozó kutatója. Viccelődtek egy ötlet egy idétlen akció film címmel Superintelligence v Blockchain!, megvitatták az Universal gemkapcsok nevű online játékot, amely a Bostrom könyvében szereplő forgatókönyvet riffeli. A gyakorlat során többször kattintva az egér, hogy gemkapcsok. Nem éppen feltűnő, de értelmet ad annak, hogy egy gép miért kereshet célszerűbb módszereket Irodai kellékek előállítására.
végül a beszélgetés nagyobb kérdések felé tolódott el, mint gyakran, amikor Tallinn jelen van. Az AI-biztonsági kutatás végső célja olyan gépek létrehozása, amelyek-ahogy a Cambridge-i filozófus és a CSER társalapítója, Huw Price egyszer fogalmazott – “etikailag és kognitív szempontból is emberfeletti”. Mások felvetették a kérdést: ha nem akarjuk, hogy az AI uraljon minket, akkor mi akarjuk uralni az AI-t? Más szavakkal, az AI-nek vannak jogai? Tallinn szerint ez szükségtelen antropomorfizálás. Feltételezi, hogy az intelligencia megegyezik a tudattal – ez egy tévhit, amely sok AI kutatót bosszant. Korábban a nap folyamán, a CSER kutatója, Jos Enterprises Hern Enterprises-Orallo viccelődött, hogy amikor AI kutatókkal beszél, a tudat “a C-szó”. “A szabad akarat pedig az F-szó” – tette hozzá.)
a pincében Tallinn azt mondta, hogy a tudat a lényeg mellett van: “Vegyük a termosztát példáját. Senki sem mondaná, hogy tudatos. De nagyon kényelmetlen szembenézni azzal az ügynökkel, ha olyan szobában van, amely negatív 30 fokra van állítva.”
.. H .. .. főgonosz közbeszólt. “Jó lenne aggódni a tudatosságért, de nem engedhetjük meg magunknak azt a luxust, hogy aggódjunk a tudatosságért, ha nem oldottuk meg először a technikai biztonsági kihívásokat.”
az embereket túlságosan foglalkoztatja, hogy mi a szuperintelligens AI, mondta Tallinn. Milyen formában lesz? Aggódnunk kellene, hogy egyetlen AI veszi át a hatalmat, vagy egy hadsereg közülük? “A mi szempontunkból az a fontos, amit az AI csinál” – hangsúlyozta. És ez, úgy véli, még mindig az embereken múlik-egyelőre.
ez a darab eredetileg a Popular Science magazinban jelent meg