det började för tre och en halv miljard år sedan i en muckpool, när en molekyl gjorde en kopia av sig själv och så blev den ultimata förfadern till allt jordiskt liv. Det började för fyra miljoner år sedan, när hjärnvolymerna började klättra snabbt i hominidlinjen.
femtio tusen år sedan med uppkomsten av Homo sapiens sapiens.
tio tusen år sedan med civilisationens uppfinning.
fem hundra år sedan med uppfinningen av tryckpressen.
femtio år sedan med uppfinningen av datorn.
om mindre än trettio år kommer det att sluta.
Jaan Tallinn snubblade över dessa ord 2007, i en online-uppsats som heter stirrar in i singulariteten. ”Det” var mänsklig civilisation. Mänskligheten skulle upphöra att existera, förutspådde uppsatsens författare, med uppkomsten av superintelligens, eller AI, som överträffar intelligens på mänsklig nivå inom ett brett spektrum av områden.
Tallinn, en Estniskfödd datorprogrammerare, har en bakgrund i fysik och en benägenhet att närma sig livet som ett stort programmeringsproblem. 2003 grundade han Skype och utvecklade backend för appen. Han inkasserade i sina aktier efter eBay köpte den två år senare, och nu var han gjutning om för något att göra. Stirrar in i singulariteten mashed upp datorkod, kvantfysik och Calvin och Hobbes citat. Han var fast.
Tallinn upptäckte snart att författaren Eliezer Yudkowsky, en självlärd teoretiker, hade skrivit mer än 1000 uppsatser och blogginlägg, många av dem ägnas åt superintelligens. Han skrev ett program för att skrapa yudkowskys skrifter från internet, beställa dem kronologiskt och formatera dem för sin iPhone. Sedan spenderade han större delen av ett år på att läsa dem.
termen artificiell intelligens, eller simulering av intelligens i datorer eller maskiner, myntades redan 1956, bara ett decennium efter skapandet av de första elektroniska digitala datorerna. Hoppet på fältet var ursprungligen högt, men på 1970-talet, när tidiga förutsägelser inte gick ut, satte en ”AI-vinter” in. När Tallinn hittade yudkowskys uppsatser genomgick AI en renässans. Forskare utvecklade AIs som utmärkte sig inom specifika områden, som att vinna i schack, städa köksgolvet och känna igen mänskligt tal. Sådana ”smala” AI, som de kallas, har övermänskliga förmågor, men bara inom deras specifika dominansområden. En schackspelande AI kan inte rengöra golvet eller ta dig från punkt A till punkt B. Superintelligent AI, Tallinn kom att tro, kommer att kombinera ett brett spektrum av färdigheter i en enhet. Mer mörkt kan det också använda data som genereras av smartphone-toting människor för att utmärka sig på social manipulation.
Tallinn läste yudkowskys artiklar och blev övertygad om att superintelligens kan leda till en explosion eller utbrott av AI som kan hota människans existens – att ultrasmart AIs kommer att ta vår plats på den evolutionära stegen och dominera oss som vi nu dominerar apor. Eller, ännu värre, utrota oss.
efter att ha avslutat den sista av uppsatserna sköt Tallinn ett mail till Yudkowsky – alla små bokstäver, liksom hans stil. ”jag är jaan, en av grundarna av skype,” skrev han. Så småningom kom han till punkten: ”jag håller med om det … att förbereda sig för händelsen med allmän AI som överträffar mänsklig intelligens är en av de bästa uppgifterna för mänskligheten.”Han ville hjälpa.
när Tallinn flög till Bay Area för andra möten en vecka senare träffade han Yudkowsky, som bodde i närheten, på ett cafe i Millbrae, Kalifornien. Deras sammankomst sträckte sig till fyra timmar. ”Han förstod verkligen de underliggande begreppen och detaljerna”, berättade Yudkowsky nyligen. ”Detta är mycket sällsynt.”Därefter skrev Tallinn en check på $ 5,000 (3,700 xnumx 2 xnumx xnumx xnumx xnumx) till Singularity Institute for Artificial Intelligence, den ideella organisationen där Yudkowsky var forskare. (Organisationen bytte namn till Machine Intelligence Research Institute, eller Miri, 2013.) Tallinn har sedan dess gett Institutet mer än $ 600,000 .
mötet med Yudkowsky förde Tallinn syfte och skickade honom på ett uppdrag för att rädda oss från våra egna skapelser. Han inledde ett liv med resor och höll samtal runt om i världen om hotet från superintelligens. För det mesta började han dock finansiera forskning om metoder som kan ge mänskligheten en väg ut: så kallad vänlig AI. Det betyder inte att en maskin eller agent är särskilt skicklig på att chatta om vädret, eller att det kommer ihåg namnen på dina barn – även om superintelligent AI kanske kan göra båda dessa saker. Det betyder inte att det motiveras av altruism eller kärlek. En vanlig felaktighet antar att AI har mänskliga uppmaningar och värderingar. ”Vänlig” betyder något mycket mer grundläggande: att morgondagens maskiner inte kommer att utplåna oss i deras strävan att uppnå sina mål.
förra våren gick jag till Tallinn för en måltid i matsalen på Cambridge Universitys Jesus College. Det kyrkliga utrymmet är bedecked med glasmålningar, guldgjutning och oljemålningar av män i peruker. Tallinn satt vid ett tungt mahognybord med den avslappnade klädseln i Silicon Valley: svarta jeans, T-shirt och dukskor. Ett välvt trätak sträckte sig högt över hans chock av gråblont hår.
på 47, Tallinn är på vissa sätt din lärobok tech entreprenör. Han tror att tack vare framsteg inom vetenskapen (och förutsatt att AI inte förstör oss) kommer han att leva i ”många, många år”. När han är ute och klubbar med forskare överträffar han även de unga doktoranderna. Hans oro över superintelligens är vanlig bland hans kohort. PayPals grundare Peter Thiels stiftelse har gett Miri 1,6 miljoner dollar och 2015 donerade Tesla-grundaren Elon Musk 10 miljoner dollar till Future of Life Institute, en tekniksäkerhetsorganisation i Cambridge, Massachusetts. Men Tallinns inträde till denna sällsynta värld kom bakom järnridån på 1980-talet, när en klasskamrats far med ett regeringsjobb gav några ljusa barn tillgång till stordatorer. Efter att Estland blev självständigt grundade han ett videospelföretag. Idag bor Tallinn fortfarande i huvudstaden-även kallad Tallinn-med sin fru och den yngsta av sina sex barn. När han vill träffa forskare flyger han dem ofta bara till Baltikum.
hans ge strategi är metodisk, som nästan allt annat han gör. Han sprider sina pengar bland 11 organisationer, var och en arbetar med olika metoder för AI-säkerhet, i hopp om att man kan hålla fast. År 2012 grundade han Cambridge Center for the Study of Existential Risk (CSER) med ett initialt utlägg på nära 200 000 dollar.
existentiella risker – eller X-risker, som Tallinn kallar dem – är hot mot mänsklighetens överlevnad. Förutom AI studerar de 20-udda forskarna vid CSER klimatförändringar, kärnvapenkrig och biovapen. Men, till Tallinn, dessa andra discipliner ”är egentligen bara gateway droger”. Oro över mer allmänt accepterade hot, som klimatförändringar, kan dra in människor. Skräcken hos superintelligenta maskiner som tar över världen, hoppas han, kommer att övertyga dem att stanna. Han besökte Cambridge för en konferens eftersom han vill att det akademiska samfundet ska ta AI-säkerhet mer på allvar.
på Jesus College var våra matkompisar ett slumpmässigt sortiment av konferensgäster, inklusive en kvinna från Hong Kong som studerade robotik och en brittisk man som tog examen från Cambridge på 1960-talet. den äldre mannen frågade alla vid bordet där de gick på universitetet. (Tallinns svar, Estlands universitet i Tartu, imponerade inte på honom.) Han försökte sedan styra konversationen mot nyheterna. Tallinn tittade blankt på honom. ”Jag är inte intresserad av risker på kort sikt”, sa han.
Tallinn ändrade ämnet till hotet om superintelligens. När han inte pratar med andra programmerare, är han standard för metaforer, och han sprang genom sin svit av dem: avancerad AI kan förfoga över oss så snabbt som människor hugger ner träd. Superintelligens är för oss vad vi är för gorillor.
en AI skulle behöva en kropp för att ta över, sa den äldre mannen. Utan någon form av fysiskt hölje, hur kan det eventuellt få fysisk kontroll?
Tallinn hade en annan metafor redo:” Sätt mig i en källare med en Internetanslutning, och jag kunde göra mycket skada, ” sa han. Sedan tog han en bit risotto.
varje AI, oavsett om det är en Roomba eller en av dess potentiella världsdominerande Ättlingar, drivs av resultat. Programmerare tilldelar dessa mål, tillsammans med en rad regler om hur man förföljer dem. Avancerad AI skulle inte nödvändigtvis behöva ges målet om världsdominans för att uppnå det – det kan bara vara oavsiktligt. Och historien om datorprogrammering är full av små fel som utlöste katastrofer. Under 2010, till exempel när en näringsidkare med fondbolaget Waddell & Reed sålde tusentals terminskontrakt, lämnade företagets programvara en nyckelvariabel från algoritmen som hjälpte till att utföra handeln. Resultatet var den biljon dollar amerikanska ”flash crash”.
forskarna Tallinn-fonder tror att om belöningsstrukturen för en övermänsklig AI inte är korrekt programmerad, kan även godartade mål ha lumska ändar. Ett välkänt exempel, som anges av Oxford University filosofen Nick Bostrom i sin bok Superintelligence, är en fiktiv agent riktad för att göra så många gem som möjligt. AI kan bestämma att atomerna i mänskliga kroppar skulle användas bättre som råmaterial.
Tallinns åsikter har sin andel av motståndare, även bland samhället av människor som är intresserade av AI-säkerhet. Vissa motsätter sig att det är för tidigt att oroa sig för att begränsa superintelligent AI när vi ännu inte förstår det. Andra säger att fokusering på oseriösa tekniska aktörer avviker uppmärksamhet från de mest brådskande problemen som fältet står inför, som det faktum att majoriteten av algoritmerna är utformade av vita män eller baserade på data som är förspända mot dem. ”Vi riskerar att bygga en värld som vi inte vill leva i om vi inte tar itu med dessa utmaningar på kort sikt”, säger Terah Lyons, verkställande direktör för Partnership on AI, ett teknikindustrikonsortium fokuserat på AI-säkerhet och andra frågor. (Flera av instituten Tallinn backs är medlemmar.) Men, tillade hon, några av de närmaste utmaningarna för forskare, som att rensa ut algoritmisk bias, är föregångare till de som mänskligheten kan se med superintelligent AI.
Tallinn är inte så övertygad. Han räknar med att superintelligent AI ger unika hot. I slutändan hoppas han att AI-samhället kan följa ledningen för anti-kärnkraftsrörelsen på 1940-talet. i kölvattnet av bombningarna av Hiroshima och Nagasaki gick forskare samman för att försöka begränsa ytterligare kärnvapenprovning. ”Manhattan Project-forskarna kunde ha sagt:” Se, vi gör innovation här, och innovation är alltid bra, så låt oss bara springa framåt”, sa han till mig. ”Men de var mer ansvarsfulla än så.”
Tallinn varnar för att alla tillvägagångssätt för AI-säkerhet kommer att vara svåra att få rätt. Om en AI är tillräckligt smart kan den ha en bättre förståelse för begränsningarna än dess skapare gör. Tänk dig, han sa, ”vakna upp i ett fängelse byggt av en massa blinda femåringar.”Det är vad det kan vara för en superintelligent AI som är begränsad av människor.
teoretikern Yudkowsky fann bevis för att detta kan vara sant när han från och med 2002 genomförde chattsessioner där han spelade rollen som en AI innesluten i en låda, medan en rotation av andra människor spelade gatekeeper i uppdrag att hålla AI i. Tre av fem gånger säger Yudkowsky – bara dödlig-att han övertygade portvakten att släppa honom. Hans experiment har dock inte avskräckt forskare från att försöka utforma en bättre låda.
forskarna som Tallinn funds bedriver en mängd olika strategier, från det praktiska till det till synes långsökta. Vissa teorier om boxning AI, antingen fysiskt, genom att bygga en verklig struktur för att innehålla den, eller genom att programmera i gränser för vad den kan göra. Andra försöker lära AI att följa mänskliga värderingar. Några arbetar på en sista dike off-switch. En forskare som deltar i alla tre är matematiker och filosof Stuart Armstrong vid Oxford University Future of Humanity Institute, som Tallinn kallar ”den mest intressanta platsen i universum.”(Tallinn har gett FHI mer än $310,000.)
Armstrong är en av få forskare i världen som fokuserar heltid på AI-säkerhet. När jag träffade honom för kaffe i Oxford, han bar en uppknäppt rugby skjorta och såg ut som någon som tillbringar sitt liv bakom en skärm, med ett blekt ansikte inramat av en röra av sandigt hår. Han späckade sina förklaringar med en desorienterande blandning av populärkulturreferenser och matematik. När jag frågade honom hur det kan se ut att lyckas med AI-säkerhet sa han: ”har du sett Lego-filmen? Allt är fantastiskt.”
en stam av Armstrongs forskning tittar på ett specifikt tillvägagångssätt för boxning som kallas ett ”oracle” AI. I ett 2012-papper med Nick Bostrom, som grundade FHI, föreslog han inte bara att stänga av superintelligens i en hålltank – en fysisk struktur – utan också begränsa den till att svara på frågor, som en riktigt smart Ouija-styrelse. Även med dessa gränser skulle en AI ha enorm kraft att omforma mänsklighetens öde genom att subtilt manipulera sina förhörare. För att minska möjligheten att detta händer föreslår Armstrong tidsgränser för konversationer eller förbjuder frågor som kan öka den nuvarande världsordningen. Han har också föreslagit att oracle proxy-åtgärderna för mänsklig överlevnad, som Dow Jones industrial average eller antalet personer som korsar gatan i Tokyo, och berättar för att hålla dessa stabila.
i slutändan tror Armstrong att det kan vara nödvändigt att skapa, som han kallar det i ett papper, en ”stor röd Av-knapp”: antingen en fysisk omkopplare eller en mekanism programmerad i en AI för att automatiskt stänga av sig i händelse av en breakout. Men att utforma en sådan omkopplare är långt ifrån lätt. Det är inte bara att en avancerad AI som är intresserad av självbevarande kan förhindra att knappen trycks in. Det kan också bli nyfiken på varför människor utformade knappen, Aktivera den för att se vad som händer och göra sig värdelös. 2013 designade en programmerare vid namn Tom Murphy VII en AI som kunde lära sig att spela Nintendo Entertainment System-spel. Fast besluten att inte förlora på Tetris pressade AI helt enkelt paus – och höll spelet Fryst. ”Det enda vinnande draget är verkligen inte att spela”, observerade Murphy wryly i ett papper om hans skapelse.
för att strategin ska lyckas måste en AI vara ointresserad av knappen, eller, som Tallinn uttryckte det: ”den måste tilldela lika värde till världen där den inte finns och världen där den finns.”Men även om forskare kan uppnå det finns det andra utmaningar. Vad händer om AI har kopierat sig flera tusen gånger över internet?
det tillvägagångssätt som mest exciterar forskare är att hitta ett sätt att få AI att följa mänskliga värden– inte genom att programmera dem i, utan genom att lära AIs att lära sig dem. I en värld som domineras av partipolitik bor människor ofta på hur våra principer skiljer sig åt. Men Tallinn sa till mig att människor har mycket gemensamt: ”nästan alla värderar sitt högra ben. Vi tänker bara inte på det.”Förhoppningen är att en AI kan läras att urskilja sådana oföränderliga regler.
i processen skulle en AI behöva lära sig och uppskatta människors mindre än logiska sida: att vi ofta säger en sak och menar en annan, att vissa av våra preferenser strider mot andra och att människor är mindre tillförlitliga när de är fulla. Trots utmaningarna anser Tallinn att det är värt att försöka eftersom insatserna är så höga. ”Vi måste tänka några steg framåt”, sa han. ”Att skapa en AI som inte delar våra intressen skulle vara ett hemskt misstag.”
på sin sista kväll i Cambridge gick jag med i Tallinn och två forskare på middag på ett steakhouse. En servitör satt vår grupp i en vitkalkad källare med en grottliknande atmosfär. Han gav oss en sida meny som erbjöd tre olika typer av mäsk. Ett par satte sig vid bordet bredvid oss, och sedan några minuter senare bad att flytta någon annanstans. ”Det är för klaustrofobiskt,” klagade kvinnan. Jag tänkte på Tallinns kommentar om den skada han kunde orsaka om han låstes i en källare med ingenting annat än en Internetanslutning. Här var vi, i lådan. Som om på kö, männen övervägde sätt att komma ut.
Tallinns gäster inkluderade tidigare genomicsforskare se Otubicn Otubic h otubigigeartaigh, som är Cser: s verkställande direktör, och Matthijs Maas, en AI-forskare vid Köpenhamns universitet. De skämtade om en IDE för en nerdy action flick med titeln Superintelligence v Blockchain!, och diskuterade ett onlinespel som heter Universal Paperclips, som riffar på scenariot i Bostroms bok. Övningen innebär upprepade gånger att klicka med musen för att göra Gem. Det är inte exakt prickigt, men det ger en känsla för varför en maskin kan leta efter mer lämpliga sätt att producera Kontorsmaterial.
så småningom skiftade samtalet mot större frågor, som det ofta gör när Tallinn är närvarande. Det ultimata målet med AI-säkerhetsforskning är att skapa maskiner som, som Cambridge-filosofen och CSER-grundaren Huw Price en gång uttryckte det, ”etiskt såväl som kognitivt övermänskligt”. Andra har tagit upp frågan: om vi inte vill att AI ska dominera oss, vill vi dominera AI? Med andra ord, har AI rättigheter? Tallinn anser att detta är onödigt antropomorfiserande. Det förutsätter att intelligens är lika med medvetande – en missuppfattning som irriterar många AI-forskare. Tidigare på dagen skämtade Cser-forskaren Jos Bisexual Hern Askorndez-Orallo att när man talade med AI-forskare är medvetandet”C-ordet”. (”Och” fri vilja ”är F-ordet,” tillade han.)
i källaren sa Tallinn att medvetandet är bredvid punkten: ”ta exemplet med en termostat. Ingen skulle säga att det är medvetet. Men det är verkligen obekvämt att möta den agenten om du är i ett rum som är inställt på negativa 30 grader.”
cu h cu-nigeartaigh chimed in. ”Det skulle vara trevligt att oroa sig för medvetandet”, sa han, ”men vi kommer inte att ha lyxen att oroa oss för medvetandet om vi inte först har löst de tekniska säkerhetsutmaningarna.”
människor blir alltför upptagna av vad superintelligent AI är, sa Tallinn. Vilken form kommer det att ta? Ska vi oroa oss för att en enda AI tar över, eller en arm av dem? ”Ur vårt perspektiv är det viktiga vad AI gör,” betonade han. Och det, tror han, kan fortfarande vara upp till människor – för nu.
detta stycke publicerades ursprungligen i Popular Science magazine