det begyndte for tre og en halv milliard år siden i en pulje af muck, da et molekyle lavede en kopi af sig selv og således blev den ultimative forfader til alt jordisk liv. Det begyndte for fire millioner år siden, da hjernevolumener begyndte at klatre hurtigt i hominidlinjen.
halvtreds tusind år siden med fremkomsten af Homo sapiens sapiens.
ti tusinde år siden med opfindelsen af civilisationen.
fem hundrede år siden med opfindelsen af trykpressen.
halvtreds år siden med opfindelsen af computeren.
på mindre end tredive år vil det ende.
Jaan Tallinn snublede over disse ord i 2007 i et online essay kaldet stirring into the Singularity. “Det” var den menneskelige civilisation. Menneskeheden ville ophøre med at eksistere, forudsagde essayets forfatter med fremkomsten af superintelligens eller AI, der overgår intelligens på menneskeligt niveau på en bred vifte af områder.
Tallinn, en Estland-født computerprogrammerer, har en baggrund i fysik og en tilbøjelighed til at nærme sig livet som et stort programmeringsproblem. I 2003 var han medstifter af Skype og udviklede backend til appen. Han indløste sine aktier, efter at eBay købte det to år senere, og nu kastede han sig for noget at gøre. Stirrer ind i singulariteten mashed op computer kode, kvantefysik og Calvin og Hobbes citater. Han var hooked.
Tallinn opdagede snart, at forfatteren, en selvlært teoretiker, havde skrevet mere end 1.000 essays og blogindlæg, hvoraf mange var viet til superintelligens. Han skrev et program til at skrabe Yudkovskys skrifter fra internettet, bestille dem kronologisk og formatere dem til sin iPhone. Så brugte han den bedre del af et år på at læse dem.
udtrykket kunstig intelligens eller simulering af intelligens i computere eller maskiner blev opfundet tilbage i 1956, kun et årti efter oprettelsen af de første elektroniske digitale computere. Håbet for marken var oprindeligt højt, men i 1970 ‘ erne, da tidlige forudsigelser ikke sprang ud, satte en “AI-vinter” ind. Da Tallinn fandt yudkovskys essays, gennemgik AI en renæssance. Forskere udviklede AI ‘ er, der udmærkede sig inden for bestemte områder, såsom at vinde i skak, rengøre køkkengulvet og genkende menneskelig tale. Sådanne” smalle ” AI ‘ er, som de kaldes, har overmenneskelige evner, men kun inden for deres specifikke dominansområder. Et skakspil AI kan ikke rense gulvet eller tage dig fra punkt A til punkt B. Superintelligent AI, Tallinn kom til at tro, vil kombinere en bred vifte af færdigheder i en enhed. Mere mørkt kan det også bruge data genereret af smartphone-toting mennesker til at udmærke sig ved social manipulation.
Tallinn blev overbevist om, at superintelligens kunne føre til en eksplosion eller udbrud af AI, der kunne true menneskets eksistens – at ultrasmart AIs vil tage vores plads på den evolutionære stige og dominere os, som vi nu dominerer aber. Eller, endnu værre, udrydde os.
efter at have afsluttet det sidste af essaysne skød Tallinn en e – mail til Yudkoevsky-alle små bogstaver, ligesom hans stil. “jeg er jaan, en af grundlæggerne af skype,” skrev han. Til sidst kom han til det punkt: “jeg er enig i det … forberedelse til begivenheden med generel AI, der overgår menneskelig intelligens, er en af de største opgaver for menneskeheden.”Han ville hjælpe.
da Tallinn fløj til Bay Area for andre møder en uge senere, mødte han Yudkovsky, der boede i nærheden, på en cafe i Millbrae, Californien. Deres sammenkomst strakte sig til fire timer. “Han forstod virkelig de underliggende begreber og detaljerne,” fortalte Yudkoevsky mig for nylig. “Dette er meget sjældent.”Derefter skrev Tallinn en check på $ 5.000 (3.700 kr.) til Singularity Institute for Artificial Intelligence, nonprofit, hvor Yudkoevsky var forsker. (Organisationen skiftede navn til Machine Intelligence Research Institute, eller Miri, i 2013.) Tallinn har siden givet instituttet mere end $600.000.
mødet med Yudkoevsky bragte Tallinn formål og sendte ham på en mission for at redde os fra vores egne kreationer. Han indledte et liv med rejser og holdt samtaler rundt om i verden om truslen fra superintelligence. For det meste begyndte han dog at finansiere forskning i metoder, der kunne give menneskeheden en vej ud: såkaldt venlig AI. Det betyder ikke, at en maskine eller agent er særlig dygtig til at chatte om vejret, eller at den husker navnene på dine børn – selvom superintelligent AI muligvis kan gøre begge disse ting. Det betyder ikke, at det er motiveret af altruisme eller kærlighed. En almindelig fejlslutning er at antage, at AI har menneskelige opfordringer og værdier. “Venlig” betyder noget meget mere grundlæggende: at morgendagens maskiner ikke vil udslette os i deres søgen efter at nå deres mål.
sidste forår sluttede jeg mig til Tallinn til et måltid i spisesalen på Cambridge Universitys Jesus College. Det kirkelige rum er pyntet med farvede glasvinduer, guldstøbning og oliemalerier af mænd i parykker. Tallinn sad ved et tungt mahogni-bord, iført den afslappede dragt fra Silicon Valley: sorte jeans, T-shirt og lærredsko. Et hvælvet træloft strækkede sig højt over hans chok af gråblondt hår.
på 47, Tallinn er på nogle måder din lærebog tech iværksætter. Han mener, at takket være fremskridt inden for videnskab (og forudsat at AI ikke ødelægger os), vil han leve i “mange, mange år”. Når han er ude med forskere, overlever han selv de unge kandidatstuderende. Hans bekymring over superintelligens er almindelig blandt hans kohorte. PayPal-medstifter Peter Thiels fond har givet $1,6 millioner til Miri, og i 2015 donerede Tesla-grundlægger Elon Musk $ 10 millioner til Future of Life Institute, en teknologisikkerhedsorganisation i Cambridge, Massachusetts. Men Tallinns indgang til denne sjældne verden kom bag jerntæppet i 1980 ‘ erne, da en klassekammerats far med et regeringsjob gav et par lyse børn adgang til mainframe-computere. Efter at Estland blev uafhængig, grundlagde han et videospilfirma. I dag bor Tallinn stadig i sin hovedstad-også kaldet Tallinn-med sin kone og den yngste af hans seks børn. Når han vil mødes med forskere, flyver han ofte bare dem til Østersøregionen.
Hans give strategi er metodisk, ligesom næsten alt andet, han gør. Han spreder sine penge blandt 11 organisationer, der hver arbejder på forskellige tilgange til AI-sikkerhed, i håb om, at man kan holde fast. I 2012 grundlagde han Cambridge Center for Study of Eksistential Risk (CSER) med et indledende udlæg på tæt på $200.000.
eksistentielle risici, som Tallinn kalder dem, er trusler mod menneskehedens overlevelse. Ud over AI studerer de 20 ulige forskere ved CSER klimaændringer, atomkrig og biovåben. Men for Tallinn er de andre discipliner “virkelig bare stoffer”. Bekymring over mere bredt accepterede trusler, såsom klimaændringer, kan trække folk ind. Rædslen ved superintelligente maskiner, der overtager verden, håber han, vil overbevise dem om at blive. Han besøgte Cambridge til en konference, fordi han ønsker, at det akademiske samfund skal tage AI-sikkerhed mere alvorligt.
på Jesus College var vores spisekammerater et tilfældigt udvalg af konferencegæster, herunder en kvinde fra Hong Kong, der studerede robotik og en britisk mand, der dimitterede fra Cambridge i 1960 ‘ erne. den ældre mand spurgte alle ved bordet, hvor de gik på universitetet. (Tallinns svar, Estlands Universitet i Tartu, imponerede ham ikke.) Han forsøgte derefter at styre samtalen mod nyhederne. Tallinn kiggede blankt på ham. “Jeg er ikke interesseret i kortsigtede risici,” sagde han.
Tallinn ændrede emnet til truslen om superintelligens. Når han ikke taler med andre programmører, er han standard metaforer, og han løb gennem sin suite af dem: avanceret AI kan bortskaffe os så hurtigt som mennesker hugger træer ned. Superintelligens er for os, hvad vi er for gorillaer.
en AI ville have brug for en krop til at overtage, sagde den ældre mand. Uden en slags fysisk beklædning, hvordan kunne det muligvis få fysisk kontrol?
Tallinn havde en anden metafor klar:” Sæt mig i en kælder med en internetforbindelse, og jeg kunne gøre meget skade, ” sagde han. Så tog han en bid risotto.
hver AI, uanset om det er en Roomba eller en af dens potentielle verdensdominerende efterkommere, er drevet af resultater. Programmører tildeler disse mål sammen med en række regler for, hvordan man forfølger dem. Avanceret AI behøver ikke nødvendigvis at få målet om verdensherredømme for at nå det – det kunne bare være tilfældigt. Og historien om computerprogrammering er fyldt med små fejl, der udløste katastrofer. I 2010, for eksempel, når en erhvervsdrivende med den gensidige fond selskab Vaddell & Reed solgt tusindvis af futures kontrakter, firmaets programmel udeladt en nøgle variabel fra algoritmen, der hjalp udføre handel. Resultatet var den billioner dollar amerikanske “flash crash”.
forskerne Tallinn funds mener, at hvis belønningsstrukturen for en overmenneskelig AI ikke er korrekt programmeret, kan selv godartede mål have snigende ender. Et velkendt eksempel, lagt ud af philosopher Nick Bostrom i sin bog Superintelligence, er en fiktiv agent rettet mod at gøre så mange papirclips som muligt. AI kan beslutte, at atomerne i menneskelige kroppe bedre ville blive brugt som råmateriale.
Tallinns synspunkter har deres andel af krænkere, selv blandt samfundet af mennesker, der beskæftiger sig med AI-sikkerhed. Nogle protesterer mod, at det er for tidligt at bekymre sig om at begrænse superintelligent AI, når vi endnu ikke forstår det. Andre siger, at fokusering på useriøse teknologiske aktører afleder opmærksomheden fra de mest presserende problemer, som feltet står overfor, som det faktum, at størstedelen af algoritmerne er designet af hvide mænd, eller baseret på data, der er forudindtaget mod dem. “Vi er i fare for at opbygge en verden, som vi ikke ønsker at leve i, hvis vi ikke løser disse udfordringer på kort sigt,” sagde Terah Lyons, administrerende direktør for Partnership on AI, et teknologiindustrikonsortium med fokus på AI-sikkerhed og andre spørgsmål. (Flere af institutterne Tallinn backs er medlemmer .) Men hun tilføjede, at nogle af de kortsigtede udfordringer, som forskere står over for, såsom at udrydde algoritmisk bias, er forløbere for dem, som menneskeheden kan se med superintelligent AI.
Tallinn er ikke så overbevist. Han modvirker, at superintelligent AI bringer unikke trusler. I sidste ende håber han, at AI-samfundet kan følge føringen af den anti-nukleare bevægelse i 1940 ‘ erne. i kølvandet på bombningerne af Hiroshima og Nagasaki slog forskere sig sammen for at forsøge at begrænse yderligere atomprøvesprængninger. “Forskerne fra Manhattan-projektet kunne have sagt:’ Se, vi laver innovation her, og innovation er altid god, så lad os bare springe videre, ‘” fortalte han mig. “Men de var mere ansvarlige end det.”
Tallinn advarer om, at enhver tilgang til AI-sikkerhed vil være svært at få ret. Hvis en AI er tilstrækkelig smart, kan den have en bedre forståelse af begrænsningerne end dens skabere gør. Forestil dig, sagde han, “vågner op i et fængsel bygget af en flok blinde femårige.”Sådan kan det være for en superintelligent AI, der er begrænset af mennesker.
teoretikeren Yudkoevsky fandt bevis for, at dette kunne være sandt, da han startede i 2002, hvor han spillede rollen som en AI indesluttet i en kasse, mens en rotation af andre mennesker spillede gatekeeper, der havde til opgave at holde AI inde. Tre ud af fem gange siger Yudkovsky – en dødelig – at han overbeviste portvagten om at frigive ham. Hans eksperimenter har dog ikke afskrækket forskere fra at forsøge at designe en bedre kasse.
forskerne, at Tallinn fonde forfølger en bred vifte af strategier, fra det praktiske til det tilsyneladende langt ude. Nogle teoretiserer om boksning AI, enten fysisk, ved at opbygge en faktisk struktur til at indeholde den eller ved at programmere i grænser for, hvad den kan gøre. Andre forsøger at lære AI at overholde menneskelige værdier. Et par arbejder på en sidste slukkontakt. En forsker, der dykker ned i alle tre, er matematiker og filosof Stuart Armstrong ved Future of Humanity Institute, som Tallinn kalder “det mest interessante sted i universet.”(Tallinn har givet FHI mere end $310.000.)
Armstrong er en af de få forskere i verden, der fokuserer på fuld tid på AI-sikkerhed. Da jeg mødte ham til kaffe, han bar en knap rugby skjorte og havde udseendet af en person, der tilbringer sit liv bag en skærm, med et blegt ansigt indrammet af et rod af sandet hår. Han pebrede sine forklaringer med en desorienterende blanding af populærkulturreferencer og matematik. Da jeg spurgte ham, hvordan det kunne se ud at få succes med AI-sikkerhed, sagde han: “har du set Lego-Filmen? Alt er fantastisk.”
en stamme af Armstrongs forskning ser på en specifik tilgang til boksning kaldet et “orakel” AI. I et papir fra 2012 med Nick Bostrom, der var med til at grundlægge FHI, foreslog han ikke kun at lægge superintelligens i en holdetank-en fysisk struktur – men også begrænse den til at besvare spørgsmål, som et rigtig smart Ouija – bord. Selv med disse grænser ville en AI have enorm magt til at omforme menneskehedens skæbne ved subtilt at manipulere sine forhørere. For at reducere muligheden for, at dette sker, Armstrong foreslår tidsbegrænsninger for samtaler, eller forbud mod spørgsmål, der kan opveje den nuværende verdensorden. Han har også foreslået at give oracle-fuldmagtsforanstaltningerne for menneskelig overlevelse, som f.eks.
i sidste ende mener Armstrong, at det kunne være nødvendigt at oprette, som han kalder det i et papir, en “stor rød slukket knap”: enten en fysisk kontakt eller en mekanisme programmeret til en AI til automatisk at slukke sig selv i tilfælde af et breakout. Men at designe en sådan kontakt er langt fra let. Det er ikke kun, at en avanceret AI, der er interesseret i selvbevarelse, kan forhindre, at der trykkes på knappen. Det kunne også blive nysgerrig efter, hvorfor mennesker udtænkte knappen, aktivere den for at se, hvad der sker, og gøre sig ubrugelig. I 2013 designede en programmør ved navn Tom Murphy VII en AI, der kunne lære sig selv at spille Nintendo Entertainment System-spil. Fast besluttet på ikke at tabe på Tetris, trykkede AI simpelthen pause – og holdt spillet frossent. “Sandelig, det eneste vindende træk er ikke at spille,” observerede Murphy skævt i et papir om hans skabelse.
for at strategien skal lykkes, skal en AI være uinteresseret i knappen, eller som Tallinn udtrykte det: “den skal tildele samme værdi til den verden, hvor den ikke eksisterer, og den verden, hvor den eksisterer.”Men selvom forskere kan opnå det, er der andre udfordringer. Hvad hvis AI har kopieret sig flere tusinde gange på tværs af internettet?
den tilgang, der mest ophidser forskere, er at finde en måde at få AI til at overholde menneskelige værdier– ikke ved at programmere dem i, men ved at lære AI ‘ er at lære dem. I en verden domineret af partipolitik, folk dvæler ofte ved de måder, hvorpå vores principper adskiller sig. Men Tallinn fortalte mig, at mennesker har meget til fælles: “næsten alle værdsætter deres højre ben. Vi tænker bare ikke over det.”Håbet er, at en AI kan læres at skelne sådanne uforanderlige regler.
i processen skulle en AI lære og værdsætte menneskers mindre end logiske side: at vi ofte siger en ting og mener en anden, at nogle af vores præferencer er i konflikt med andre, og at folk er mindre pålidelige, når de er fulde. På trods af udfordringerne mener Tallinn, At det er værd at prøve, fordi indsatsen er så høj. “Vi er nødt til at tænke et par skridt foran,” sagde han. “At skabe en AI, der ikke deler vores interesser, ville være en forfærdelig fejltagelse.”
på hans sidste nat i Cambridge sluttede jeg mig til Tallinn og to forskere til middag på et steakhouse. En tjener sad vores gruppe i en hvidkalket kælder med en hulelignende atmosfære. Han rakte os en menu på en side, der tilbød tre forskellige slags mos. Et par satte sig ved bordet ved siden af os, og derefter et par minutter senere bedt om at flytte et andet sted. “Det er for klaustrofobisk,” klagede kvinden. Jeg tænkte på Tallinns kommentar om den skade, han kunne forårsage, hvis han var låst i en kælder med intet andet end en internetforbindelse. Her var vi, i kassen. Som om på cue, mændene overvejede måder at komme ud.
Tallinns gæster omfattede den tidligere genomikforsker se Kurrn Kurr h kurrigeartaigh, der er Cser ‘ s administrerende direktør, og Matthijs Maas, en AI-forsker ved Københavns Universitet. De spøgte om en ide til en nerdy action flick med titlen Superintelligence v Blockchain!, og diskuterede et online spil kaldet Universal Paperclips, som riffs på scenariet i Bostroms bog. Øvelsen indebærer gentagne gange at klikke med musen for at lave papirklip. Det er ikke ligefrem prangende, men det giver en fornemmelse for, hvorfor en maskine kan se efter mere hensigtsmæssige måder at producere kontorartikler på.
til sidst skiftede samtalen mod større spørgsmål, som det ofte gør, når Tallinn er til stede. Det ultimative mål med AI-safety research er at skabe maskiner, der er, som Cambridge philosopher og CSER medstifter HUV Price engang udtrykte det, “etisk såvel som kognitivt overmenneskelig”. Andre har rejst spørgsmålet: hvis vi ikke ønsker, at AI skal dominere os, vil vi dominere AI? Med andre ord, har AI rettigheder? Tallinn mener, at dette er unødvendigt antropomorfiserende. Det antager, at intelligens er lig med bevidsthed – en misforståelse, der irriterer mange AI-forskere. Tidligere på dagen spøgte Cser-forsker Josur Hernrius-Orallo, at når man taler med AI-forskere, er bevidsthed “C-ordet”. (“Og’ fri vilje ‘er F-ordet,” tilføjede han.)
i kælderen sagde Tallinn, at bevidstheden er ved siden af punktet: “Tag eksemplet med en termostat. Ingen vil sige, at det er bevidst. Men det er virkelig ubelejligt at møde op mod den agent, hvis du er i et rum, der er indstillet til negativ 30 grader.”
kr.h. “Det ville være rart at bekymre sig om bevidsthed, “sagde han,” men vi har ikke den luksus at bekymre os om bevidsthed, hvis vi ikke først har løst de tekniske sikkerhedsudfordringer.”
folk bliver alt for optaget af, hvad superintelligent AI er, sagde Tallinn. Hvilken form vil det tage? Skal vi bekymre os om, at en enkelt AI overtager, eller en hær af dem? “Fra vores perspektiv er det vigtige, hvad AI gør,” understregede han. Og det, tror han, kan stadig være op til mennesker – for nu.
dette stykke optrådte oprindeligt i Populærvidenskabsmagasin