det begynte for tre og en halv milliard år siden i en pool av møkk, når et molekyl laget en kopi av seg selv og så ble den ultimate stamfar til alt jordisk liv. Det begynte for fire millioner år siden, da hjernevolumene begynte å klatre raskt i hominidlinjen.
Femti tusen år siden med Fremveksten Av Homo sapiens sapiens.
Ti tusen år siden med oppfinnelsen av sivilisasjonen.
Fem hundre år siden med oppfinnelsen av trykkpressen.
Femti år siden med oppfinnelsen av datamaskinen.
om mindre enn tretti år vil det ende.
Jaan Tallinn snublet over disse ordene i 2007, i et online essay Kalt Stirrer inn I Singulariteten. «Det» var menneskelig sivilisasjon. Menneskeheten ville opphøre å eksistere, spådde essayens forfatter, med fremveksten av superintelligens, ELLER AI, som overgår menneskelig intelligens på et bredt spekter av områder.
Tallinn, En Estisk-født dataprogrammerer, har en bakgrunn i fysikk og en tilbøyelighet til å nærme seg livet som et stort programmeringsproblem. I 2003, han medgrunnlegger Skype, utvikle backend for app. Han innløses i sine aksjer etter eBay kjøpte den to år senere, og nå ble han kastet om for noe å gjøre. Stirrer inn I Singulariteten mashed opp datakode, quantum fysikk og Calvin Og Hobbes sitater. Han var hekta.
Tallinn oppdaget snart at forfatteren Eliezer Yudkowsky, En selvlært teoretiker, hadde skrevet mer enn 1000 essays og blogginnlegg, mange av dem viet til superintelligens. Han skrev et program for å skrape yudkowskys skrifter fra internett, bestille dem kronologisk og formatere dem for sin iPhone. Så brukte han den bedre delen av et år på å lese dem.
begrepet kunstig intelligens, eller simulering av intelligens i datamaskiner eller maskiner, ble laget tilbake i 1956, bare et tiår etter etableringen av de første elektroniske digitale datamaskinene. Håpet på feltet var i utgangspunktet høyt, men på 1970-tallet, da tidlige spådommer ikke brøt ut, ble en «AI winter» satt inn. Da Tallinn fant yudkowskys essays, GJENNOMGIKK AI en renessanse. Forskere utviklet Ai som utmerket seg på bestemte områder, for eksempel å vinne i sjakk, rense kjøkkengulvet og gjenkjenne menneskelig tale. Slike «smale» Ai, som de kalles, har overmenneskelige evner, men bare i deres spesifikke områder av dominans. En sjakk-spiller AI kan ikke rense gulvet eller ta deg fra punkt A til Punkt B. Superintelligent AI, Tallinn kom til å tro, vil kombinere et bredt spekter av ferdigheter i en enhet. Mer mørkt, det kan også bruke data generert av smartphone-toting mennesker til å utmerke seg på sosial manipulasjon.
Ved Å Lese yudkowskys artikler ble Tallinn overbevist om at superintelligens kunne føre til en eksplosjon eller utbrudd AV AI som kunne true menneskets eksistens – at ultrasm Ai vil ta vår plass på evolusjonsstigen og dominere oss slik vi nå dominerer aper. Eller, enda verre, utrydde oss.
Etter å ha fullført den siste av essays, Tallinn skutt av En e-post Til Yudkowsky – alle små bokstaver, som er hans stil. «jeg er jaan, en av grunnleggerne av skype,» skrev han. Til slutt kom han til poenget: «jeg er enig i det … forberedelse til hendelsen av generell AI overgår menneskelig intelligens er en av de beste oppgavene for menneskeheten.»Han ønsket å hjelpe.
Da Tallinn fløy til Bay Area for andre møter en uke senere, møtte Han Yudkowsky, som bodde i nærheten, på en kafe I Millbrae, California. Deres samvær strakte seg til fire timer. «Han forstod virkelig de underliggende konseptene og detaljene,» Fortalte Yudkowsky meg nylig. «Dette er veldig sjeldent.»Etterpå skrev Tallinn en sjekk for $5000 (£3700) Til Singularity Institute For Artificial Intelligence, nonprofit hvor Yudkowsky var forsker. (Organisasjonen endret navn Til Machine Intelligence Research Institute, Eller Miri, i 2013.) Tallinn har siden gitt instituttet mer enn $ 600,000.
møtet Med Yudkowsky brakte Tallinn formål, sende ham på et oppdrag for å redde oss fra våre egne kreasjoner. Han la ut på et liv med reise, og ga samtaler rundt om i verden om trusselen fra superintelligens. For det meste begynte han å finansiere forskning på metoder som kan gi menneskeheten en vei ut: såkalt vennlig AI. Det betyr ikke at en maskin eller agent er spesielt dyktig til å chatte om været, eller at den husker navnene på barna dine-selv om superintelligent AI kanskje kan gjøre begge disse tingene. Det betyr ikke at det er motivert av altruisme eller kjærlighet. EN vanlig feil er å anta AT AI har menneskelige drifter og verdier. «Vennlig» betyr noe mye mer grunnleggende: at morgendagens maskiner ikke vil utslette oss i deres søken etter å nå sine mål.
Sist vår kom Jeg Til Tallinn for et måltid i Spisesalen På Cambridge Universitys Jesus College. Den kirkelig plass er dekket med glassmalerier, gull støping, og oljemalerier av menn i parykker. Tallinn satt på et tungt mahognybord, iført silicon Valley uformelle klær: svarte jeans, T-skjorte og lerretsko. En hvelvet tømmer taket utvidet høyt over hans sjokk av grå-blondt hår.
På 47 Er Tallinn på noen måter din lærebok tech entreprenør. Han mener at takket være fremskritt innen vitenskap (og forutsatt AT AI ikke ødelegger oss), vil han leve i «mange, mange år». Når ut clubbing med forskere, han outlasts selv de unge hovedfagsstudenter. Hans bekymring for superintelligens er vanlig blant hans kohorte. Paypal-grunnlegger Peter Thiels stiftelse har gitt 1,6 millioner dollar Til Miri, og I 2015 donerte tesla-grunnlegger Elon Musk 10 millioner dollar til Future Of Life Institute, en teknologisikkerhetsorganisasjon I Cambridge, Massachusetts. Men Tallinns inngang til denne sjeldne verden kom bak jernteppet på 1980-tallet, da en klassekammerats far med en regjeringsjobb ga noen få lyse barn tilgang til stormaskiner. Etter At Estland ble uavhengig, grunnla Han et videospillfirma. I Dag Bor Tallinn fortsatt i Hovedstaden-Også Kalt Tallinn-med sin kone og den yngste av sine seks barn. Når han ønsker å møte forskere, flyr han ofte bare til Baltikum.
hans gi strategi er metodisk, som nesten alt annet han gjør. Han sprer pengene sine blant 11 organisasjoner, hver arbeider med ulike tilnærminger TIL AI-sikkerhet, i håp om at man kan holde fast. I 2012 var Han medstifter Av Cambridge Center FOR The Study Of Existential Risk (CSER) med et innledende utlegg på nær $ 200.000.
Eksistensielle risikoer-Eller X – risikoer, Som Tallinn kaller dem-er trusler mot menneskehetens overlevelse. I TILLEGG til AI studerer de 20 ulike forskerne VED CSER klimaendringer, atomkrig og biovåpen. Men Til Tallinn er de andre disipliner «egentlig bare gateway drugs». Bekymring om mer allment aksepterte trusler, som klimaendringer, kan trekke folk inn. Skrekk av superintelligente maskiner som tar over verden, håper han, vil overbevise dem om å bli. Han besøkte Cambridge for en konferanse fordi han vil at det akademiske samfunnet skal ta AI-sikkerhet mer alvorlig.
På Jesus College var våre spisekammerater et tilfeldig utvalg av konferansegjester, inkludert en kvinne Fra Hong Kong som studerte robotikk og En Britisk mann som ble uteksaminert Fra Cambridge på 1960-tallet. den eldre mannen spurte alle ved bordet hvor de gikk på universitetet. (Tallinns svar, Estlands Universitet I Tartu, imponerte ikke på ham .) Han prøvde da å styre samtalen mot nyhetene. Tallinn så på ham tomt. «Jeg er ikke interessert i nærtidsrisiko,» sa han.
Tallinn endret emnet til trusselen om superintelligens. Når han ikke snakker med andre programmerere, misligholder han metaforer, og han løp gjennom sin suite av dem: avansert AI kan avhende oss så raskt som mennesker hugger ned trær. Superintelligens er for oss hva vi er for gorillaer.
En AI ville trenge en kropp for å ta over, sa den eldre mannen. Uten noen form for fysisk casing, hvordan kunne det muligens få fysisk kontroll?
Tallinn hadde en annen metafor klar: «Sett meg i en kjeller med internettforbindelse, og jeg kunne gjøre mye skade,» sa Han. Så tok han en bit risotto.
HVER AI, enten Det Er En Roomba eller en av dens potensielle verdensdominerende etterkommere, drives av resultater. Programmerere tildele disse målene, sammen med en rekke regler om hvordan å forfølge dem. Avansert AI trenger ikke nødvendigvis å bli gitt målet om verdensherredømme for å oppnå det – det kan bare være tilfeldig. Og historien om dataprogrammering er florerer med små feil som utløste katastrofer. I 2010, for eksempel, da en handelsmann med fondsfondet Waddell & Reed solgte tusenvis av futureskontrakter, forlot firmaets programvare en nøkkelvariabel fra algoritmen som bidro til å utføre handelen. Resultatet var DEN billioner dollar AMERIKANSKE «flash crash».
Forskerne Tallinn fondene mener at hvis belønningsstrukturen til en overmenneskelig AI ikke er riktig programmert, kan selv godartede mål ha lumske ender. Et kjent eksempel, lagt ut Av Oxford University filosofen Nick Bostrom i sin bok Superintelligence, er en fiktiv agent rettet mot å lage så mange binders som mulig. AI kan bestemme at atomene i menneskelige kropper ville bli bedre brukt som råmateriale.
Tallinns synspunkter har sin andel av kritikere, selv blant samfunnet av mennesker som er opptatt AV AI-sikkerhet. Noen hevder at det er for tidlig å bekymre seg for å begrense superintelligent AI når vi ennå ikke forstår det. Andre sier at fokus på rogue teknologiske aktører avleder oppmerksomheten fra de mest presserende problemene feltet står overfor, som det faktum at flertallet av algoritmer er designet av hvite menn, eller basert på data som er partisk mot dem. «Vi står i fare for å bygge en verden som vi ikke ønsker å leve i hvis vi ikke løser disse utfordringene på kort sikt,» Sa Terah Lyons, administrerende direktør For Partnership on AI, et teknologibransjekonsortium med FOKUS på AI-sikkerhet og andre problemer. (Flere av Instituttene Tallinn ryggen er medlemmer. Men, la hun til, noen av de kortsiktige utfordringene som forskere står overfor, for eksempel å luke ut algoritmisk bias, er forløpere til de som menneskeheten kan se med superintelligent AI.
Tallinn er ikke så overbevist. Han tellere som superintelligent AI bringer unike trusler. Til slutt håper han AT AI-samfunnet kan følge ledelsen av anti-atombevegelsen på 1940-tallet. i kjølvannet Av bombingene Av Hiroshima og Nagasaki, gikk forskere sammen for å forsøke å begrense ytterligere atomprøvesprengninger. «Manhattanprosjektforskerne kunne ha sagt:» Se, vi gjør innovasjon her, og innovasjon er alltid bra, så la oss bare stikke fremover, » fortalte han meg. «Men de var mer ansvarlige enn det.»
Tallinn advarer om at enhver tilnærming TIL AI-sikkerhet vil være vanskelig å få riktig. Hvis EN AI er tilstrekkelig smart, kan den ha en bedre forståelse av begrensningene enn skaperne gjør. Tenk deg, sa han, » å våkne opp i et fengsel bygget av en gjeng blinde femåringer.»Det er slik det kan være for en superintelligent AI som er begrenset av mennesker.
teoretikeren Yudkowsky fant bevis på at dette kan være sant da han i 2002 gjennomførte chat-økter der han spilte rollen som EN AI som var innelukket i en boks, mens en rotasjon av andre mennesker spilte gatekeeper som hadde til oppgave å holde AI inn. Tre av fem ganger Sier Yudkowsky-bare dødelig – at han overbeviste gatekeeper om å frigjøre ham. Hans eksperimenter har ikke motet forskere fra å prøve å designe en bedre boks, men.
forskerne At Tallinn midler forfølger et bredt spekter av strategier, fra det praktiske til det tilsynelatende usannsynlig. Noen teoretiserer om boksing AI, enten fysisk, ved å bygge en faktisk struktur for å inneholde den, eller ved å programmere i grenser for hva den kan gjøre. Andre prøver å lære AI å overholde menneskelige verdier. Noen jobber med en siste grøft avbryter. En forsker som er hulene i alle tre er matematiker Og filosof Stuart Armstrong Ved Oxford University Future Of Humanity Institute, Som Tallinn kaller » det mest interessante stedet i universet.»(Tallinn har gitt FHI mer enn $310.000.)
Armstrong er en Av de få forskerne i verden som fokuserer heltid på AI-sikkerhet. Da jeg møtte ham for kaffe I Oxford, han hadde på seg en kneppet rugby skjorte og hadde utseendet på noen som tilbringer sitt liv bak en skjerm, med en blek ansikt innrammet av et rot av sand hår. Han pepret sine forklaringer med en disorienting blanding av populærkultur referanser og matematikk. Da jeg spurte ham hvordan DET kan se ut å lykkes PÅ AI safety, sa han: «Har du sett Lego-filmen? Alt er fantastisk.»
En stamme Av Armstrong forskning ser På en bestemt tilnærming til boksing kalt en «oracle» AI. I et 2012-papir Med Nick Bostrom, som medgrunnlegger FHI, foreslo han ikke bare walling av superintelligens i en tank – en fysisk struktur – men begrenser den også til å svare på spørsmål, som et veldig smart Ouija bord. Selv med disse grensene ville EN AI ha enorm makt til å omforme menneskehetens skjebne ved å manipulere sine forhørere subtilt. For å redusere muligheten For at Dette skjer, Foreslår Armstrong tidsbegrensninger på samtaler, eller forbyr spørsmål som kan forstyrre dagens verdensorden. Han har også foreslått å gi oracle proxy tiltak for menneskelig overlevelse, som Dow Jones industrial average eller antall personer som krysser gaten I Tokyo, og forteller det å holde disse stødige.
Til Slutt mener Armstrong at Det kan være nødvendig å lage, som Han kaller det i ett papir, en «stor rød av-knapp»: enten en fysisk bryter eller en mekanisme programmert til EN AI for automatisk å slå seg av i tilfelle en breakout. Men å designe en slik bryter er langt fra lett. Det er ikke bare at en avansert AI som er interessert i selvbevarelse, kan forhindre at knappen trykkes. Det kan også bli nysgjerrig på hvorfor mennesker utviklet knappen, aktivere den for å se hva som skjer, og gjør seg ubrukelig. I 2013 utviklet En programmerer Ved Navn Tom Murphy VII EN AI som kunne lære seg Å spille Nintendo Entertainment System-spill. Fast bestemt på ikke å tape På Tetris, AI bare trykket pause – og holdt spillet frosset. «Virkelig, det eneste vinnende trekket er ikke å spille,» observerte Murphy galt i et papir om hans skaperverk.
FOR at strategien skal lykkes, må EN AI være uinteressert i knappen, eller, Som Tallinn sa det: «Den må tildele lik verdi til verden der den ikke eksisterer og verden der den eksisterer.»Men selv om forskere kan oppnå det, er det andre utfordringer. Hva om AI har kopiert seg flere tusen ganger over internett?
tilnærmingen som mest interesserer forskere, er å finne en måte Å få AI til å overholde menneskelige verdier-ikke ved å programmere dem inn– men ved å lære AIs å lære dem. I en verden dominert av partisanpolitikk, bor folk ofte på hvordan våre prinsipper er forskjellige. Men Tallinn fortalte meg at mennesker har mye til felles: «Nesten alle verdsetter sitt høyre ben. Vi tenker bare ikke på det.»Håpet er at EN AI kan bli lært å skille slike uforanderlige regler.
I prosessen vil EN AI trenge å lære og sette pris på menneskers mindre enn logiske side: at vi ofte sier en ting og mener en annen, at noen av våre preferanser er i konflikt med andre, og at folk er mindre pålitelige når de er fulle. Til tross for utfordringene, Tallinn mener, det er verdt å prøve fordi innsatsen er så høy. «Vi må tenke noen skritt fremover,» sa han. «Å skape EN AI som ikke deler våre interesser ville være en fryktelig feil.»
På sin siste kveld i Cambridge, ble jeg Med Tallinn og to forskere til middag på et steakhouse. En servitør satt vår gruppe i en hvitkalkede kjeller med en hule-lignende atmosfære. Han ga oss en en-siders meny som tilbys tre forskjellige typer mos. Et par satte seg ved bordet ved siden av oss, og deretter et par minutter senere bedt om å flytte andre steder. «Det er for klaustrofobisk,» klaget kvinnen. Jeg tenkte På Tallinns kommentar om skaden han kunne forårsake hvis han var låst i en kjeller med bare en internettforbindelse. Her var vi, i boksen. Som om på cue, tenkte mennene på måter å komme seg ut.
Tallinns gjester inkluderte tidligere genomforsker Seá Ó hé, som er administrerende direktør I CSER, og Matthijs Maas, EN AI-forsker ved Københavns Universitet. De spøkte om en ide for en nerdy action flick med tittelen Superintelligence v Blockchain!, og diskutert et online spill kalt Universal Paperclips, som riff på scenariet I Bostrom bok. Øvelsen innebærer gjentatte ganger å klikke med musen for å gjøre binders. Det er ikke akkurat prangende, men det gir en følelse av hvorfor en maskin kan se etter mer hensiktsmessige måter å produsere kontorrekvisita på.
til Slutt skiftet snakk mot større spørsmål, som det ofte gjør når Tallinn er til stede. DET endelige målet MED AI-sikkerhet forskning er å skape maskiner som Er, Som Cambridge filosof Og CSER co-grunnlegger Huw Price gang si det, «etisk så vel som kognitivt overmenneskelig». Andre har reist spørsmålet: hvis VI ikke vil AT AI skal dominere OSS, vil VI dominere AI? MED ANDRE ord, HAR AI rettigheter? Tallinn mener dette er unødvendig antropomorfisering. Det antas at intelligens er lik bevissthet – en misforståelse som irriterer MANGE AI-forskere. TIDLIGERE på dagen spøkte cser-forsker Josupuncture Hern@ndez-Orallo at når man snakker med AI-forskere, er bevisstheten «C-ordet». («Og» fri vilje «er F-ordet,» la han til.)
I kjelleren Sa Tallinn at bevisstheten er ved siden av poenget: «Ta eksempel på en termostat. Ingen vil si at det er bevisst. Men det er veldig ubeleilig å møte opp mot den agenten hvis du er i et rom som er satt til negativ 30 grader.»
Ó h ④igeartaigh stemte inn. «Det ville være fint å bekymre seg for bevissthet, «sa han,» men vi vil ikke ha luksusen til å bekymre oss for bevissthet hvis vi ikke først har løst de tekniske sikkerhetsutfordringene.»
Folk blir altfor opptatt av hva superintelligent AI er, Sa Tallinn. Hvilken form vil det ta? Skal vi bekymre oss for at EN ENKELT AI tar over, eller en hær av dem? «FRA vårt perspektiv er det viktigste HVA AI gjør,» understreket han. Og det tror han fortsatt kan være opp til mennesker-for nå –
dette stykket opprinnelig dukket opp i Popular Science magazine