a început acum trei miliarde și jumătate de ani într-un bazin de noroi, când o moleculă și-a făcut o copie și a devenit astfel strămoșul Suprem al întregii vieți pământești. A început acum patru milioane de ani, când volumele creierului au început să urce rapid în linia hominidelor.
acum cincizeci de mii de ani, odată cu apariția Homo sapiens sapiens.
acum zece mii de ani cu inventarea civilizației.
acum cinci sute de ani cu inventarea tiparului.
acum cincizeci de ani cu inventarea calculatorului.
în mai puțin de treizeci de ani, se va sfârși.
Jaan Tallinn a dat peste aceste cuvinte în 2007, într-un eseu online numit holbezi în singularitate. „Ea” a fost civilizația umană. Umanitatea ar înceta să existe, a prezis autorul eseului, odată cu apariția superinteligenței sau AI, care depășește inteligența la nivel uman într-o gamă largă de domenii.
Tallinn, un programator de calculator născut în Estonia, are un background în fizică și o tendință de a aborda viața ca o mare problemă de programare. În 2003, a co-fondat Skype, dezvoltând backend-ul pentru aplicație. Și-a încasat acțiunile după ce eBay a cumpărat-o doi ani mai târziu, iar acum arunca ceva de făcut. Holbezi în singularitate piure de cod de calculator, fizica cuantică și Calvin și Hobbes citate. A fost prins.
Tallinn a descoperit curând că autorul, Eliezer Yudkowsky, un teoretician autodidact, a scris peste 1.000 de eseuri și postări pe blog, multe dintre ele dedicate superinteligenței. El a scris un program pentru a răzui scrierile lui Yudkowsky de pe internet, a le ordona cronologic și a le formata pentru iPhone-ul său. Apoi a petrecut cea mai mare parte a anului citindu-le.
termenul inteligență artificială, sau simularea inteligenței în computere sau mașini, a fost inventat în 1956, la doar un deceniu după crearea primelor computere digitale electronice. Speranța pentru teren a fost inițial ridicată, dar până în anii 1970, când predicțiile timpurii nu au ieșit, s-a instalat o „iarnă AI”. Când Tallinn a găsit eseurile lui Yudkowsky, AI trecea printr-o renaștere. Oamenii de știință au dezvoltat AI care excelau în domenii specifice, cum ar fi câștigarea la șah, curățarea podelei bucătăriei și recunoașterea vorbirii umane. Astfel de ai” înguste”, așa cum sunt numite, au capacități supraomenești, dar numai în domeniile lor specifice de dominare. Un AI care joacă șah nu poate curăța podeaua sau te poate duce din punctul A în punctul B. Ai superinteligent, Tallinn a ajuns să creadă, va combina o gamă largă de abilități într-o singură entitate. Mai întunecat, s-ar putea folosi, de asemenea, datele generate de oameni-toting smartphone pentru a excela la manipulare socială.
citind articolele lui Yudkowsky, Tallinn a devenit convins că superinteligența ar putea duce la o explozie sau izbucnire a AI care ar putea amenința existența umană – că Ultrasmart AIs ne va lua locul pe scara evolutivă și ne va domina așa cum dominăm acum maimuțele. Sau, mai rău, să ne extermine.
după ce a terminat ultimul eseu, Tallinn a trimis un e – mail către Yudkowsky-toate minuscule, așa cum este stilul său. „sunt jaan, unul dintre inginerii fondatori ai skype”, a scris el. În cele din urmă a ajuns la punctul: „sunt de acord cu asta … pregătirea pentru evenimentul AI general care depășește inteligența umană este una dintre sarcinile de top pentru umanitate.”A vrut să ajute.
când Tallinn a zburat în zona Golfului pentru alte întâlniri o săptămână mai târziu, l-a întâlnit pe Yudkowsky, care locuia în apropiere, la o cafenea din Millbrae, California. Întâlnirea lor s-a întins la patru ore. „De fapt, el a înțeles cu adevărat conceptele care stau la baza și detaliile”, mi-a spus recent Yudkowsky. „Acest lucru este foarte rar.”Ulterior, Tallinn a scris un cec de 5.000 de dolari (3.700 de dolari) către Institutul Singularity pentru Inteligență Artificială, organizația nonprofit unde Yudkowsky era cercetător. (Organizația și-a schimbat numele în Machine Intelligence Research Institute, sau Miri, în 2013.) Tallinn a dat de atunci Institutului peste 600.000 de dolari.
întâlnirea cu Yudkowsky a adus Tallinn scop, trimițându-l într-o misiune pentru a ne salva de propriile noastre creații. S-a angajat într-o viață de călătorie, susținând discuții în întreaga lume despre amenințarea reprezentată de superinteligență. Cu toate acestea, el a început să finanțeze cercetarea metodelor care ar putea oferi umanității o cale de ieșire: așa-numita AI prietenoasă. Asta nu înseamnă că o mașină sau un agent este deosebit de priceput să discute despre vreme sau că își amintește numele copiilor tăi – deși AI superinteligent ar putea fi capabil să facă ambele lucruri. Nu înseamnă că este motivat de altruism sau iubire. O eroare comună este presupunând că AI are îndemnuri și valori umane. „Prietenos” înseamnă ceva mult mai fundamental: că mașinile de mâine nu ne vor distruge în încercarea lor de a-și atinge obiectivele.
primăvara trecută, m-am alăturat Tallinn pentru o masă în sala de mese a Universității Cambridge Jesus College. Spațiul asemănător bisericii este acoperit cu vitralii, mulaje aurii și picturi în ulei ale bărbaților în peruci. Tallinn s-a așezat la o masă grea de mahon, purtând veșmântul casual din Silicon Valley: blugi negri, tricou și adidași din pânză. Un tavan boltit din lemn se întindea deasupra șocului său de păr cenușiu-blond.
la 47 de ani, Tallinn este într-un fel antreprenorul tău tehnic. El crede că datorită progreselor științei (și cu condiția ca AI să nu ne distrugă), va trăi „mulți, mulți ani”. Când a ieșit în club cu cercetători, el supraviețuiește chiar și tinerilor studenți absolvenți. Preocuparea sa cu privire la superinteligență este comună în rândul cohortei sale. Fundația co-fondatorului PayPal, Peter Thiel, a acordat 1,6 milioane de dolari companiei Miri, iar în 2015, fondatorul Tesla, Elon Musk, a donat 10 milioane de dolari Institutului Future Of Life, o organizație de siguranță tehnologică din Cambridge, Massachusetts. Dar intrarea Tallinnului în această lume rarefiată a venit în spatele Cortinei de fier în anii 1980, când tatăl unui coleg de clasă cu un loc de muncă guvernamental a oferit câtorva copii luminoși acces la computerele mainframe. După ce Estonia a devenit independentă, a fondat o companie de jocuri video. Astăzi, Tallinn trăiește încă în capitala sa-numită și Tallinn-împreună cu soția sa și cel mai mic dintre cei șase copii ai săi. Când vrea să se întâlnească cu cercetătorii, adesea îi zboară în regiunea baltică.
strategia sa de dăruire este metodică, ca aproape orice altceva face. El își împarte banii între 11 organizații, fiecare lucrând la abordări diferite ale siguranței ia, în speranța că s-ar putea lipi. În 2012, a cofondat Centrul Cambridge pentru studiul riscului existențial (CSER) cu o cheltuială inițială de aproape 200.000 de dolari.
riscurile existențiale – sau riscurile X, așa cum le numește Tallinn – sunt amenințări la adresa supraviețuirii umanității. Pe lângă AI, cei 20 de cercetători de la CSER studiază schimbările climatice, războiul nuclear și armele biologice. Dar, pentru Tallinn, aceste alte discipline „sunt de fapt doar droguri de poartă”. Îngrijorarea cu privire la amenințările mai larg acceptate, cum ar fi schimbările climatice, ar putea atrage oamenii. Groaza mașinilor superinteligente care preiau lumea, speră el, îi va convinge să rămână. A vizitat Cambridge pentru o conferință, deoarece dorește ca comunitatea academică să ia mai în serios siguranța AI.
la Jesus College, însoțitoarele noastre de mese erau un sortiment aleatoriu de participanți la conferințe, inclusiv o femeie din Hong Kong care studia robotica și un britanic care a absolvit Cambridge în anii 1960. bărbatul mai în vârstă i-a întrebat pe toți cei de la masă unde au urmat Universitatea. (Răspunsul lui Tallinn, Universitatea din Tartu din Estonia, nu l-a impresionat.) Apoi a încercat să orienteze conversația spre știri. Tallinn se uită la el în gol. „Nu mă interesează riscurile pe termen scurt”, a spus el.
Tallinn a schimbat subiectul la amenințarea superinteligenței. Când nu vorbește cu alți programatori, el implicit metafore, și el a fugit prin suita lui de ei: AI avansat poate dispune de noi la fel de repede ca oamenii taie copaci. Superinteligența este pentru noi ceea ce suntem pentru gorile.
o ia ar avea nevoie de un corp pentru a prelua, a spus bărbatul mai în vârstă. Fără un fel de carcasă fizică, cum ar putea obține controlul fizic?
Tallinn avea o altă metaforă pregătită: „Pune-mă într-un subsol cu o conexiune la internet și aș putea face multe daune”, a spus el. Apoi a luat o mușcătură de risotto.
fiecare ia, Fie că este o Roomba sau unul dintre descendenții săi potențiali care domină lumea, este condus de rezultate. Programatorii atribuie aceste obiective, împreună cu o serie de reguli cu privire la modul de urmărire a acestora. Ia avansată nu ar trebui neapărat să i se ofere obiectivul dominației mondiale pentru a – l atinge-ar putea fi doar accidental. Iar istoria programării pe calculator este plină de mici erori care au declanșat catastrofe. În 2010, de exemplu, când un comerciant cu compania de fonduri mutuale Waddell & Reed a vândut mii de contracte futures, software-ul firmei a lăsat o variabilă cheie din algoritmul care a ajutat la executarea tranzacției. Rezultatul a fost „accidentul flash”de trilioane de dolari din SUA.
fondurile cercetătorilor din Tallinn consideră că, dacă structura de recompensă a unei AI supraumane nu este programată corespunzător, chiar și obiectivele benigne ar putea avea scopuri insidioase. Un exemplu binecunoscut, prezentat de filosoful Universității Oxford Nick Bostrom în cartea sa Superintelligence, este un agent fictiv îndreptat să facă cât mai multe agrafe de hârtie. AI ar putea decide că atomii din corpurile umane ar fi mai bine folosiți ca materie primă.
Tallinn au partea lor de detractori, chiar și în rândul comunității de oameni preocupați de siguranța AI. Unii obiectează că este prea devreme să vă faceți griji cu privire la restricționarea AI superinteligentă atunci când nu o înțelegem încă. Alții spun că concentrarea pe actorii tehnologici necinstiți distrage atenția de la cele mai urgente probleme cu care se confruntă domeniul, cum ar fi faptul că majoritatea algoritmilor sunt proiectați de bărbați albi sau pe baza datelor părtinitoare față de ei. „Suntem în pericol de a construi o lume în care nu vrem să trăim dacă nu abordăm aceste provocări pe termen scurt”, a declarat Terah Lyons, director executiv al Parteneriatului pentru AI, un consorțiu din industria tehnologiei axat pe siguranța AI și alte probleme. (Mai multe dintre institutele Tallinn spate sunt membri.) Dar, a adăugat ea, unele dintre provocările pe termen scurt cu care se confruntă cercetătorii, cum ar fi eliminarea prejudecăților algoritmice, sunt precursori ai celor pe care umanitatea le-ar putea vedea cu AI super-inteligentă.
Tallinn nu este atât de convins. El contrazice faptul că AI superinteligent aduce amenințări unice. În cele din urmă, el speră că comunitatea AI ar putea urma exemplul mișcării anti-nucleare din anii 1940. în urma bombardamentelor de la Hiroshima și Nagasaki, oamenii de știință s-au unit pentru a încerca să limiteze testele nucleare suplimentare. „Oamenii de știință ai Proiectului Manhattan ar fi putut spune:” Uite, facem inovație aici, iar inovația este întotdeauna bună, așa că hai să mergem înainte”, mi-a spus el. „Dar au fost mai responsabili decât atât.”
Tallinn avertizează că orice abordare a siguranței ia va fi greu de obținut. Dacă un AI este suficient de inteligent, ar putea înțelege mai bine constrângerile decât creatorii săi. Imaginați-vă, a spus el, „trezindu-vă într-o închisoare construită de o grămadă de copii orbi de cinci ani.”Așa ar putea fi pentru o AI super-inteligentă care este limitată de oameni.
teoreticianul Yudkowsky a găsit dovezi că acest lucru ar putea fi adevărat atunci când, începând din 2002, a condus sesiuni de chat în care a jucat rolul unui AI închis într-o cutie, în timp ce o rotație a altor persoane a jucat portarul însărcinat cu păstrarea AI-ului. De trei ori din cinci, Yudkowsky – un simplu muritor – spune că l-a convins pe portar să-l elibereze. Experimentele sale nu i-au descurajat pe cercetători să încerce să proiecteze o cutie mai bună.
cercetatorii care fondurile Tallinn urmăresc o mare varietate de strategii, de la practic la aparent exagerată. Unii teoretizează despre box AI, fie fizic, construind o structură reală care să o conțină, fie programând în limite la ceea ce poate face. Alții încearcă să învețe AI să adere la valorile umane. Câțiva lucrează la un ultim întrerupător. Un cercetător care se ocupă de toate cele trei este matematicianul și filosoful Stuart Armstrong de la Institutul viitorul umanității al Universității Oxford, pe care Tallinn îl numește „cel mai interesant loc din univers.”(Tallinn a dat FHI mai mult de 310.000 de dolari.)
Armstrong este unul dintre puținii cercetători din lume care se concentrează cu normă întreagă pe siguranța ia. Când l-am întâlnit la o cafea în Oxford, purta o cămașă de rugby descheiată și avea aspectul cuiva care își petrece viața în spatele unui ecran, cu o față palidă încadrată de o mizerie de păr nisipos. El și-a presărat explicațiile cu un amestec dezorientant de referințe la cultura populară și matematică. Când l-am întrebat cum ar putea arăta să reușească la siguranța AI, el a spus: „Ai văzut filmul Lego? Totul este minunat.”
o tulpina de cercetare Armstrong se uită la o abordare specifică a box numit un „oracle” AI. Într-o lucrare din 2012 cu Nick Bostrom, care a cofondat FHI, el a propus nu numai să închidă superinteligența într – un rezervor de reținere – o structură fizică-ci și să o limiteze la a răspunde la întrebări, ca o placă Ouija cu adevărat inteligentă. Chiar și cu aceste limite, un AI ar avea o putere imensă de a remodela soarta umanității prin manipularea subtilă a interogatorilor săi. Pentru a reduce posibilitatea ca acest lucru să se întâmple, Armstrong propune limite de timp pentru conversații sau interzicerea întrebărilor care ar putea răsturna ordinea mondială actuală. El a sugerat, de asemenea, să ofere oracle proxy măsuri de supraviețuire umană, cum ar fi Dow Jones industrial average sau numărul de persoane care traversează strada în Tokyo și spunându-i să le mențină constante.
în cele din urmă, Armstrong crede că ar putea fi necesar să se creeze, așa cum o numește într-o lucrare, un „buton roșu mare de oprire”: fie un comutator fizic, fie un mecanism programat într-o AI pentru a se opri automat în cazul unei izbucniri. Dar proiectarea unui astfel de comutator este departe de a fi ușoară. Nu numai că un AI avansat interesat de autoconservare ar putea împiedica apăsarea butonului. De asemenea, ar putea deveni curios de ce oamenii au conceput butonul, îl activează pentru a vedea ce se întâmplă și se face inutil. În 2013, un programator pe nume Tom Murphy VII a proiectat un AI care s-ar putea învăța să joace jocuri Nintendo Entertainment System. Hotărât să nu piardă la Tetris, AI a apăsat pur și simplu pauză – și a păstrat jocul înghețat. „Într-adevăr, singura mișcare câștigătoare este să nu joci”, a observat Murphy într-o lucrare despre creația sa.
pentru ca strategia să aibă succes, o ia trebuie să fie neinteresată de buton sau, așa cum a spus Tallinn: „trebuie să atribuie o valoare egală lumii în care nu există și lumii în care există.”Dar chiar dacă cercetătorii pot realiza acest lucru, există și alte provocări. Ce se întâmplă dacă AI s-a copiat de câteva mii de ori pe internet?
abordarea care îi încântă cel mai mult pe cercetători este găsirea unei modalități de a face Ia să adere la valorile umane– nu prin programarea lor, ci prin predarea AIs pentru a le învăța. Într-o lume dominată de politica partizană, oamenii se concentrează adesea asupra modului în care principiile noastre diferă. Dar, mi-a spus Tallinn, oamenii au multe în comun: „Aproape toată lumea își prețuiește piciorul drept. Doar că nu ne gândim la asta.”Speranța este că o ia ar putea fi învățată să discearnă astfel de reguli imuabile.
în acest proces, o ia ar trebui să învețe și să aprecieze latura mai puțin logică a oamenilor: că adesea spunem un lucru și ne referim la altul, că unele dintre preferințele noastre intră în conflict cu altele și că oamenii sunt mai puțin de încredere atunci când sunt beți. În ciuda provocărilor, crede Tallinn, merită încercat, deoarece mizele sunt atât de mari. „Trebuie să ne gândim la câțiva pași înainte”, a spus el. „Crearea unei AI care nu împărtășește interesele noastre ar fi o greșeală oribilă.”
în ultima sa noapte la Cambridge, m-am alăturat Tallinn și doi cercetători pentru cină la un steakhouse. Un chelner ne-a așezat grupul într-o pivniță spălată în alb, cu o atmosferă asemănătoare peșterii. El ne-a înmânat un meniu de o pagină care oferea trei tipuri diferite de piure. Un cuplu s-a așezat la masa de lângă noi și apoi câteva minute mai târziu a cerut să se mute în altă parte. „Este prea claustrofobic”, s-a plâns femeia. M-am gândit la comentariul lui Tallinn despre daunele pe care le-ar putea provoca dacă ar fi închis într-un subsol cu nimic altceva decât o conexiune la internet. Iată-ne, în cutie. Ca pe tac, oamenii contemplau modalități de a ieși.
printre invitații din Tallinn s-au numărat fostul cercetător în genomică se, se, sec. Ei au glumit despre o idee pentru un film de acțiune tocilar intitulat superintelligence V Blockchain!, și a discutat despre un joc online numit universal Paperclips, care riff-uri pe scenariul din cartea lui Bostrom. Exercițiul implică în mod repetat, faceți clic pe mouse-ul pentru a face agrafe de birou. Nu este exact strălucitor, dar dă un sens pentru ce o mașină ar putea căuta modalități mai eficiente de a produce rechizite de birou.
în cele din urmă, discuțiile s-au mutat spre întrebări mai mari, așa cum se întâmplă adesea atunci când Tallinn este prezent. Scopul final al cercetării în domeniul siguranței ia este de a crea mașini care sunt, după cum a spus odată filozoful Cambridge și co-fondatorul CSER, Huw Price, „supraomenești din punct de vedere etic, precum și cognitiv”. Alții au ridicat întrebarea: dacă nu vrem ca AI să ne domine, vrem să dominăm AI? Cu alte cuvinte, AI are drepturi? Tallinn consideră că acest lucru este antropomorfizarea inutilă. Presupune că inteligența este egală cu conștiința-o concepție greșită care enervează mulți cercetători AI. Mai devreme în cursul zilei, cercetătorul CSER jos Hernicktiftndez-Orallo a glumit că atunci când vorbește cu cercetătorii AI, conștiința este „cuvântul c”. („Și” liberul arbitru „este cuvântul F”, A adăugat el.)
în pivniță, Tallinn a spus că conștiința este lângă punctul: „luați exemplul unui termostat. Nimeni nu ar spune că este conștient. Dar este foarte incomod să te confrunți cu acel agent dacă te afli într-o cameră setată la 30 de grade negative.”
a intrat în circulație. „Ar fi frumos să ne facem griji pentru conștiință”, a spus el, ” dar nu vom avea luxul să ne facem griji pentru conștiință dacă nu am rezolvat mai întâi provocările tehnice de siguranță.”
oamenii devin prea preocupați de ceea ce este AI superinteligent, a spus Tallinn. Ce formă va lua? Ar trebui să ne facem griji cu privire la un singur AI preluarea, sau o armată de ei? „Din perspectiva noastră, important este ceea ce face AI”, a subliniat el. Și asta, crede el, poate rămâne la latitudinea oamenilor – deocamdată.
această piesă a apărut inițial în revista Popular Science