È iniziato tre miliardi e mezzo di anni fa in una pozza di letame, quando una molecola ha fatto una copia di se stessa e così è diventato l’ultimo antenato di tutta la vita terrena. È iniziato quattro milioni di anni fa, quando i volumi cerebrali hanno iniziato a salire rapidamente nella linea degli ominidi.
Cinquantamila anni fa con l’ascesa di Homo sapiens sapiens.
Diecimila anni fa con l’invenzione della civiltà.
Cinquecento anni fa con l’invenzione della macchina da stampa.
Cinquant’anni fa con l’invenzione del computer.
In meno di trent’anni, finirà.
Jaan Tallinn si è imbattuto in queste parole nel 2007, in un saggio online chiamato Staring into the Singularity. Il” it ” era la civiltà umana. L’umanità cesserebbe di esistere, predisse l’autore del saggio, con l’emergere della superintelligenza, o AI, che supera l’intelligenza a livello umano in una vasta gamma di aree.
Tallinn, un programmatore di computer nato in Estonia, ha un background in fisica e una propensione ad affrontare la vita come un grande problema di programmazione. Nel 2003, ha co-fondato Skype, sviluppando il backend per l’app. Ha incassato le sue azioni dopo che eBay l’ha comprato due anni dopo, e ora stava cercando qualcosa da fare. Fissando la singolarità schiacciato il codice del computer, la fisica quantistica e Calvin e Hobbes citazioni. Era agganciato.
Tallinn scoprì presto che l’autore, Eliezer Yudkowsky, un teorico autodidatta, aveva scritto più di 1.000 saggi e post sui blog, molti dei quali dedicati alla superintelligenza. Ha scritto un programma per raschiare gli scritti di Yudkowsky da Internet, ordinarli cronologicamente e formattarli per il suo iPhone. Poi passò la parte migliore di un anno a leggerli.
Il termine intelligenza artificiale, o la simulazione di intelligenza in computer o macchine, è stato coniato nel 1956, solo un decennio dopo la creazione dei primi computer elettronici digitali. La speranza per il campo era inizialmente alto, ma dal 1970, quando le prime previsioni non pan fuori, un “inverno AI” impostato in. Quando Tallinn trovò i saggi di Yudkowsky, AI stava subendo una rinascita. Gli scienziati stavano sviluppando IA che eccellevano in aree specifiche, come vincere a scacchi, pulire il pavimento della cucina e riconoscere il linguaggio umano. Tali AIS “stretti”, come vengono chiamati, hanno capacità sovrumane, ma solo nelle loro specifiche aree di dominio. Un’IA che gioca a scacchi non può pulire il pavimento o portarti dal punto A al punto B. Superintelligente AI, Tallinn è venuto a credere, combinerà una vasta gamma di competenze in un’unica entità. Più oscuramente, potrebbe anche utilizzare i dati generati dagli esseri umani armati di smartphone per eccellere nella manipolazione sociale.
Leggendo gli articoli di Yudkowsky, Tallinn si convinse che la superintelligenza potrebbe portare a un’esplosione o a un breakout dell’IA che potrebbe minacciare l’esistenza umana – che l’IA ultrasmart prenderà il nostro posto sulla scala evolutiva e ci dominerà nel modo in cui ora dominiamo le scimmie. O, peggio ancora, sterminarci.
Dopo aver terminato l’ultimo dei saggi, Tallinn ha sparato una e – mail a Yudkowsky-tutto minuscolo, come è il suo stile. “sono jaan, uno degli ingegneri fondatori di skype”, ha scritto. Alla fine arrivò al punto: “sono d’accordo … prepararsi per l’evento dell’intelligenza artificiale generale che supera l’intelligenza umana è uno dei compiti principali per l’umanità.”Voleva aiutare.
Quando Tallinn volò nella Bay Area per altri incontri una settimana dopo, incontrò Yudkowsky, che viveva nelle vicinanze, in un caffè a Millbrae, in California. Il loro incontro si estendeva a quattro ore. “In realtà, ha capito sinceramente i concetti sottostanti e i dettagli”, mi ha detto Yudkowsky di recente. “Questo è molto raro.”In seguito, Tallinn ha scritto un assegno di $5.000 (£3.700) al Singularity Institute for Artificial Intelligence, l’organizzazione no-profit in cui Yudkowsky era un ricercatore. (L’organizzazione ha cambiato il suo nome in Machine Intelligence Research Institute, o Miri, nel 2013. Tallinn ha dato l’istituto più di $600.000.
L’incontro con Yudkowsky ha portato Tallinn scopo, mandandolo in missione per salvarci dalle nostre creazioni. Ha intrapreso una vita di viaggi, tenendo discorsi in tutto il mondo sulla minaccia rappresentata dalla superintelligenza. Per lo più, però, ha iniziato a finanziare la ricerca su metodi che potrebbero dare all’umanità una via d’uscita: la cosiddetta IA amichevole. Ciò non significa che una macchina o un agente sia particolarmente abile a chiacchierare del tempo, o che ricordi i nomi dei tuoi figli, anche se l’intelligenza artificiale superintelligente potrebbe essere in grado di fare entrambe le cose. Non significa che sia motivato dall’altruismo o dall’amore. Un errore comune sta assumendo che l’IA abbia impulsi e valori umani. “Amichevole” significa qualcosa di molto più fondamentale: che le macchine di domani non ci spazzeranno via nella loro ricerca per raggiungere i loro obiettivi.
La scorsa primavera, mi sono unito a Tallinn per un pasto nella sala da pranzo del Jesus College dell’Università di Cambridge. Lo spazio churchlike è ornato con vetrate, modanature in oro, e dipinti ad olio di uomini in parrucche. Tallinn sedeva a un pesante tavolo di mogano, indossando l’abito casual della Silicon Valley: jeans neri, T-shirt e sneakers di tela. Un soffitto a volta in legno esteso in alto sopra la sua scossa di capelli grigio-biondi.
A 47, Tallinn è in qualche modo il tuo imprenditore tecnologico da manuale. Pensa che grazie ai progressi della scienza (e a condizione che l’IA non ci distrugga), vivrà per “molti, molti anni”. Quando va in discoteca con i ricercatori, sopravvive anche ai giovani studenti laureati. La sua preoccupazione per la superintelligenza è comune tra la sua coorte. La fondazione del co-fondatore di PayPal Peter Thiel ha dato Mi 1.6 m a Miri e, nel 2015, il fondatore di Tesla Elon Musk ha donatom 10m al Future of Life Institute, un’organizzazione per la sicurezza tecnologica a Cambridge, Massachusetts. Ma l’ingresso di Tallinn in questo mondo rarefatto è arrivato dietro la cortina di ferro negli 1980, quando il padre di un compagno di classe con un lavoro governativo ha dato ad alcuni bambini brillanti l’accesso ai computer mainframe. Dopo che l’Estonia divenne indipendente, fondò una società di videogiochi. Oggi, Tallinn vive ancora nella sua capitale – chiamata anche Tallinn-con sua moglie e il più giovane dei suoi sei figli. Quando vuole incontrare i ricercatori, spesso li fa volare nella regione baltica.
La sua strategia di dare è metodica, come quasi tutto il resto che fa. Distribuisce i suoi soldi tra le organizzazioni 11, ognuna delle quali lavora su diversi approcci alla sicurezza dell’IA, nella speranza che si possa attaccare. Nel 2012, ha co-fondato il Cambridge Centre for the Study of Existential Risk (CSER) con un esborso iniziale di quasi $200.000.
I rischi esistenziali-o rischi X, come li chiama Tallinn – sono minacce alla sopravvivenza dell’umanità. Oltre all’IA, i ricercatori 20-dispari del CSER studiano il cambiamento climatico, la guerra nucleare e le armi biologiche. Ma, a Tallinn, quelle altre discipline “sono in realtà solo farmaci gateway”. La preoccupazione per le minacce più ampiamente accettate, come il cambiamento climatico, potrebbe attirare le persone. L’orrore delle macchine superintelligenti che conquistano il mondo, spera, li convincerà a rimanere. Stava visitando Cambridge per una conferenza perché vuole che la comunità accademica prenda più sul serio la sicurezza AI.
Al Jesus College, i nostri compagni di pranzo erano un assortimento casuale di frequentatori di conferenze, tra cui una donna di Hong Kong che studiava robotica e un uomo britannico che si è laureato a Cambridge negli 1960. L’uomo più anziano ha chiesto a tutti al tavolo dove hanno frequentato l’università. (La risposta di Tallinn, l’Università estone di Tartu, non lo impressionò.) Ha poi cercato di orientare la conversazione verso le notizie. Tallinn lo guardò vuoto. “Non sono interessato ai rischi a breve termine”, ha detto.
Tallinn cambiò il tema della minaccia della superintelligenza. Quando non parla con altri programmatori, di default ha metafore, e corse attraverso la sua suite di loro: avanzata AI può disporre di noi più rapidamente come gli esseri umani abbattere gli alberi. La superintelligenza è per noi ciò che siamo per i gorilla.
Un’IA avrebbe bisogno di un corpo per prendere il sopravvento, disse l’uomo più anziano. Senza un qualche tipo di involucro fisico, come potrebbe ottenere il controllo fisico?
Tallinn aveva un’altra metafora pronta:” Mettimi in un seminterrato con una connessione Internet, e potrei fare molti danni”, ha detto. Poi ha preso un morso di risotto.
Ogni IA, che si tratti di un Roomba o di uno dei suoi potenziali discendenti dominatori del mondo, è guidata dai risultati. I programmatori assegnano questi obiettivi, insieme a una serie di regole su come perseguirli. L’IA avanzata non avrebbe necessariamente bisogno di avere l’obiettivo del dominio del mondo per raggiungerlo – potrebbe essere solo accidentale. E la storia della programmazione informatica è piena di piccoli errori che hanno scatenato catastrofi. Nel 2010, ad esempio, quando un trader con la società di fondi comuni Waddell & Reed ha venduto migliaia di contratti futures, il software dell’azienda ha lasciato fuori una variabile chiave dall’algoritmo che ha aiutato a eseguire il commercio. Il risultato è stato il trilione di dollari USA “flash crash”.
I ricercatori Tallinn fondi ritengono che se la struttura di ricompensa di una IA sovrumana non è adeguatamente programmato, anche obiettivi benigni potrebbero avere fini insidiosi. Un esempio ben noto, presentato dal filosofo dell’Università di Oxford Nick Bostrom nel suo libro Superintelligence, è un agente immaginario diretto a creare il maggior numero possibile di graffette. L’IA potrebbe decidere che gli atomi nei corpi umani sarebbero meglio messi da utilizzare come materia prima.
Le opinioni di Tallinn hanno la loro parte di detrattori, anche tra la comunità di persone interessate alla sicurezza AI. Alcuni obiettano che è troppo presto per preoccuparsi di limitare l’intelligenza artificiale superintelligente quando non la capiamo ancora. Altri dicono che concentrarsi su attori tecnologici canaglia distoglie l’attenzione dai problemi più urgenti che affliggono il campo, come il fatto che la maggior parte degli algoritmi sono progettati da uomini bianchi, o basati su dati prevenuti verso di loro. “Siamo in pericolo di costruire un mondo in cui non vogliamo vivere se non affrontiamo queste sfide a breve termine”, ha affermato Terah Lyons, direttore esecutivo della Partnership su AI, un consorzio dell’industria tecnologica incentrato sulla sicurezza dell’IA e su altre questioni. (Molti degli istituti Tallinn backs sono membri.) Ma, ha aggiunto, alcune delle sfide a breve termine che i ricercatori devono affrontare, come eliminare i pregiudizi algoritmici, sono precursori di quelli che l’umanità potrebbe vedere con l’intelligenza artificiale super-intelligente.
Tallinn non è così convinto. Egli controbatte che AI superintelligente porta minacce uniche. In definitiva, spera che la comunità AI potrebbe seguire l’esempio del movimento anti-nucleare nel 1940. Sulla scia dei bombardamenti di Hiroshima e Nagasaki, gli scienziati si sono uniti per cercare di limitare ulteriori test nucleari. “Gli scienziati del progetto Manhattan avrebbero potuto dire:’ Guarda, stiamo facendo innovazione qui, e l’innovazione è sempre buona, quindi andiamo avanti”, mi ha detto. “Ma erano più responsabili di così.”
Tallinn avverte che qualsiasi approccio alla sicurezza AI sarà difficile da ottenere. Se un’IA è sufficientemente intelligente, potrebbe avere una migliore comprensione dei vincoli rispetto ai suoi creatori. Immagina, disse, ” svegliarsi in una prigione costruita da un gruppo di bambini ciechi di cinque anni.”Questo è ciò che potrebbe essere come per un super-intelligente AI che è confinato dagli esseri umani.
Il teorico Yudkowsky ha trovato prove che questo potrebbe essere vero quando, a partire dal 2002, ha condotto sessioni di chat in cui ha svolto il ruolo di un’IA racchiusa in una scatola, mentre una rotazione di altre persone ha svolto il gatekeeper incaricato di mantenere l’IA in. Tre volte su cinque, Yudkowsky – un semplice mortale-dice di aver convinto il guardiano a liberarlo. I suoi esperimenti non hanno scoraggiato i ricercatori dal cercare di progettare una scatola migliore, tuttavia.
I ricercatori che i fondi Tallinn stanno perseguendo una vasta gamma di strategie, dal pratico al apparentemente inverosimile. Alcuni teorizzano sulla boxe AI, sia fisicamente, costruendo una struttura reale per contenerla, o programmando limiti a ciò che può fare. Altri stanno cercando di insegnare AI ad aderire ai valori umani. Alcuni stanno lavorando su un ultimo-fosso off-switch. Un ricercatore che sta approfondendo tutti e tre è il matematico e filosofo Stuart Armstrong presso l’Istituto Future of Humanity dell’Università di Oxford, che Tallinn chiama “il posto più interessante dell’universo.”(Tallinn ha dato FHI più di $310.000.
Armstrong è uno dei pochi ricercatori al mondo che si concentra a tempo pieno sulla sicurezza AI. Quando l’ho incontrato per un caffè a Oxford, indossava una camicia da rugby sbottonata e aveva l’aspetto di qualcuno che passa la sua vita dietro uno schermo, con un viso pallido incorniciato da un disordine di capelli sabbiosi. Ha condito le sue spiegazioni con una miscela disorientante di riferimenti alla cultura popolare e matematica. Quando gli ho chiesto che cosa potrebbe sembrare per avere successo alla sicurezza AI, ha detto: “Hai visto il film Lego? Tutto è fantastico.”
Un ceppo della ricerca di Armstrong esamina un approccio specifico alla boxe chiamato AI “oracle”. In un articolo del 2012 con Nick Bostrom, che ha co-fondato FHI, ha proposto non solo di eliminare la superintelligenza in un serbatoio – una struttura fisica – ma anche di limitarla a rispondere alle domande, come una tavola Ouija davvero intelligente. Anche con questi confini, un’IA avrebbe un immenso potere di rimodellare il destino dell’umanità manipolando sottilmente i suoi interrogatori. Per ridurre la possibilità che ciò accada, Armstrong propone limiti di tempo per le conversazioni, o il divieto di domande che potrebbero sconvolgere l’attuale ordine mondiale. Egli ha anche suggerito di dare le misure proxy oracle di sopravvivenza umana, come il Dow Jones industrial average o il numero di persone che attraversano la strada a Tokyo, e dicendogli di mantenere questi costante.
In definitiva, Armstrong crede, potrebbe essere necessario creare, come lo chiama in un documento, un “grande pulsante rosso spento”: un interruttore fisico o un meccanismo programmato in un’IA per spegnersi automaticamente in caso di breakout. Ma progettare un tale interruttore è tutt’altro che facile. Non è solo che un’IA avanzata interessata all’autoconservazione potrebbe impedire che il pulsante venga premuto. Potrebbe anche diventare curioso di sapere perché gli umani hanno ideato il pulsante, attivarlo per vedere cosa succede e rendersi inutile. Nel 2013, un programmatore di nome Tom Murphy VII ha progettato un’IA che potrebbe insegnarsi a giocare ai giochi Nintendo Entertainment System. Determinato a non perdere a Tetris, l’IA semplicemente premuto pausa – e mantenuto il gioco congelato. “Veramente, l’unica mossa vincente è non giocare”, osservò Murphy ironicamente, in un articolo sulla sua creazione.
Affinché la strategia abbia successo, un’IA deve essere disinteressata al pulsante, o, come ha detto Tallinn: “Deve assegnare lo stesso valore al mondo in cui non è esistente e al mondo in cui è esistente.”Ma anche se i ricercatori possono raggiungere questo obiettivo, ci sono altre sfide. Cosa succede se l’IA si è copiata diverse migliaia di volte su Internet?
L’approccio che più eccita i ricercatori è trovare un modo per far aderire l’IA ai valori umani– non programmandoli, ma insegnando alle IA a impararli. In un mondo dominato dalla politica partigiana, le persone spesso si soffermano sui modi in cui i nostri principi differiscono. Ma, Tallinn mi ha detto, gli umani hanno molto in comune: “Quasi tutti apprezzano la gamba destra. E ‘ solo che non ci pensiamo.”La speranza è che un’IA possa essere insegnata a discernere tali regole immutabili.
Nel processo, un’IA avrebbe bisogno di imparare e apprezzare il lato meno logico degli umani: che spesso diciamo una cosa e ne intendiamo un’altra, che alcune delle nostre preferenze sono in conflitto con gli altri e che le persone sono meno affidabili quando sono ubriache. Nonostante le sfide, Tallinn crede, vale la pena provare perché la posta in gioco è così alta. “Dobbiamo pensare a qualche passo avanti”, ha detto. “Creare un’IA che non condivide i nostri interessi sarebbe un errore orribile.”
La sua ultima notte a Cambridge, mi sono unito Tallinn e due ricercatori per la cena in una steakhouse. Un cameriere sedeva il nostro gruppo in una cantina imbiancata con un’atmosfera simile a una grotta. Ci ha consegnato un menu di una pagina che offriva tre diversi tipi di poltiglia. Una coppia si sedette al tavolo accanto a noi, e poi pochi minuti dopo ha chiesto di trasferirsi altrove. “È troppo claustrofobico”, si lamentò la donna. Ho pensato al commento di Tallinn sul danno che potrebbe causare se bloccato in un seminterrato con nient’altro che una connessione Internet. Eccoci qui, nella scatola. Come se al momento giusto, gli uomini contemplavano modi per uscire.
Tra gli ospiti di Tallinn c’erano l’ex ricercatore di genomica Seán Ó hÉigeartaigh, che è direttore esecutivo del CSER, e Matthijs Maas, ricercatore di intelligenza artificiale all’Università di Copenaghen. Hanno scherzato su un’idea per un film d’azione nerd intitolato Superintelligence v Blockchain!, e discusso un gioco online chiamato Universal Paperclips, che riff sullo scenario nel libro di Bostrom. L’esercizio comporta ripetutamente cliccando con il mouse per fare graffette. Non è esattamente appariscente, ma dà un senso per il motivo per cui una macchina potrebbe cercare modi più convenienti per produrre forniture per ufficio.
Alla fine, il discorso si è spostato verso domande più grandi, come spesso accade quando Tallinn è presente. L’obiettivo finale della ricerca sulla sicurezza AI è quello di creare macchine che sono, come disse una volta il filosofo di Cambridge e co-fondatore di CSER Huw Price, “eticamente oltre che cognitivamente sovrumani”. Altri hanno sollevato la domanda: se non vogliamo che l’IA ci domini, vogliamo dominare l’IA? In altre parole, l’IA ha diritti? Tallinn ritiene che questo sia inutile antropomorfizzare. Si presuppone che l’intelligenza è uguale coscienza-un equivoco che infastidisce molti ricercatori AI. All’inizio della giornata, il ricercatore CSER José Hernández-Orallo ha scherzato sul fatto che quando si parla con i ricercatori di AI, la coscienza è “la parola C”. (“E’ il libero arbitrio ‘è la parola F”, ha aggiunto.)
In cantina, Tallinn ha detto che la coscienza è accanto al punto: “Prendiamo l’esempio di un termostato. Nessuno direbbe che è cosciente. Ma è davvero scomodo affrontare quell’agente se sei in una stanza che è impostata su -30 gradi.”
Ó hÉigeartaigh intervenne. “Sarebbe bello preoccuparsi della coscienza”, ha detto, ” ma non avremo il lusso di preoccuparci della coscienza se non abbiamo prima risolto le sfide tecniche di sicurezza.”
Le persone si preoccupano eccessivamente di ciò che è l’intelligenza artificiale superintelligente, ha detto Tallinn. Che forma prenderà? Dovremmo preoccuparci di una singola IA che prende il sopravvento, o di un esercito di loro? “Dal nostro punto di vista, la cosa importante è ciò che fa l’IA”, ha sottolineato. E che, egli crede, può ancora essere fino a esseri umani-per ora.
Questo pezzo è originariamente apparso sulla rivista Popular Science