začalo To tři a půl miliardy let v kaluži bláta, když molekula udělal kopii sebe sama, a tak se stal předchůdcem všech pozemského života. Začalo to před čtyřmi miliony let, kdy objemy mozku začaly rychle stoupat v hominidové linii.
před padesáti tisíci lety se vzestupem Homo sapiens sapiens.
před deseti tisíci lety s vynálezem civilizace.
před pěti sty lety s vynálezem tiskařského lisu.
před padesáti lety s vynálezem počítače.
za méně než třicet let skončí.
Jaan Tallinn narazil na tato slova v roce 2007 v online eseji s názvem zíral do Singularity. „To“ byla lidská civilizace. Lidstvo by přestalo existovat, předpověděl autor eseje, se vznikem superinteligence, nebo AI, který překonává inteligenci na lidské úrovni v široké škále oblastí.
Tallinn, Estonsko-rozený programátor, má zázemí ve fyzice a sklon přistupovat k životu jako jedna velká programování problém. V roce 2003 spoluzaložil Skype a vyvinul backend pro aplikaci. Své akcie inkasoval poté, co je eBay koupil o dva roky později, a teď se vrhl na něco, co má dělat. Hledí do Singularity zmačkané počítačový kód, kvantová fyzika a Calvin a Hobbes citace. Byl závislý.
Tallinn brzy zjistil, že autor, Eliezer Yudkowsky, samouk teoretik, napsal více než 1000 eseje a blogposts, mnoho z nich je věnován superinteligence. Napsal program na skřípání Yudkowsky spisy z internetu, aby je chronologicky a formát je pro jeho iPhone. Pak strávil větší část roku jejich čtením.
pojem umělá inteligence, nebo simulace inteligence u počítače nebo stroje, byl vytvořen opět v roce 1956, jen deset let po vytvoření prvního elektronického digitálního počítače. Doufám, že pro oblasti byla zpočátku vysoká, ale tím, 1970, kdy včasné předpovědi to nevyšlo, „AI zima“. Když Tallinn našel Yudkowského eseje, AI prošla renesancí. Vědci vyvíjeli AI, které vynikaly ve specifických oblastech, jako je vítězství v šachu, čištění podlahy v kuchyni a rozpoznávání lidské řeči. Takové „úzké“ ai, jak se jim říká, mají nadlidské schopnosti, ale pouze ve svých specifických oblastech dominance. Šachová AI nemůže vyčistit podlahu ani vás vzít z bodu A do bodu B. Superintelligent AI, Tallinn přišel věřit, bude kombinovat širokou škálu dovedností v jedné entitě. Více temně, může také použít data generovaná lidmi s chytrými telefony, aby vynikla v sociální manipulaci.
Čtení Yudkowsky články, Tallinn se stal přesvědčen, že superinteligence by mohlo vést k explozi nebo útěk z AI, která by mohla ohrozit lidské existence – že ultrasmart AIs bude trvat své místo na evolučním žebříčku a dominovat na nás, jak jsme nyní ovládají opice. Nebo, ještě horší, vyhladit nás.
po dokončení poslední eseje Tallinn vystřelil e-mail Yudkowskému-všechna malá písmena, stejně jako jeho styl. „jsem jaan, jeden ze zakládajících inženýrů skype,“ napsal. Nakonec se dostal k věci: „s tím souhlasím … příprava na událost obecné AI překonávající lidskou inteligenci je jedním z hlavních úkolů lidstva.“Chtěl pomoci.
když Tallinn odletěl do Bay Area na další setkání o týden později, potkal Yudkowského, který žil poblíž, v kavárně v Millbrae v Kalifornii. Jejich setkání se protáhlo na čtyři hodiny. „Skutečně pochopil základní pojmy a detaily,“ řekl mi nedávno Yudkowsky. „To je velmi vzácné.“Poté Tallinn napsal šek na $ 5,000 (£3,700) na Singularity Institute for Artificial Intelligence, neziskovou organizaci, kde byl Yudkowsky výzkumným pracovníkem. (Organizace změnila v roce 2013 název Na Machine Intelligence Research Institute neboli Miri.) Tallinn od té doby dal institutu více než 600 000 dolarů.
setkání s Yudkowsky přinesl Tallinn účel, ho poslal na misi, aby zachránil nás od našich vlastních výtvorů. Pustil se do života cestování, přednášel po celém světě o hrozbě, kterou představuje superinteligence. Většinou ale začal financovat výzkum metod, které by mohly lidstvu poskytnout východisko: takzvanou přátelskou AI. To neznamená, že stroj nebo agent je obzvláště zručný v chatování o počasí, nebo že si pamatuje jména vašich dětí – i když superinteligentní AI může být schopna dělat obě tyto věci. Neznamená to, že je motivován altruismem nebo láskou. Častým klamem je předpoklad, že AI má lidské touhy a hodnoty. „Přátelský“ znamená něco mnohem zásadnějšího: že stroje zítřka nás nevymažou ve snaze dosáhnout svých cílů.
loni na jaře jsem se připojil k Tallinnu na jídlo v jídelně Jesus College Cambridge University. Kostelní prostor je vyzdoben vitrážemi, zlaté lišty, a olejomalby mužů v parukách. Tallinn seděl u těžkého mahagonového stolu, na sobě ležérní oděv Silicon Valley: černé džíny, tričko a plátěné tenisky. Klenutý dřevěný strop se táhl vysoko nad jeho šedo-blond vlasy.
na 47, Tallinn je v některých ohledech vaše učebnice tech podnikatel. Myslí si, že díky pokroku ve vědě (a za předpokladu, že nás AI nezničí), bude žít „mnoho, mnoho let“. Když se klubuje s výzkumníky, přečká i mladé postgraduální studenty. Jeho obavy o superinteligenci jsou mezi jeho kohortou běžné. Spoluzakladatel PayPal Peter Thiel foundation dal $1.6 m do Miri a, v roce 2015, Tesla zakladatel Elon Musk daroval $10m pro Budoucnost Života Ústavu, technologie, bezpečnost organizace v Cambridge, Massachusetts. Ale Tallinn je vstup do této řídké svět přišel za železnou oponou v roce 1980, když otec spolužáka s vládní práci dal pár světlých děti přístup k mainframe počítačů. Poté, co se Estonsko osamostatnilo, založil společnost pro videohry. Dnes Tallinn stále žije ve svém hlavním městě – nazývaném také Tallinn – se svou ženou a nejmladším ze svých šesti dětí. Když se chce setkat s výzkumníky, často je jen letí do Pobaltí.
jeho strategie dávání je metodická, stejně jako téměř všechno ostatní, co dělá. Rozděluje své peníze mezi 11 organizace, z nichž každá pracuje na různých přístupech k bezpečnosti AI, v naději, že by se člověk mohl držet. V roce 2012 spoluzaložil Cambridge Centrum pro studium existenčního rizika (CSER) s počátečním výdajem téměř 200 000 dolarů.
existenční rizika-nebo X-rizika, jak je Tallinn nazývá-jsou hrozbami pro přežití lidstva. Kromě AI studují 20-ti zvláštní vědci v CSER změnu klimatu, jadernou válku a biologické zbraně. Do Tallinnu jsou ale tyto další disciplíny „opravdu jen vstupní branou“. Obavy z více široce přijímaných hrozeb, jako je změna klimatu, by mohly lidi přitáhnout. Hrůza superinteligentních strojů, které ovládají svět, doufá, že je přesvědčí, aby zůstali. Byl na návštěvě Cambridge na konferenci, protože chce, aby akademická obec brala bezpečnost AI vážněji.
Na Ježíše College, našich společníků byly náhodné sortiment konference-návštěvníky, včetně ženy z Hong Kongu, který byl studuje robotiku a Britský muž, který absolvoval Cambridge v roce 1960. Starší muž požádal všichni u stolu, kde navštěvoval univerzitu. (Tallinnova odpověď, estonská univerzita v Tartu, na něj nezapůsobila.) Pak se snažil nasměrovat konverzaci směrem ke zprávám. Tallinn se na něj nechápavě podíval. „Nemám zájem o krátkodobá rizika,“ řekl.
Tallinn změnil téma na hrozbu superinteligence. Když nemluví s jinými programátory, výchozí hodnoty metafor, a proběhl jejich sadou: Pokročilá AI nás může zlikvidovat stejně rychle, jako lidé kácí stromy. Superinteligence je pro nás tím, čím jsme pro gorily.
umělá inteligence by potřebovala tělo k převzetí, řekl starší muž. Bez nějakého fyzického obalu, jak by to mohlo získat fyzickou kontrolu?
Tallinn měl připravenou další metaforu: „dejte mě do sklepa s připojením k internetu a mohl bych udělat hodně škody,“ řekl. Pak si dal kousek rizota.
každá AI, ať už je to Roomba nebo jeden z jejích potenciálních potomků ovládajících svět, je poháněn výsledky. Programátoři přiřazují tyto cíle spolu s řadou pravidel, jak je sledovat. Pokročilá AI by nemusela nutně dostat cíl světové nadvlády, aby toho dosáhla – mohlo by to být jen náhodné. A historie počítačového programování je plná malých chyb, které vyvolaly katastrofy. Například v roce 2010, kdy obchodník se společností podílových fondů Waddell & Reed prodal tisíce futures kontraktů, software firmy vynechal klíčovou proměnnou z algoritmu, který pomohl provést obchod. Výsledkem byl bilionový Americký „flash crash“.
vědci Tallinnské fondy se domnívají, že pokud není struktura odměn nadlidské AI správně naprogramována, dokonce i benigní cíle by mohly mít zákeřné konce. Jeden dobře známý příklad, stanovených Oxford filozof Nick Bostrom ve své knize Superinteligence, je fiktivní agent řídil, aby se co nejvíce svorky, jak je to možné. AI by mohla rozhodnout, že atomy v lidských tělech by byly lépe použity jako surovina.
Tallinn názory mají svůj podíl na kritiky, a to i mezi společenství lidí, zabývá AI bezpečnosti. Někteří namítají, že je příliš brzy na to, abychom se obávali omezení superinteligentní AI, když tomu ještě nerozumíme. Jiní říkají, že se zaměřením na rogue technologické herci odvádí pozornost od nejnaléhavějších problémů, kterým čelí oblasti, jako skutečnost, že většina algoritmů jsou navrženy bílého muže, nebo na základě data zkreslená směrem k nim. „Jsme v nebezpečí, že budujeme svět, že nechceme žít v pokud nechceme řešit tyto problémy v blízké budoucnosti,“ řekl Terah Lyons, výkonný ředitel Partnerství na AI, technologie, průmysl konsorcium zaměřené na AI bezpečnosti a dalších otázkách. (Několik institutů Tallinn záda jsou členy.) Ale dodala, že některé z blízkých výzev, kterým vědci čelí, jako je odstranění algoritmické zaujatosti, jsou předchůdci těch, které by lidstvo mohlo vidět se superinteligentní AI.
Tallinn není tak přesvědčený. Počítá s tím, že superinteligentní AI přináší jedinečné hrozby. Nakonec, on doufá, že AI společenství může následovat anti-nukleární hnutí v roce 1940. V důsledku bombardování Hirošimy a Nagasaki, vědci spojili, aby se pokusili omezit další jaderné zkoušky. „Vědci z Projektu Manhattan mohli říci:‘ Podívej, děláme tady inovace a inovace jsou vždy dobré, tak se prostě vrhněme dopředu, “ řekl mi. „Ale oni byli zodpovědnější než to.“
Tallinn varuje, že jakýkoli přístup k bezpečnosti AI bude těžké napravit. Pokud je umělá inteligence dostatečně chytrá, může lépe porozumět omezením než její tvůrci. Představte si, řekl, “ probuzení ve vězení postaveném bandou slepých pětiletých dětí.“To by mohlo být pro superinteligentní AI, která je omezena lidmi.
teoretik Yudkowsky našli důkaz, může to být pravda, když, začíná v roce 2002, vedl chatu, ve kterém on hrál roli AI uzavřený v krabici, zatímco otáčení dalších lidí, hrál vrátného za úkol udržet AI. Třikrát z pěti, Yudkowsky – pouhý smrtelník-říká, že přesvědčil vrátného, aby ho propustil. Jeho experimenty však neodradily vědce od snahy navrhnout lepší krabici.
vědci, že Tallinn fondy sledují širokou škálu strategií, z praktické zdánlivě přitažené za vlasy. Někteří teoretizují o boxu AI, buď fyzicky, budováním skutečné struktury, která ji obsahuje, nebo programováním v mezích toho, co může udělat. Jiní se snaží naučit AI dodržovat lidské hodnoty. Několik z nich pracuje na vypínači posledního příkopu. Jeden výzkumník, který se ponoří do všech tří, je matematik a filozof Stuart Armstrong z Institutu budoucnosti lidstva na Oxfordské univerzitě, který Tallinn nazývá “ nejzajímavějším místem ve vesmíru.“(Tallinn dal FHI více než $310,000.)
Armstrong je jedním z mála vědců na světě, který se na plný úvazek zaměřuje na bezpečnost AI. Když jsem ho potkal na kafe v Oxfordu, měl na sobě rozepnutou rugby košile a měl vzhled někoho, kdo tráví svůj život za obrazovkou, s bledou tváří orámované nepořádek blond vlasy. Svá vysvětlení pepřil dezorientující směsí odkazů na populární kulturu a matematiku. Když jsem se ho zeptal, jak by to mohlo vypadat uspět v AI safety, řekl: „viděli jste film Lego? Všechno je úžasné.“
jeden kmen Armstrongova výzkumu se zabývá specifickým přístupem k boxu zvaným“ oracle “ AI. V roce 2012 papír s Nick Bostrom, který spoluzaložil FHI, navrhl nejen zdění z superinteligence v nádrži hospodářství – fyzická struktura – ale také omezuje to, aby odpovědi na otázky, jako opravdu inteligentní Ouija. I s těmito hranicemi by AI měla nesmírnou moc přetvořit osud lidstva jemnou manipulací s jeho vyšetřovateli. Aby se snížila možnost, že se to stane, Armstrong navrhuje lhůty pro konverzace nebo zákaz otázek, které by mohly narušit současný světový řád. On také navrhl, dává oracle proxy opatření lidské přežití, jako je Dow Jones industrial average nebo počet lidí, přejezd na ulici v Tokiu, a říkám ji, aby se tyto stabilní.
Nakonec, Armstrong se domnívá, že by mohlo být nutné vytvořit, jak říká v jednom dokumentu, „big red off“: buď fyzický přepínač, nebo mechanismus naprogramované AI, aby se automaticky vypne v případě útěku. Navrhování takového přepínače však není zdaleka snadné. Nejde jen o to, že pokročilá umělá inteligence, která má zájem o sebezáchovu, by mohla zabránit stisknutí tlačítka. Mohlo by se také stát zvědavým, proč lidé vynalezli tlačítko, aktivujte jej, abyste viděli, co se stane, a učinit se zbytečným. V roce 2013 programátor jménem Tom Murphy VII navrhl AI, která by se mohla naučit hrát hry Nintendo Entertainment System. Rozhodnuto neztratit na Tetris, AI jednoduše stiskla pauzu – a udržovala hru zmrazenou. „Opravdu, jediným vítězným tahem je nehrát,“ poznamenal Murphy v novinách o své tvorbě.
aby strategie uspěla, musí se AI nezajímat o tlačítko, nebo, jak řekl Tallinn: „musí přiřadit stejnou hodnotu světu, kde neexistuje, a světu, kde existuje.“Ale i když to vědci mohou dosáhnout, existují další výzvy. Co když se AI zkopírovala několik tisíckrát přes internet?
přístup, který nejvíce vzrušuje vědci našel způsob, jak to udělat AI dodržovat lidské hodnoty– to není o programování, ale tím, že učí AIs se je naučit. Ve světě ovládaném stranickou politikou se lidé často zabývají způsoby, jakými se naše principy liší. Ale Tallinn mi řekl, že lidé mají hodně společného: „téměř každý si váží své pravé nohy. Jen o tom nepřemýšlíme.“Doufáme, že AI by se mohla naučit rozlišovat taková neměnná pravidla.
V procesu, AI by bylo třeba učit se a ocenit člověka méně-než-logické straně: to, že jsme často říkají jednu věc a říct jiného, že některé naše preference konfliktu s ostatními, a že lidé jsou méně spolehlivé, když opilý. Navzdory výzvám se Tallinn domnívá, že stojí za to vyzkoušet, protože sázky jsou tak vysoké. „Musíme myslet pár kroků dopředu,“ řekl. „Vytvoření AI, která nesdílí naše zájmy, by byla hrozná chyba.“
v poslední noci v Cambridge jsem se připojil k Tallinnu a dvěma výzkumníkům na večeři ve steakhouse. Číšník usadil naši skupinu do bíle vypraného sklepa s jeskynní atmosférou. Podal nám jednostránkové menu, které nabízelo tři různé druhy kaše. Pár se posadil ke stolu vedle nás a pak o několik minut později požádal, aby se přestěhoval jinam. „Je to příliš klaustrofobické,“ stěžovala si žena. Myslel jsem, že Tallinn je komentář o škody, které by mohl způsobit, pokud zamčené ve sklepě s ničím, ale připojení k internetu. Tady jsme byli, v krabici. Jako by na povel, muži uvažovali o způsobech, jak se dostat ven.
Tallinn hosty včetně bývalého genomiky řešitel Seán Ó hÉigeartaigh, kdo je CSER výkonný ředitel, a Matthijs Maas, AI výzkumník na Univerzitě v Kodani. Žertovali o nápadu na nerdy akční film s názvem Superintelligence v Blockchain!, a diskutoval o online hře s názvem Universal Paperclips, která riffuje scénář v Bostromově knize. Cvičení zahrnuje opakované kliknutí myší, abyste vytvořili sponky. Není to úplně honosné, ale dává smysl, proč by stroj mohl hledat účelnější způsoby výroby kancelářských potřeb.
nakonec se diskuse posunula k větším otázkám, jak to často dělá, když je Tallinn přítomen. Konečným cílem výzkumu AI-bezpečnosti je vytvořit stroje, které jsou, jak to kdysi řekl Cambridge filozof a spoluzakladatel CSER Huw Price, „eticky i kognitivně nadlidské“. Jiní vznesli otázku: pokud nechceme, aby nás AI ovládla, chceme ovládnout AI? Jinými slovy, má AI práva? Tallinn je přesvědčen, že je to zbytečné. Předpokládá, že inteligence se rovná vědomí-mylná představa, která obtěžuje mnoho vědců AI. Dříve v den, Cser výzkumník José Hernández-Orallo žertoval, že když mluví s výzkumníky AI, vědomí je „C-slovo“. („A‘ svobodná vůle ‚je F-slovo,“ dodal.)
ve sklepě Tallinn řekl, že vědomí je vedlejší: „Vezměte si příklad termostatu. Nikdo by neřekl, že je při vědomí. Ale je opravdu nepohodlné čelit tomuto agentovi, pokud jste v místnosti, která je nastavena na -30 stupňů.“
Ó hÉigeartaigh zazvonil. „Bylo by hezké se starat o vědomí, „řekl,“ ale nebudeme mít luxus starat se o vědomí, pokud jsme nejprve nevyřešili technické bezpečnostní výzvy.“
lidé se příliš zajímají o to, co je superinteligentní AI, řekl Tallinn. Jakou formu to bude mít? Měli bychom si dělat starosti s převzetím jediné AI, nebo jejich armáda? „Z našeho pohledu je důležité, co dělá AI,“ zdůraznil. A to podle něj ještě může být na lidech-prozatím.
tento článek se původně objevil v časopise Popular Science