zaczęło się trzy i pół miliarda lat temu w kałuży błota, kiedy cząsteczka zrobiła sobie kopię i tak stała się ostatecznym przodkiem całego ziemskiego życia. Zaczęło się cztery miliony lat temu, kiedy objętość mózgu zaczęła gwałtownie wzrastać w linii hominidów.
pięćdziesiąt tysięcy lat temu wraz z powstaniem Homo sapiens sapiens.
dziesięć tysięcy lat temu z wynalezieniem cywilizacji.
pięćset lat temu z wynalezieniem prasy drukarskiej.
50 lat temu z wynalezieniem komputera.
za niecałe trzydzieści lat to się skończy.
Jaan Tallinn natknął się na te słowa w 2007 roku, w internetowym eseju „wpatrując się w osobliwość”. „To” była cywilizacja ludzka. Ludzkość przestałaby istnieć, przewidywał autor eseju, wraz z pojawieniem się superinteligencji, czyli sztucznej inteligencji, która przewyższa inteligencję na poziomie ludzkim w szerokim zakresie dziedzin.
Tallinn, urodzony w Estonii programista komputerowy, ma doświadczenie w fizyce i skłonność do podejścia do życia jak jeden wielki problem programowania. W 2003 roku współtworzył Skype, rozwijając backend dla aplikacji. Spieniężył swoje akcje po tym, jak eBay kupił je dwa lata później, a teraz zaczął castować na coś do zrobienia. Wpatrując się w osobliwość zmiażdżony kod komputerowy, fizykę kwantową i cytaty Calvina i Hobbesa. Był uzależniony.
Tallinn wkrótce odkrył, że autor, Eliezer Yudkowsky, samouk teoretyk, napisał ponad 1000 esejów i blogów, z których wiele poświęcone było superinteligencji. Napisał program, aby zeskrobać pisma Yudkowskiego z Internetu, zamówić je chronologicznie i sformatować na iPhone ’ a. Potem spędził większą część roku czytając je.
termin sztuczna inteligencja, czyli symulacja inteligencji w komputerach lub maszynach, został wymyślony w 1956 roku, zaledwie dekadę po stworzeniu pierwszych elektronicznych komputerów cyfrowych. Nadzieja dla pola była początkowo wysoka, ale w latach 70., kiedy wczesne prognozy nie wypaliły, rozpoczęła się „zima AI”. Kiedy Tallinn znalazł eseje Yudkowskiego, AI przechodził renesans. Naukowcy opracowywali AI, które sprawdzały się w konkretnych dziedzinach, takich jak wygrywanie w szachy, czyszczenie podłogi w kuchni i rozpoznawanie ludzkiej mowy. Takie „wąskie” AI, jak się je nazywa, mają nadludzkie możliwości, ale tylko w określonych obszarach dominacji. Si grająca w szachy nie może oczyścić podłogi ani zabrać cię z punktu A do punktu B. Superinteligentna sztuczna inteligencja, Tallin, uwierzyła, połączy szeroki zakres umiejętności w jednym podmiocie. Mroczniej, może również wykorzystywać dane generowane przez ludzi, którzy używają smartfonów, aby doskonalić się w manipulacji społecznej.
czytając artykuły Yudkowskiego, Tallin przekonał się, że superinteligencja może doprowadzić do eksplozji lub wybuchu sztucznej inteligencji, która może zagrozić ludzkiej egzystencji – że ultrasmart AI zajmie nasze miejsce na drabinie ewolucyjnej i zdominuje nas tak, jak teraz dominujemy małpy. Albo, co gorsza, eksterminować nas.
po skończeniu ostatniego z esejów, Tallin wystrzelił maila do Yudkowskiego – wszystkie małe litery, tak jak jego styl. „jestem jaan, jeden z założycieli skype’ a ” – napisał. W końcu doszedł do rzeczy: „zgadzam się z tym … przygotowanie się na wydarzenie, w którym ogólna sztuczna inteligencja przewyższa ludzką inteligencję, jest jednym z najważniejszych zadań dla ludzkości.”Chciał pomóc.
gdy tydzień później Tallin poleciał do Bay Area na inne spotkania, spotkał Yudkowskiego, który mieszkał w pobliżu, w kawiarni w Millbrae w Kalifornii. Ich spotkanie rozciągnęło się do czterech godzin. „Rzeczywiście, szczerze rozumiał podstawowe pojęcia i szczegóły”, powiedział mi niedawno Yudkowski. „To bardzo rzadkie.”Następnie Tallinn napisał czek na $5,000 (£3,700) dla Singularity Institute for Artificial Intelligence, organizacji non-profit, w której Yudkowsky był pracownikiem naukowym. (W 2013 roku organizacja zmieniła nazwę na Machine Intelligence Research Institute (Miri).) Tallinn podarował Instytutowi ponad 600 tysięcy dolarów.
spotkanie z Yudkowskym przyniosło Tallinnowi cel, wysyłając go z misją ratowania nas od naszych własnych dzieł. Rozpoczął życie w podróży, wygłaszając rozmowy na całym świecie na temat zagrożenia stwarzanego przez superinteligencję. Głównie jednak zaczął finansować badania nad metodami, które mogą dać ludzkości Wyjście: tak zwaną przyjazną Sztuczną Inteligencją. Nie oznacza to, że maszyna lub agent są szczególnie wykwalifikowani w rozmawianiu o pogodzie lub pamiętaniu imion Twoich dzieci – chociaż superinteligentna sztuczna inteligencja może być w stanie zrobić obie te rzeczy. Nie oznacza to, że motywuje ją altruizm czy miłość. Powszechnym błędem jest założenie, że sztuczna inteligencja ma ludzkie popędy i wartości. „Przyjazny” oznacza coś znacznie bardziej fundamentalnego: że maszyny jutra nie zniszczą nas w ich dążeniu do osiągnięcia swoich celów.
ostatniej wiosny dołączyłem do Tallina na posiłek w jadalni Jesus College Uniwersytetu Cambridge. Przestrzeń kościoła zdobią witraże, złocone listwy i olejne obrazy mężczyzn w perukach. Tallinn siedział przy ciężkim mahoniowym stole, ubrany w luźny strój Doliny Krzemowej: czarne dżinsy, t-shirt i płócienne trampki. Sklepiony drewniany sufit wysunął się wysoko nad jego szokiem siwych blond włosów.
w wieku 47 lat Tallinn jest w pewnym sensie Twoim podręcznikowym przedsiębiorcą technicznym. Uważa, że dzięki postępowi w nauce (i pod warunkiem, że sztuczna inteligencja nas nie zniszczy) będzie żył „wiele, wiele lat”. Kiedy spotyka się z naukowcami, przewyższa nawet młodych absolwentów. Jego troska o superinteligencję jest powszechna wśród jego kohorty. Współzałożyciel Paypal Peter Thiel ’ s foundation przekazał Miri 1,6 mln USD, a w 2015 roku założyciel Tesli, Elon Musk, przekazał 10 mln USD na rzecz Future of Life Institute, organizacji zajmującej się bezpieczeństwem technologii w Cambridge w stanie Massachusetts. Ale wejście Tallina do tego rozrzedzonego świata nastąpiło za żelazną kurtyną w latach 80., kiedy ojciec kolegi z klasy z pracą rządową dał kilku mądrym dzieciom dostęp do komputerów mainframe. Po uzyskaniu przez Estonię niepodległości założył firmę produkującą gry wideo. Dziś Tallin nadal mieszka w stolicy – zwanej również Tallinnem – ze swoją żoną i najmłodszym z sześciorga dzieci. Kiedy chce spotkać się z naukowcami, często po prostu lata im w rejon Bałtyku.
jego strategia dawania jest metodyczna, jak prawie wszystko, co robi. Rozprowadza swoje pieniądze wśród 11 organizacji, z których każda pracuje nad różnymi podejściami do bezpieczeństwa sztucznej inteligencji, w nadziei, że jedna z nich zostanie. W 2012 roku był współzałożycielem Cambridge Centre for the Study of Existential Risk (CSER) z początkowymi nakładami w wysokości blisko 200 000 USD.
ryzyko egzystencjalne – lub ryzyko X, jak je nazywa Tallinn – są zagrożeniem dla przetrwania ludzkości. Oprócz sztucznej inteligencji, 20-osobowi naukowcy z CSER badają zmiany klimatu, wojnę nuklearną i broń biologiczną. Ale dla Tallinna te inne dyscypliny „to tak naprawdę tylko narkotyki”. Obawy związane z bardziej powszechnie akceptowanymi zagrożeniami, takimi jak zmiany klimatyczne, mogą przyciągnąć ludzi. Horror superinteligentnych maszyn przejmujących świat, ma nadzieję, że przekona je do pozostania. Odwiedził Cambridge na konferencję, ponieważ chce, aby społeczność akademicka bardziej poważnie traktowała bezpieczeństwo sztucznej inteligencji.
w Jesus College nasi towarzysze jadalni byli przypadkowym zestawem uczestników konferencji, w tym kobietą z Hongkongu, która studiowała robotykę i Brytyjczykiem, który ukończył Cambridge w latach 60. starszy mężczyzna zapytał wszystkich przy stole, gdzie uczęszczali na uniwersytet. (Odpowiedź Tallinna, estońskiego Uniwersytetu w Tartu, nie zrobiła na nim wrażenia.) Próbował następnie skierować rozmowę w kierunku wiadomości. Tallinn spojrzał na niego ślepo. „Nie interesuje mnie ryzyko krótkoterminowe”
Nie rozmawiając z innymi programistami, domyślał się metafor i przejrzał ich zestaw: zaawansowana sztuczna inteligencja może pozbyć się nas tak szybko, jak ludzie ścinają drzewa. Superinteligencja jest dla nas tym, czym jesteśmy dla goryli.
AI potrzebowałoby ciała do przejęcia, starszy mężczyzna powiedział. Bez jakiejś fizycznej obudowy, jak mogłaby uzyskać fizyczną kontrolę?
Tallinn miał przygotowaną kolejną metaforę: „postaw mnie w piwnicy z dostępem do Internetu, a Mogę zrobić wiele szkód”. Potem wziął gryza risotto.
każda sztuczna inteligencja, niezależnie od tego, czy jest to Roomba, czy jeden z jej potencjalnych Potomków, zdominowanych przez świat, zależy od wyników. Programiści przypisują te cele wraz z szeregiem zasad dotyczących ich realizacji. Zaawansowana sztuczna inteligencja niekoniecznie musiałaby mieć cel dominacji nad światem, aby go osiągnąć – może to być po prostu przypadek. A historia programowania jest pełna drobnych błędów, które wywołały katastrofy. Na przykład w 2010 r., gdy przedsiębiorca z firmą ubezpieczeniową Waddell & Reed sprzedał tysiące kontraktów futures, oprogramowanie firmy pominęło kluczową zmienną z algorytmu, który pomógł wykonać transakcję. Rezultatem był bilion dolarów USA „flash crash”.
naukowcy uważają, że jeśli struktura nagradzania nadludzkiej sztucznej inteligencji nie zostanie odpowiednio zaprogramowana, nawet łagodne cele mogą mieć podstępne cele. Znany przykład, przedstawiony przez filozofa z Uniwersytetu Oksfordzkiego Nicka Bostroma w jego książce „Superinteligencja”, to fikcyjny agent, którego celem jest zrobienie jak największej liczby spinaczy. Sztuczna inteligencja może zdecydować, że atomy w ludzkich ciałach będą lepiej wykorzystywane jako surowiec.
poglądy Tallina mają swój udział w krytykach, nawet wśród społeczności osób zajmujących się bezpieczeństwem sztucznej inteligencji. Jakiś obiekt, że jest zbyt wcześnie, aby martwić się o ograniczenie superinteligentnej sztucznej inteligencji, kiedy jeszcze tego nie rozumiemy. Inni twierdzą, że skupienie się na nieuczciwych aktorach technologicznych odwraca uwagę od najpilniejszych problemów, przed którymi stoi dziedzina, takich jak fakt, że większość algorytmów jest zaprojektowana przez białych mężczyzn lub oparta na danych stronniczych wobec nich. „Grozi nam zbudowanie świata, w którym nie chcemy żyć, jeśli nie sprostamy tym wyzwaniom w najbliższym czasie” – powiedział Terah Lyons, dyrektor wykonawczy partnerstwa na rzecz sztucznej inteligencji, konsorcjum branży technologicznej skupiającego się na bezpieczeństwie sztucznej inteligencji i innych kwestiach. (Członkami jest kilka instytutów.) Ale, dodała, niektóre z krótkoterminowych wyzwań stojących przed naukowcami, takich jak wyeliminowanie uprzedzeń algorytmicznych, są prekursorami tych, które ludzkość może zobaczyć z superinteligentną Sztuczną Inteligencją.
Przeciwstawia się, że superinteligentna sztuczna inteligencja przynosi unikalne zagrożenia. Ostatecznie ma nadzieję, że społeczność AI może podążać za ruchem antyatomowym w latach 40. XX wieku.w następstwie bombardowań Hiroszimy i Nagasaki naukowcy połączyli siły, aby spróbować ograniczyć dalsze testy jądrowe. „Naukowcy z projektu Manhattan mogliby powiedzieć:” Słuchaj, robimy tutaj innowacje, a innowacje są zawsze dobre, więc po prostu zanurzmy się do przodu ” – powiedział mi. „Ale byli bardziej odpowiedzialni niż to.”
Tallinn ostrzega, że każde podejście do bezpieczeństwa AI będzie trudne do uzyskania. Jeśli sztuczna inteligencja jest wystarczająco inteligentna, może lepiej zrozumieć ograniczenia niż jej twórcy. Wyobraź sobie, powiedział: „budząc się w więzieniu zbudowanym przez grupę niewidomych pięciolatków.”Tak może wyglądać superinteligentna sztuczna inteligencja, którą ograniczają ludzie.
teoretyk Yudkowsky znalazł dowody, że może to być prawda, gdy począwszy od 2002 roku prowadził sesje czatu, w których odgrywał rolę si zamkniętej w pudełku, podczas gdy rotacja innych osób odgrywała strażnika, którego zadaniem było utrzymanie si w środku. Trzy na pięć razy, Yudkowsky-zwykły śmiertelnik-mówi, że przekonał strażnika, aby go uwolnił. Jego eksperymenty nie zniechęciły jednak badaczy do prób zaprojektowania lepszego pudełka.
badacze, którzy finansują Tallinn, realizują szeroką gamę strategii, od praktycznych po pozornie naciągane. Niektórzy teoretyzują o boksie si, albo fizycznie, budując rzeczywistą strukturę, aby ją powstrzymać, albo programując w granicach tego, co może zrobić. Inni próbują nauczyć AI przestrzegania ludzkich wartości. Kilku pracuje nad wyłącznikiem. Jednym z badaczy, który zagłębia się we wszystkie trzy, jest matematyk i filozof Stuart Armstrong z Instytutu przyszłości ludzkości Uniwersytetu Oksfordzkiego, który Tallinn nazywa ” najciekawszym miejscem we wszechświecie.”(Tallinn dał FHI ponad 310 tys.)
Armstrong jest jednym z niewielu naukowców na świecie, którzy w pełnym wymiarze czasu koncentrują się na bezpieczeństwie sztucznej inteligencji. Kiedy spotkałam go na kawie w Oksfordzie, nosił rozpiętą koszulkę rugby i wyglądał jak ktoś, kto spędza życie za ekranem, z bladą twarzą oprawioną w bałagan piaszczystych włosów. Swoje wyjaśnienia zasypywał dezorientującą mieszanką odniesień do kultury popularnej i matematyki. Kiedy zapytałem go, jak to może wyglądać, aby odnieść sukces w Ai safety, powiedział: „Czy widziałeś film Lego? Wszystko jest super.”
jeden ze szczepów badań Armstronga dotyczy specyficznego podejścia do boksu zwanego” wyrocznią ” AI. W artykule z 2012 roku z Nickiem Bostromem, który był współzałożycielem FHI, zaproponował nie tylko odciążenie superinteligencji w zbiorniku – fizycznej strukturze – ale także ograniczenie jej do odpowiadania na pytania, jak naprawdę inteligentna tablica Ouija. Nawet z tymi granicami sztuczna inteligencja miałaby ogromną moc przekształcania losu ludzkości poprzez subtelne manipulowanie przesłuchującymi. Aby ograniczyć możliwość tego wydarzenia, Armstrong proponuje ograniczenia czasowe na rozmowy lub zakazywanie pytań, które mogłyby naruszyć obecny porządek świata. Zasugerował również, aby Oracle proxy podawała mierniki przetrwania ludzi, takie jak Dow Jones industrial average czy liczba osób przechodzących przez ulicę w Tokio, i nakazywała im, aby utrzymywali je na stałym poziomie.
ostatecznie Armstrong uważa, że konieczne może być stworzenie, jak nazywa to w jednym dokumencie, „dużego czerwonego przycisku wyłączania”: albo fizycznego przełącznika, albo mechanizmu zaprogramowanego w AI, aby automatycznie wyłączał się w przypadku awarii. Ale zaprojektowanie takiego przełącznika nie jest łatwe. Nie chodzi tylko o to, że zaawansowana sztuczna inteligencja zainteresowana samozachowawczością może zapobiec naciśnięciu przycisku. Może również stać się ciekawy, dlaczego ludzie wymyślili przycisk, aktywować go, aby zobaczyć, co się dzieje, i uczynić się bezużytecznym. W 2013 roku programista Tom Murphy VII zaprojektował sztuczną inteligencję, która mogła nauczyć się grać w gry Nintendo Entertainment System. Zdeterminowana, by nie przegrać z Tetrisem, sztuczna inteligencja po prostu nacisnęła pauzę – i zatrzymała grę. „Naprawdę, jedynym zwycięskim ruchem nie jest gra”, Murphy zauważył krzywo, w gazecie o swoim stworzeniu.
aby strategia się powiodła, sztuczna inteligencja musi być niezainteresowana przyciskiem lub, jak to ujął Tallin: „musi przypisać taką samą wartość światu, w którym nie istnieje, i światu, w którym istnieje.”Ale nawet jeśli naukowcy mogą to osiągnąć, istnieją inne wyzwania. Co jeśli sztuczna inteligencja skopiowała się kilka tysięcy razy przez internet?
podejście, które najbardziej ekscytuje badaczy, polega na znalezieniu sposobu na to, aby sztuczna inteligencja była zgodna z ludzkimi wartościami– nie poprzez programowanie ich, ale poprzez nauczanie AIs, aby się ich nauczyć. W świecie zdominowanym przez partyjną politykę ludzie często zastanawiają się nad tym, czym różnią się nasze zasady. Ale, jak powiedział mi Tallin, ludzie mają wiele wspólnego: „prawie każdy ceni swoją prawą nogę. Po prostu o tym nie myślimy.”Nadzieja jest taka, że sztuczna inteligencja może zostać nauczona rozpoznawania takich niezmiennych zasad.
w tym procesie sztuczna inteligencja musiałaby nauczyć się i docenić mniej logiczną stronę ludzi: że często mówimy jedno, a znaczy drugie, że niektóre z naszych preferencji są sprzeczne z innymi, a ludzie są mniej wiarygodni, gdy są pijani. Pomimo wyzwań, Tallinn uważa, że warto spróbować, ponieważ stawka jest tak wysoka. „Musimy myśleć o kilku krokach do przodu” „Stworzenie sztucznej inteligencji, która nie podziela naszych interesów, byłoby strasznym błędem.”
w jego ostatnią noc w Cambridge, dołączyłem do Tallina i dwóch naukowców na kolację w stekhouse. Kelner posadził naszą grupę w białej, umytej piwnicy z jaskiniową atmosferą. Wręczył nam jednostronicowe menu, które oferowało trzy różne rodzaje zacieru. Para usiadła przy stole obok nas, a kilka minut później poprosiła o przeniesienie się gdzie indziej. – To zbyt klaustrofobiczne-skarżyła się kobieta. Pomyślałem o komentarzu Tallinna na temat szkód, które mógłby wyrządzić, gdyby zamknął się w piwnicy z niczym innym, jak połączeniem z Internetem. Byliśmy w pudełku. Jakby na zawołanie, mężczyźni zastanawiali się, jak się wydostać.
gośćmi Tallina byli: były badacz genomiki Seán Ó hÉigeartaigh, który jest dyrektorem wykonawczym CSER, oraz Matthijs Maas, badacz sztucznej inteligencji na Uniwersytecie Kopenhaskim. Żartowali o pomyśle na nerdy film akcji zatytułowany Superintelligence V Blockchain!, oraz omówiono grę online o nazwie Universal Paperclips, która zawiera scenariusz w książce Bostrom. Ćwiczenie polega na wielokrotnym klikaniu myszką, aby spinacze. To nie jest zbyt krzykliwe, ale daje poczucie, dlaczego maszyna może szukać bardziej dogodnych sposobów produkcji artykułów biurowych.
w końcu rozmowa przesunęła się w kierunku większych pytań, Jak to często bywa, gdy Tallin jest obecny. Ostatecznym celem badań nad bezpieczeństwem sztucznej inteligencji jest stworzenie maszyn, które są, jak powiedział To filozof z Cambridge i współzałożyciel CSER, Huw Price, „nadludzkie etycznie i poznawczo”. Inni postawili pytanie: jeśli nie chcemy, aby sztuczna inteligencja nas zdominowała, to czy chcemy zdominować sztuczną inteligencję? Innymi słowy, czy AI ma prawa? Tallinn uważa, że jest to niepotrzebna antropomorfizacja. Zakłada, że inteligencja równa się świadomości – błędne przekonanie, które denerwuje wielu badaczy sztucznej inteligencji. Wcześniej tego dnia, badacz CSER José Hernández-Orallo żartował, że podczas rozmowy z badaczami sztucznej inteligencji świadomość jest „słowem na literę C”. („A” wolna wola „to słowo na F” -dodał.)
w piwnicy Tallin powiedział, że świadomość nie ma znaczenia: „weźmy przykład termostatu. Nikt by nie powiedział, że jest świadomy. Ale to naprawdę niewygodne zmierzyć się z tym agentem, jeśli jesteś w pokoju, który jest ustawiony na minus 30 stopni.”
Ó hÉigeartaigh „Byłoby miło martwić się o świadomość, „powiedział,” ale nie będziemy mieli luksusu martwić się o świadomość, jeśli najpierw nie rozwiązaliśmy problemów bezpieczeństwa technicznego.”
ludzie są zbyt zajęci tym, czym jest superinteligentna sztuczna inteligencja. Jaką formę przyjmie? Czy powinniśmy martwić się o pojedynczą si, czy ich armię? „Z naszej perspektywy ważne jest to, co robi sztuczna inteligencja” – podkreślił. I to, jego zdaniem, może nadal zależeć od ludzi-na razie.
ten artykuł pierwotnie ukazał się w magazynie popularnonaukowym