그것은 35 억 년 전 쓰레기 웅덩이에서 시작되었는데,그 때 분자가 그 자체의 사본을 만들어 모든 지상 생활의 궁극적 인 조상이 되었다. 그것은 4 백만 년 전,뇌의 양이 호미니드 라인에서 빠르게 상승하기 시작했을 때 시작되었습니다.
50,000 년 전 호모 사피엔스 사피엔스.
만 년 전 문명의 발명과 함께.
500 년 전 인쇄기의 발명과 함께.
50 년 전 컴퓨터의 발명과 함께.
30 년 이내에 끝날 것입니다.
자안 탈린은 2007 년 특이점을 응시하는 온라인 에세이에서 이러한 단어를 우연히 발견했습니다. “그것”은 인간 문명이었습니다. 인류는 멸망 할 것이고,에세이의 저자는 광범위한 영역에서 인간 수준의 지능을 능가하는 초 지능 또는 인공 지능의 출현으로 예측했다.
탈린,에스토니아 태생의 컴퓨터 프로그래머,물리학에 대한 배경과 하나의 큰 프로그래밍 문제처럼 삶에 접근하는 성향을 가지고있다. 2003 년,그는 응용 프로그램에 대한 백엔드를 개발,스카이프를 공동 설립했다. 이베이는 2 년 후 그것을 구입 한 후 그는 자신의 주식에 현금화,지금은 할 수있는 뭔가에 대한 캐스팅되었다. 특이점에 응시 컴퓨터 코드,양자 물리학,캘빈과 홉스 따옴표를 으깬. 그는 푹 빠져있었습니다.
탈린은 곧 독학 이론가인 엘리에제르 유드코프스키가 1,000 개 이상의 에세이와 블로그 글을 썼으며,그 중 다수가 초지능에 전념했다는 것을 발견했다. 그는 인터넷에서 유드 코프 스키의 글을 긁어 연대순으로 그들을 주문하고 자신의 아이폰을 포맷하는 프로그램을 썼다. 그리고 그는 그들을 읽는 년의 더 좋은 부분을 보냈다.
인공 지능,또는 컴퓨터 또는 기계에서의 지능 시뮬레이션이라는 용어는 최초의 전자 디지털 컴퓨터가 생성 된 지 불과 10 년 후인 1956 년에 만들어졌습니다. 이 분야에 대한 희망은 처음에는 높았지만 초기 예측이 이루어지지 않은 1970 년대에는”인공 지능 겨울”이 시작되었습니다. 탈린이 유드 코프 스키의 에세이를 발견했을 때,아이는 르네상스를 겪고있었습니다. 과학자들은 체스에서 이기고,부엌 바닥을 청소하고,인간의 말을 인식하는 것과 같은 특정 분야에서 탁월한 인공 지능을 개발하고있었습니다. 그러한”좁은”인공 지능은 그들이 불리는 것처럼 초인적 인 능력을 가지고 있지만,그들의 특정 지배 영역에서만 가능합니다. 체스 게임 인공 지능은 바닥을 청소하거나 포인트 비에 지점에서 당신을 데려 갈 수 없다. 슈퍼 지능 인공 지능,탈린은 하나의 엔티티에서 기술의 넓은 범위를 결합합니다,믿게되었다. 더 어둡게,그것은 또한 사회적 조작에 능가 스마트 폰 나르는 인간에 의해 생성 된 데이터를 사용할 수 있습니다.
유드코프스키의 기사를 읽으면서 탈린은 슈퍼지능이 인간의 존재를 위협할 수 있는 인공지능의 폭발이나 붕괴로 이어질 수 있다는 것을 확신하게 되었다. 또는 더 나쁜 것은 우리를 근절하는 것입니다.
에세이의 마지막을 마친 후,탈린은 유드 코프 스키에 이메일을 촬영-모두 소문자,그의 스타일이다. “나는 얀 해요,스카이프의 창립 엔지니어 중 하나,”그는 썼다. 결국 그는 요점에 도달했다:”나는 동의한다… 인간의 지능을 능가하는 인공 지능 장군의 사건을 준비하는 것은 인류의 최고 과제 중 하나입니다.”그는 돕고 싶었다.
탈린이 일주일 후 다른 회의를 위해 베이 지역으로 날아 갔을 때,그는 캘리포니아 밀브레의 한 카페에서 근처에 살았던 유드 코프 스키를 만났다. 그들의 모임은 4 시간으로 늘어났습니다. “그는 실제로 근본적인 개념과 세부 사항을 진정으로 이해했습니다.”유드 코프 스키가 최근에 나에게 말했다. “이것은 매우 드문 일이다.”그 후 탈린은 유드 코프 스키가 연구원이었던 비영리 단체 인 인공 지능에 대한 특이점 연구소에 5,000 달러(3,700 달러)의 수표를 썼다. (조직은 2013 년에 기계 정보 연구소 또는 미리로 이름을 변경했습니다.)탈린 이후 연구소 이상의$600,000 부여하고있다.
유다 코프 스키와의 만남은 탈린의 목적을 가져 왔고,그를 우리 자신의 창조물로부터 우리를 구하기위한 사명으로 보냈다. 그는 여행의 삶에 착수,슈퍼 지능으로 인한 위협에 대한 세계 회담을 제공. 친절한 인공 지능 소위:대부분,하지만,그는 인류에게 탈출구를 줄 수있는 방법에 대한 연구 자금을 시작했다. 즉,기계 또는 에이전트가 날씨에 대해 채팅에서 특히 숙련 된 것을 의미하지 않는다,또는 당신의 아이의 이름을 기억–슈퍼 지능 인공 지능이 그 일을 모두 할 수있을 수도 있지만. 그것은 이타주의 나 사랑에 의해 동기 부여된다는 것을 의미하지는 않습니다. 일반적인 오류는 인공 지능이 인간의 충동과 가치를 가지고 있다고 가정하는 것입니다. “친절한”은 훨씬 더 근본적인 것을 의미합니다: 내일의 기계는 목표를 달성하기 위해 우리를 쓸어 버리지 않을 것입니다.
지난 봄,나는 캠브리지 대학의 예수 대학의 식당에서 식사를 위해 탈린에 합류했다. 교회 같은 공간은 스테인드 글라스 창문,금 몰딩 및 가발을 입은 남성의 유화로 장식되어 있습니다. 탈린은 검은 색 청바지,티셔츠,캔버스 스니커즈와 같은 실리콘 밸리의 캐주얼 복장을 입고 무거운 마호가니 테이블에 앉아있었습니다. 아치형 목재 천장은 회색 금발 머리의 충격 위로 높이 확장되었습니다.
47 에서 탈린은 어떤면에서 교과서 기술 기업가입니다. 그는 과학의 진보 덕분에(그리고 인공 지능이 우리를 파괴하지 않는다면)”많은,많은 년”동안 살 것이라고 생각합니다. 때 밖으로 연구자와 클럽 활동,그는 심지어 젊은 대학원생보다 오래 지속. 초 지능에 대한 그의 우려는 그의 동료들 사이에서 일반적입니다. 페이팔의 공동 설립자 피터 틸의 재단은 미리에 160 만 달러를 기부했으며,2015 년 테슬라 설립자 엘론 머스크는 매사추세츠 주 캠브리지에 있는 기술 안전 기관인 퓨처 오브 라이프 인스티튜트에 1,000 만 달러를 기부했다. 그러나 탈린이이 희박한 세계로 들어가는 것은 1980 년대 철의 장막 뒤에 있었는데,정부 직업을 가진 동급생의 아버지가 몇 명의 밝은 아이들에게 메인 프레임 컴퓨터에 접근 할 수있게 해주었습니다. 에스토니아가 독립 한 후 그는 비디오 게임 회사를 설립했습니다. 오늘날 탈린은 여전히 그의 아내와 그의 여섯 자녀 중 막내와 함께 수도 인 탈린에 살고 있습니다. 그가 연구원을 만나고 싶을 때,그는 종종 발트해 지역으로 날아갑니다.
그의 기부 전략은 그가하는 거의 모든 것과 마찬가지로 조직적입니다. 그는 자신의 돈을 11 개 조직에 분산시키고 있으며,각 조직은 인공 지능 안전에 대한 다른 접근 방식을 연구하고 있습니다. 2012 년에 그는 캠브리지 센터를 공동 설립하여 실존 적 위험 연구 초기 지출은$200,000 에 가깝습니다.
실존 적 위험 또는 탈린이 부르는 엑스 리스크는 인류의 생존에 대한 위협입니다. 인공지능 외에도 기후변화,핵전쟁,생물무기를 연구하는 20 여명의 연구원들이 있다. 그러나 탈린에,그 다른 분야는”정말 게이트웨이 약물”입니다. 기후 변화와 같은 더 널리 받아 들여지는 위협에 대한 우려는 사람들을 끌어들일 수 있습니다. 세계를 점령하는 초 지능 기계의 공포,그는 희망,머물 그들을 설득 할 것이다. 그는 학계가 인공 지능 안전을 더 진지하게 받아들이기를 원하기 때문에 회의를 위해 캠브리지를 방문했습니다.
예수 대학에서,우리의 식사 동료 회의 참석자의 임의의 구색이었다,로봇을 공부 한 홍콩 여성과 1960 년대에 캠브리지를 졸업 한 영국 사람을 포함.노인은 그들이 대학에 참석 테이블에 모두를 물었다. (탈린의 대답,에스토니아의 타르 투 대학은 그를 감동시키지 않았다. 그런 다음 그는 뉴스를 향해 대화를 조종하려고했습니다. 탈린은 멍하니 그를 바라 보았다. “나는 단기적인 위험에 관심이 없다”고 그는 말했다.
탈린은 이 주제를 초지능의 위협으로 바꾸었다. 다른 프로그래머와 이야기하지 않을 때,그는 은유를 기본값으로,그는 그들 자신의 제품군을 통해 실행:인간이 나무를 잘라로 고급 인공 지능은 신속하게 우리를 처리 할 수 있습니다. 초지능은 우리가 고릴라에게 무엇을 우리에게.
인공지능이 인계받기 위해서는 시체가 필요하다고 노인은 말했다. 어떤 종류의 물리적 케이싱이 없다면 어떻게 물리적 통제를 얻을 수 있습니까?
탈린은 또 다른 은유를 준비했다:”인터넷에 연결된 지하실에 나를 넣어,나는 많은 피해를 할 수있다”고 말했다. 그런 다음 그는 리조또를 한 입 먹었습니다.
모든 인공지능은 룸바든,아니면 잠재적인 세계를 지배하는 후손들 중 하나이든,결과에 의해 좌우된다. 프로그래머는 이러한 목표를 추구하는 방법에 대한 일련의 규칙과 함께 할당합니다. 고급 인공 지능은 반드시 그것을 달성하기 위해 세계 지배의 목표를 부여 할 필요가 없습니다-그것은 단지 우발적 일 수 있습니다. 그리고 컴퓨터 프로그래밍의 역사는 재앙을 촉발 작은 오류 유행이다. 2010 년,예를 들어,뮤추얼 펀드 회사 와델&리드와 상인이 선물 계약의 수천을 판매 할 때,회사의 소프트웨어는 거래를 실행하는 데 도움이 알고리즘에서 핵심 변수를 떠났다. 그 결과 1 조 달러의 미국”플래시 충돌”이 발생했습니다.
탈린 연구원은 초인간 인공 지능의 보상 구조가 제대로 프로그래밍되지 않으면 양성 목표조차도 교활한 목적을 가질 수 있다고 믿는다. 옥스포드 대학 철학자 닉 보스 트롬이 그의 저서 슈퍼 인텔리전스에서 제시 한 잘 알려진 예 중 하나는 가능한 한 많은 클립을 만들도록 지시 한 가상의 에이전트입니다. 인공 지능은 인체의 원자가 원료로 사용하는 것이 더 낫다고 결정할 수 있습니다.
탈린은 그렇게 확신하지 못합니다. 그는 초 지능 인공 지능이 독특한 위협을 가져 오는 것에 반대합니다. 궁극적으로 그는 인공 지능 커뮤니티가 1940 년대 반핵 운동의 주도권을 잡을 수 있기를 희망합니다.히로시마와 나가사키의 폭탄 테러로 인해 과학자들은 더 많은 핵 실험을 제한하기 위해 뭉쳤다. “맨해튼 프로젝트 과학자들은’이봐,우리는 여기서 혁신을하고 있고 혁신은 항상 좋은 일이야. “그러나 그들은 그것보다 더 책임이 있었다.”
탈린은 인공지능 안전에 대한 어떠한 접근도 제대로 하기 어려울 것이라고 경고했다. 인공지능이 충분히 똑똑하다면,인공지능이 만든 것보다 제약조건에 대해 더 잘 이해할 수 있을 것이다. 상상해보세요,그가 말하길,”눈먼 다섯 살짜리가 지은 감옥에서 깨어났습니다.”그것은 인간에 의해 국한 된 슈퍼 지능형 인공 지능에 대한 같은 수 있습니다 것입니다.
이론가 유드코프스키는 2002 년부터 상자 안에 있는 인공지능의 역할을 하는 채팅 세션을 진행했고,다른 사람들의 회전이 인공지능의 위치를 지키는 임무를 맡은 문지기 역할을 했을 때 이것이 사실일 수 있다는 증거를 발견했다. 다섯 번 중 세 번,유드 코프 스키-단순한 필사자-그는 문지기가 그를 풀어 주도록 설득했다고 말한다. 그의 실험은 그러나,더 나은 상자를 설계하려고에서 연구자를 낙담하지 않았다.
탈린 기금은 실제에서 겉으로는 억지에 이르기까지 다양한 전략을 추구하고 있다는 연구자. 어떤 사람들은 권투 인공 지능에 대해 물리적으로,그것을 포함 할 실제 구조를 구축하거나 그것이 할 수있는 것에 한계를 프로그래밍함으로써 이론화합니다. 다른 사람들은 인공 지능이 인간의 가치를 고수하도록 가르치려고 노력하고 있습니다. 몇몇은 오프 스위치 마지막 도랑에 노력하고 있습니다. 세 가지를 모두 탐구하는 한 연구원은 옥스포드 대학의 미래 인류 연구소의 수학자이자 철학자 스튜어트 암스트롱이며,탈린은”우주에서 가장 흥미로운 장소”라고 부릅니다.”(탈린은 310,000 달러 이상을 주었다.
암스트롱은 인공 지능 안전에 풀 타임으로 초점을 맞춘 세계에서 몇 안되는 연구자 중 한 명입니다. 나는 옥스포드에서 커피를 그를 만났을 때,그는 속박 럭비 셔츠를 입고 화면 뒤에 자신의 인생을 보낸다 사람의 모습을했다,모래 머리의 혼란에 의해 액자 창백한 얼굴. 그는 대중 문화 참조 및 수학의 방향 감각을 혼란 혼합물로 자신의 설명을 후추. 내가 그에게 인공 지능 안전에서 성공하는 것이 어떤 것인지 물었을 때,그는 말했다:”레고 영화를 본 적이 있습니까? 모든 것이 굉장합니다.”
암스트롱의 연구 중 하나는”오라클”인공 지능이라는 권투에 대한 구체적인 접근 방식을 살펴 봅니다. 2012 년 닉 보스트롬이 공동 설립한 논문에서 그는 물리적인 구조인 지주 탱크에서 슈퍼지능을 차단할뿐 아니라,정말 똑똑한 위자 보드처럼 질문에 답하도록 제한할 것을 제안했다. 이러한 경계가 있더라도 인공 지능은 심문자를 미묘하게 조작하여 인류의 운명을 바꿀 수있는 엄청난 힘을 가질 것입니다. 이 일어날 가능성을 줄이기 위해 암스트롱은 대화에 시간 제한을 제안하거나 현재 세계 질서를 뒤엎을 수있는 질문을 금지합니다. 그는 또한 다우 존스 산업 평균 또는 도쿄에서 거리를 건너는 사람들의 수와 같은 인간 생존의 오라클 프록시 조치를 제공하고,이 안정을 유지하기 위해 그것을 말하는 제안했다.
궁극적으로 암스트롱은 한 논문에서”큰 빨간색 꺼짐 버튼”,즉 물리적 스위치 또는 브레이크 아웃이 발생할 경우 자동으로 꺼지도록 인공 지능에 프로그래밍 된 메커니즘을 만들어야 할 수 있다고 생각합니다. 그러나 그러한 스위치를 설계하는 것은 쉬운 일이 아닙니다. 자기 보존에 관심이있는 고급 인공 지능이 버튼을 누르는 것을 막을 수있는 것은 아닙니다. 또한 인간이 버튼을 고안 한 이유에 대한 호기심이 될 수,무슨 일이 일어 났는지 확인하기 위해 활성화,그 자체가 쓸모 렌더링. 2013 년 톰 머피 7 세라는 프로그래머는 닌텐도 엔터테인먼트 시스템 게임을 스스로 가르 칠 수있는 인공 지능을 설계했습니다. 테트리스에서 잃지 않기로 결정,인공 지능은 단순히 일시 정지를 누르면-그리고 냉동 게임을 유지. “진정으로,유일한 승리 움직임은 재생되지 않습니다,”머피는 조소 관찰,그의 창조에 대한 논문에서.
전략이 성공하려면 인공지능이 버튼에 무관심해야 하거나,탈린이 말했듯이”인공지능은 존재하지 않는 세계와 존재하는 세계에 동등한 가치를 부여해야 한다.”그러나 연구자들이 그것을 달성 할 수 있다고하더라도 다른 도전이 있습니다. 인공 지능이 인터넷을 통해 수천 번 자신을 복사 한 경우 어떻게해야합니까?
연구자들을 가장 흥분시키는 접근법은 인공지능이 인간의 가치를 고수하도록 만드는 방법을 찾는 것이다. 당파 정치가 지배하는 세계에서 사람들은 종종 우리의 원칙이 다른 방식에 머물러 있습니다. 그러나 탈린은 인간이 공통점이 많다고 말했습니다.”거의 모든 사람들이 오른쪽 다리를 중요시합니다. 우리는 그것에 대해 생각하지 않습니다.”희망은 인공 지능이 그러한 불변의 규칙을 식별하도록 가르쳐 질 수 있다는 것입니다.
이 과정에서 인공지능은 인간의 논리적이지 않은 측면,즉 우리가 종종 한 가지를 말하고 다른 것을 의미하고,우리의 선호도 중 일부는 다른 사람들과 충돌하며,사람들은 술에 취했을 때 덜 신뢰할 수 있다는 것을 배우고 인식해야합니다. 도전에도 불구하고 탈린은 말뚝이 너무 높기 때문에 시도해 볼 가치가 있다고 생각합니다. “우리는 앞으로 몇 단계를 생각해야,”그는 말했다. “우리의 이익을 공유하지 않는 인공 지능을 만드는 것은 끔찍한 실수가 될 것입니다.”
캠브리지에서 그의 마지막 밤에,나는 스테이크 하우스에서 저녁 식사를 위해 탈린과 두 연구자에 합류했다. 웨이터는 동굴 같은 분위기와 흰색 세척 지하실에 우리 그룹을 장착. 그는 우리에게 매쉬의 세 가지 종류를 제공하는 한 페이지 메뉴를 건네. 부부는 우리 옆에있는 테이블에 앉아,다음 몇 분 후 다른 곳으로 이동 요청. “너무 밀실 공포증”이라고 여자는 불평했다. 나는 인터넷 연결 아무것도하지만,지하실에 잠겨 경우 그가 과시 할 수있는 손상에 대한 탈린의 코멘트를 생각했다. 여기에 우리는 상자에 있었다. 큐에 것처럼,남자는 나가기 위해 방법을 고민.
탈린 호텔 포함되어 있 전 유전체학 연구 Seán Ó hÉigeartaigh,누가 CSER 의 집행 이사 및 Matthijs 마스,인공지능 연구원 대학에서 코펜하겐. 그들은 슈퍼 인텔리전스 대 블록 체인이라는 제목의 괴상한 액션 영화에 대한 아이디어에 대해 농담했습니다!,그리고 보스트롬의 책에서 시나리오에 리프 유니버설 클립이라는 온라인 게임을 논의했다. 운동은 반복적으로 클립을 만들기 위해 마우스를 클릭 포함한다. 그것은 정확 하 게 화려한,하지만 왜 기계 사무 용품을 생산 하는 더 편법적인 방법에 대 한 감각을 주지 않습니다.
결국 탈린이있을 때 종종 그렇듯이 더 큰 질문으로 전환되었습니다. 인공지능 안전 연구의 궁극적인 목표는 캠브리지 철학자이자 공동 설립자 휴 프라이스가 말한 것처럼”윤리적으로 그리고 인지적으로 초인적인”기계를 만드는 것이다. 인공지능이 우리를 지배하기를 원하지 않는다면 인공지능을 지배하고 싶은가? 다른 말로,인공 지능은 권리가 있습니까? 탈린은 이것이 불필요한 의인화라고 믿는다. 그것은 지능이 의식과 같다고 가정합니다-많은 인공 지능 연구원을 괴롭히는 오해. 이날,CSER 연구 호세 에르난데스-Orallo 농담을 말할 때 AI 연구원,의식입니다”C-word”. “그리고’자유 의지’는’자유 의지’이다”고 덧붙였다.)
지하실에서,탈린은 의식이 점 옆에 있다고 말했다:”온도 조절기의 예를 가져 가라. 아무도 그것이 의식적이라고 말하지 않을 것입니다. 하지만 만약 여러분이 음수 30 도로 설정된 방에 있다면 그 요원을 상대하는 것은 정말 불편합니다.”
Ó hÉigeartaigh 종합니다. “의식에 대해 걱정하는 것이 좋을 것”이라고 그는 말했다.”그러나 기술 안전 문제를 먼저 해결하지 않으면 의식에 대해 걱정할 사치가 없을 것입니다.”
사람들은 초 지능 인공 지능이 무엇인지에 지나치게 몰두하고 있다고 탈린은 말했다. 그것은 어떤 형태를 취할 것인가? 우리는 하나의 인공 지능이 인수,또는 그들의 군대에 대해 걱정해야 하는가? “우리의 관점에서 볼 때 중요한 것은 인공 지능이하는 것”이라고 강조했다. 그리고 그는 여전히 인간에게 달려 있다고 생각합니다.
이 작품은 원래 대중 과학 잡지
에 출연