それは35億年前に泥のプールで始まり、分子がそれ自身のコピーを作ったので、すべての地上の生命の究極の祖先になりました。 それは400万年前に始まり、脳の量がヒト科の系統で急速に上昇し始めた。
ホモ-サピエンス-サピエンスの台頭とともに五十万年前。
一万年前の文明の発明。
五百年前に印刷機の発明があった。
五十年前にコンピュータの発明があった。
三十年以内に、それは終了します。
Jaan Tallinnは2007年、オンラインエッセイ「Staring into the Singularity」で、これらの言葉に遭遇しました。 “それ”は人間の文明でした。 人類は存在しなくなり、エッセイの著者は、幅広い分野で人間レベルの知性を上回る超知性、またはAIの出現で予測しました。
タリン、エストニア生まれのコンピュータプログラマは、物理学の背景と一つの大きなプログラミングの問題のような人生に近づく傾向があります。 2003年、彼はSkypeを共同設立し、アプリのバックエンドを開発しました。 彼はeBayが二年後にそれを買った後、彼の株式を現金化し、今、彼は何かのために約鋳造していました。 特異点を見つめてコンピュータコード、量子物理学とカルビンとホッブズの引用をマッシュアップ。 彼は夢中になった。
タリンはすぐに、独学の理論家である著者Eliezer Yudkowskyが1,000以上のエッセイとブログポストを書いており、その多くは超知性に専念していることを発見した。 彼はインターネットからYudkowskyの文章をこすり、それらを時系列に注文し、彼のiPhoneのためにフォーマットするプログラムを書いた。 それから彼はそれらを読む年のよりよい部分を使った。
人工知能という用語、またはコンピュータまたは機械における知能のシミュレーションは、最初の電子デジタルコンピュータの作成からわずか十年後の1956年に造語されました。 フィールドの希望は当初高かったが、初期の予測がうまくいかなかった1970年代までには、”AIの冬”が設定されていた。 タリンがYudkowskyのエッセイを見つけたとき、AIはルネッサンスを受けていました。 科学者たちは、チェスでの勝利、台所の床の清掃、人間のスピーチの認識など、特定の分野で優れたAiを開発していました。 そのような”狭い”Aiは、彼らが呼ばれているように、超人的能力を持っていますが、支配の特定の領域にのみあります。 チェスをするAIは、床をきれいにしたり、a点からB点に連れて行くことはできません。 超知能AIは、タリンは、一つのエンティティにスキルの広い範囲を組み合わせることを信じるようになりました。 より暗く、それはまた、社会的操作に秀でるためにスマートフォンを持っている人間によって生成されたデータを使用するかもしれません。
Yudkowskyの記事を読んで、タリンは超知性が人間の存在を脅かす可能性のあるAIの爆発やブレイクアウトにつながる可能性があると確信しました。 または、さらに悪いことに、私たちを駆除します。
エッセイの最後を終えた後、タリンはYudkowskyに電子メールを撃った–彼のスタイルと同じようにすべて小文字。 “私はskypeの創設者の一人であるjaanです”と彼は書いています。 最終的に彼はポイントになった：”私はそれに同意します。.. 人間の知性を上回る一般的なAIのイベントの準備は、人類のためのトップのタスクの一つです。”彼は助けたかった。
タリンが一週間後に他の会合のためにベイエリアに飛んだとき、彼は近くに住んでいたYudkowskyとカリフォルニア州ミルブレーのカフェで会った。 彼らの集まりは四時間に伸びた。 “彼は実際には、根本的な概念と詳細を真に理解していました”とYudkowskyは最近私に言いました。 “これは非常にまれです。「その後、タリンは、Yudkowskyが研究員であった非営利団体であるSingularity Institute For Artificial Intelligenceにcheck5,000（£3,700）の小切手を書いた。 （2013年に名称を機械知能研究所（Miri）に変更した。）タリンは以来、研究所に6 600,000以上を与えています。
ユドコフスキーとの出会いはタリンの目的をもたらし、私たち自身の創造物から私たちを救う使命に彼を送った。 彼は旅行の生活に着手し、超知性によってもたらされる脅威について世界中で協議を行った。 しかし、主に、彼は人類に道を与える可能性のある方法、いわゆる友好的なAIの研究に資金を提供し始めました。 それは、マシンやエージェントが天気についてのチャットに特に熟練していること、またはあなたの子供の名前を覚えていることを意味するものでは それは利他主義や愛によって動機づけられているという意味ではありません。 一般的な誤謬は、AIには人間の衝動と価値があると仮定しています。 “フレンドリー”とは、はるかに基本的なものを意味します: 明日のマシンは、自分の目標を達成するために彼らの探求で私たちを一掃しないこと。
去年の春、私はケンブリッジ大学のイエス-カレッジの食堂で食事をするためにタリンに参加しました。 教会のような空間は、ステンドグラスの窓、金の成形、かつらの男性の油絵で飾られています。 タリンは、シリコンバレーのカジュアルな服装を身に着けて、重いマホガニーのテーブルに座っていた：黒のジーンズ、Tシャツとキャンバススニーカー。 アーチ型の木材の天井は、灰色のブロンドの髪の彼の衝撃の上に高く伸びました。
47で、タリンはある意味であなたの教科書の技術起業家です。 彼は、科学の進歩のおかげで（そしてAIが私たちを破壊しないならば）、彼は「何年も」生きるだろうと考えています。 研究者と一緒にクラブをするとき、彼は若い大学院生でさえも長持ちします。 超知性についての彼の懸念は、彼のコホートの間で共通しています。 PayPalの共同設立者であるPeter Thielの財団はMiriに1.6万ドルを寄付し、2015年にはTeslaの創設者であるElon Muskがマサチューセッツ州ケンブリッジの技術安全機関であるFuture of Life Instituteに10万ドルを寄付しました。 しかし、この希少な世界へのタリンの入り口は、政府の仕事を持つ同級生の父親がいくつかの明るい子供たちにメインフレームコンピュータへのアクセ エストニアが独立した後、彼はビデオゲーム会社を設立しました。 今日、タリンはまだその首都に住んでいます–また、タリンと呼ばれる–彼の妻と彼の六人の子供の末っ子と。 彼が研究者と会いたいとき、彼はしばしば彼らをバルト地域に飛ばすだけです。
彼の与える戦略は、彼が行う他のほとんどすべてのように、整然としています。 彼は11の組織の間で彼のお金を広げ、それぞれがAIの安全性への異なるアプローチに取り組んでいます。 2012年に、彼は200,000ドルに近いの初期支出と実存リスクの研究のためのケンブリッジセンター（CSER）を共同設立しました。
タリンがそれらを呼んでいるように、実存的リスク、またはXリスクは、人類の生存に対する脅威です。 AIに加えて、CSERの20人の奇妙な研究者は、気候変動、核戦争、生物兵器を研究しています。 しかし、タリンにとって、これらの他の分野は”本当に単なるゲートウェイ薬です”。 気候変動など、より広く受け入れられている脅威についての懸念は、人々を引き込む可能性があります。 世界を引き継ぐ超知能マシンの恐怖は、彼が期待している、滞在するためにそれらを説得します。 彼は学術界がより真剣にAIの安全性を取ることを望んでいるので、彼は会議のためにケンブリッジを訪問していました。
Jesus Collegeでは、私たちの食事仲間は、ロボット工学を勉強していた香港の女性と1960年代にケンブリッジ大学を卒業した英国人の男性を含む、会議の参加者のランダムな品揃えでした。 （タリンの答え、タルトゥのエストニアの大学は、彼を感動させませんでした。）は、その後、ニュースに向かって会話を操縦しようとしました。 タリンはぼんやりと彼を見た。 同氏は、”短期的なリスクには興味がない”と述べた。
タリンは話題を超知性の脅威に変えた。 他のプログラマと話をしないとき、彼はメタファーをデフォルトにし、彼はそれらの彼のスイートを実行しました：高度なAIは、人間が木を切り倒すように迅速に私たちを処分することができます。 超知性は、私たちがゴリラに何であるか私たちにあります。
AIが引き継ぐには身体が必要だ、と老人は言った。 ある種の物理的なケースがなければ、どのようにして物理的な制御を得ることができますか？
タリンは別の比喩を用意していた：”私をインターネットに接続した地下室に入れれば、私は多くのダメージを与える可能性がある”と彼は言った。 それから彼はリゾットの一口を取った。
すべてのAIは、ルンバであろうと、その潜在的な世界支配の子孫の一つであろうと、結果によって駆動されます。 プログラマはこれらの目標を、それらを追求する方法に関する一連のルールとともに割り当てます。 高度なAIは、必ずしもそれを達成するために世界征服の目標を与えられる必要はありません–それは偶然かもしれません。 そして、コンピュータプログラミングの歴史は、大惨事を引き起こした小さなエラーが蔓延しています。 例えば、2010年に、投資信託会社Waddell&Reedのトレーダーが数千の先物契約を売却したとき、同社のソフトウェアは、取引を実行するのに役立つアルゴリズムから重要な変数を除外しました。 その結果、1兆ドル規模の米国の「フラッシュクラッシュ」が発生しました。
研究者タリン-ファンドは、超人的AIの報酬構造が適切にプログラムされていない場合、良性の目的でさえ陰湿な目的を持つ可能性があると信じてい オックスフォード大学の哲学者ニック-ボストロムが著書”Superintelligence”で発表したよく知られた例の一つは、できるだけ多くのペーパークリップを作るように指示された架空のエージェントである。 人工知能は、人体の原子を原料として使用する方が良いと判断するかもしれません。
タリンの見解は、AIの安全性に関係する人々のコミュニティの間でさえ、批判者のシェアを持っています。 私たちがまだそれを理解していないときに超知能AIを制限することを心配するのは時期尚早であるといういくつかのオブジェクト。 他の人は、不正な技術的な俳優に焦点を当てることは、アルゴリズムの大部分が白人男性によって設計されている、またはそれらに偏ったデータに基 AIの安全性やその他の問題に焦点を当てた技術業界コンソーシアムであるThe Partnership on AIのエグゼクティブディレクターであるTerah Lyons氏は、「近いうちにこれらの課題に対処しなければ、私たちは住みたくない世界を構築する危険にさらされています」と述べています。 （いくつかの研究所は、タリンバックがメンバーである。 しかし、彼女は、アルゴリズム的バイアスを排除するなど、研究者が直面している短期的な課題のいくつかは、人類が超インテリジェントなAIで見
タリンはそう確信していません。 彼は超知的なAIがユニークな脅威をもたらすことに対抗します。 最終的には、AIコミュニティが1940年代の反核運動の主導に従うことを期待しています。広島と長崎の爆撃をきっかけに、科学者たちはさらなる核実験を制限しようと団結しました。 “マンハッタンプロジェクトの科学者は言ったかもしれない：”見て、私たちはここで革新をやっている、と革新は常に良いですので、ちょうど先に突進してみましょう”と彼は私に言いました。 “しかし、彼らはそれよりも責任がありました。”
タリンは、AIの安全性へのアプローチは、正しい取得するのは難しいだろうと警告しています。 AIが十分にスマートであれば、その作成者よりも制約をよりよく理解することができます。 想像してみてください、彼は言った、”盲目の五歳の束によって建てられた刑務所で目を覚ます。”それは人間によって閉じ込められている超知的なAIのためのようなものかもしれません。
理論家Yudkowskyは、2002年から、彼が箱に囲まれたAIの役割を果たしたチャットセッションを行い、他の人の回転がAIを維持することを任務とするゲートキーパーを演じたときに、これが真実である可能性がある証拠を発見した。 五回のうち三、ユドコフスキー–単なる死すべき–彼は彼を解放するためにゲートキーパーを説得したと言います。 彼の実験は、しかし、より良いボックスを設計しようとするから研究者を落胆していません。
タリンファンドは、実用的なものから一見こじつけに、戦略の多種多様を追求している研究者。 ボクシングAIについては、物理的に、それを収容するための実際の構造を構築することによって、またはそれができることに限界をプログラミングすることによって理論化する人もいます。 他の人たちは、人間の価値観に従うようにAIを教えようとしています。 いくつかは、最後の溝オフスイッチに取り組んでいます。 3つすべてを掘り下げている1人の研究者は、オックスフォード大学のFuture of Humanity Instituteの数学者で哲学者のStuart Armstrongであり、Tallinnは「宇宙で最も興味深い場所」と呼んでいます。”（タリンは富士重工にmore310,000以上を与えています。)
Armstrongは、AIの安全性にフルタイムで焦点を当てている世界でも数少ない研究者の一人です。 私はオックスフォードでコーヒーのために彼に会ったとき、彼はボタンのないラグビーのシャツを着て、砂の髪の混乱に囲まれた薄い顔で、画面の後ろに彼の人生を過ごす誰かの外観を持っていた。 彼は大衆文化の参照と数学の混乱の混合物で彼の説明を浴びせた。 私がAI safetyで成功するためにどのように見えるかを彼に尋ねたとき、彼は言った：「あなたはLegoの映画を見ましたか？ すべてが素晴らしいです。”
アームストロングの研究の一つの株は、”oracle”AIと呼ばれるボクシングへの特定のアプローチを見ています。 富士重工業を共同設立したニック-ボストロムとの2012年の論文では、物理的な構造である保持タンクに超知性を壁にするだけでなく、本当にスマートなウィジャボードのような質問に答えることにも制限することを提案した。 これらの境界があっても、AIはその質問者を微妙に操作することによって人類の運命を再構築する巨大な力を持っています。 この出来事の可能性を減らすために、Armstrongは会話の時間制限、または現在の世界秩序を混乱させる可能性のある質問を禁止することを提案しています。 彼はまた、ダウ-ジョーンズ工業平均や東京の通りを横断する人々の数のような人間の生存のオラクルの代理尺度を与え、これらを安定させるように言
最終的には、アームストロングは、ある論文でそれを”大きな赤いオフボタン”と呼んでいるように、物理的なスイッチ、またはブレイクアウトの際に自動的にオフになるようにAIにプログラムされたメカニズムのいずれかを作成する必要があると考えている。 しかし、そのようなスイッチを設計することは容易ではありません。 自己保存に興味のある高度なAIがボタンが押されるのを防ぐことができるだけではありません。 それはまた、人間がボタンを考案した理由について好奇心になり、何が起こるかを見るためにそれを活性化し、それ自体を無駄にする可能性があ 2013年、Tom Murphy VIIというプログラマーが、Nintendo Entertainment Systemのゲームをプレイすることを教えることができるAIを設計しました。 テトリスで負けないと判断したAIは、単に一時停止を押して、ゲームを凍結したままにしました。 “本当に、唯一の勝利の動きは、再生することではない、”マーフィーは彼の創造に関する論文で、苦々しく観察しました。
戦略を成功させるためには、AIはボタンに無関心でなければならない、または、タリンが言ったように：”それは存在しない世界とそれが存在する世界に等しい値を割り当てなければならない。「しかし、研究者がそれを達成できたとしても、他にも課題があります。 AIがインターネット上で数千回コピーした場合はどうなりますか？
研究者が最も興奮するアプローチは、AIを人間の価値観に固執させる方法を見つけることです。 党派政治によって支配されている世界では、人々はしばしば私たちの原則が異なる方法に住んでいます。 しかし、タリンは私に言った、人間には多くの共通点があります：”ほとんどの人が右足を大切にしています。 私たちはそれについて考えていません。「希望は、AIがそのような不変のルールを識別するように教えられるかもしれないということです。
その過程で、AIは人間の論理的ではない側面を学び、感謝する必要があります。 課題にもかかわらず、タリンは、賭け金が非常に高いので、それは試してみる価値があると考えています。 “我々は先にいくつかのステップを考えなければならない”と彼は言った。 “私たちの利益を共有しないAIを作成することは恐ろしい間違いです。”
ケンブリッジでの彼の最後の夜、私はステーキハウスで夕食のためにタリンと二人の研究者に参加しました。 ウェイターは、洞窟のような雰囲気の白い洗濯セラーに私たちのグループを座っていました。 彼は私たちに三つの異なる種類のマッシュを提供するワンページメニューを手渡しました。 カップルは私たちの隣のテーブルに座って、その後数分後に他の場所に移動するように求めました。 “それはあまりにも閉所恐怖症です”と女性は不平を言った。 私は、インターネット接続以外の何もない地下室にロックされている場合、彼がもたらす可能性のある損傷についてのタリンのコメントを考え 箱の中にいた まるで合図のように、男性は出て行く方法を考えました。
タリンのゲストには、CSERのエグゼクティブディレクターである元ゲノミクス研究者Seánóhéigeartaighとコペンハーゲン大学のAI研究者Matthijs Maasが含まれていました。 彼らはsuperintelligence v Blockchainというタイトルのオタクなアクション映画のアイデアについて冗談を言った！ そして、Bostromの本のシナリオでリフUniversal Paperclipsと呼ばれるオンラインゲームについて議論しました。 練習は繰り返しペーパークリップを作るためにあなたのマウスをかちりと鳴らすことを含む。 それは正確に派手ではありませんが、それは機械が事務用品を生産するためのより好都合な方法を探すかもしれない理由のための感覚を与えます。
最終的には、タリンが存在するときに頻繁に行うように、話はより大きな質問にシフトしました。 AI-safety研究の究極の目標は、Cambridgeの哲学者でCSERの共同創設者であるHuw Priceがかつて言ったように、「倫理的にも認知的にも超人的な」マシンを作成することです。 他の人たちは、AIが私たちを支配したくないのであれば、AIを支配したいのかという疑問を提起しています。 言い換えれば、AIには権利がありますか？ タリンは、これは不必要な擬人化であると考えています。 多くのAI研究者を悩ませる誤解–それは知性が意識に等しいことを前提としています。 以前、CSERの研究者José Hernández-Oralloは、AI研究者と話すとき、意識は「C-word」であると冗談を言った。 （”そして、”自由意志”はF-wordです”と彼は付け加えました。)
地下室では、タリンは意識がポイントの横にあると言った：”サーモスタットの例を取る。 誰もそれが意識しているとは言わないでしょう。 しかし、あなたが負の30度に設定されている部屋にいる場合、そのエージェントに対して直面することは本当に不便です。”
「意識について心配するのはいいことですが、技術的な安全上の課題を最初に解決していなければ、意識について心配する贅沢はありません。”
人々は超知能AIが何であるかに過度に夢中になる、とタリンは述べています。 それはどのような形を取るのだろうか？ 私たちは、単一のAIが引き継ぐ、またはそれらの軍隊を心配する必要がありますか？ “私たちの視点から見ると、重要なことはAIが何をするかです”と彼は強調しました。 そして、それは彼が信じている、まだ人間次第かもしれません–今のところ。
この作品は、もともと人気の科学雑誌
に登場しました