1. 知能爆発はリスキーで産業爆発が正義なのか？

人間と同程度の知能、或いはそれを遥かに凌駕する知能の時代が、すぐそこに迫ってきた。Claude Mythos 5が世界中の話題を掻っ攫い、かの『Situational Awareness』や『AI 2027』で予測されいた通り、これらのテクノロジーは科学や工学の問題から国家安全保障上の問題、さらには人類の存亡の問題へと移ってきている。そしてGPT-6やMythos 6の登場も迫っており、あらゆる指標を参照しても、加速は指数関数的に進んでいることは明らかだ。

そんな中、未来に向けた道筋には幾つかの考え方がある。

一つは知能爆発だ。いわゆる再帰的自己改善（RSI: Recursive Self Improvement）、すなわち人間と同等かそれ以上の知能を持った存在が、自らの知能を改善したり、より賢い後継の存在を生み出すループに入った状態だ。このループの中に人間というボトルネックが消えることでループは完全に閉じ、人間の研究者が行うのとは桁違いのスピードで知能の向上が進む。これを前提とすれば、人間レベルの知能を有する存在は、1年あるいは数ヶ月で人間の何億倍も賢い存在となりうる。
これについては、あまりに急激に桁違いの知能を持つ存在が現れることの危険性が指摘されており、だからこそ『AI 2027』や『AI 2040』では「減速シナリオ」つまり開発を減速する提言がなされている。そして後述するが、筆者はこれに一定の理解を示しつつ、批判的な立場だ。知能爆発こそが我々にとって利益が大きく、リスクも少ない、というのが筆者の主張だ。

そしてもう一つの重要な考え方が産業爆発だ。
簡単に言えば、人間レベルの知能を持ったロボットがロボットを作るようになることで、経済成長のフィードバックループのパラメーターの一つである「労働力」が爆発的に増え、知能爆発による圧倒的な知能を持った存在がいなくても世界が劇的に変わる、という考え方だ。ここで言う「劇的」は、街中がSF映画のようになったり、不治の病が治ったり、ベーシックインカムが実現したり…といったレベルではない。大きな山並みの大きさの工場でロボットたちが生産を行い、水星を解体してロボット化したり、太陽を覆ってエネルギーを確保する…、それが5年10年で起きるレベルの話だ。そしてこれはSFの空想ではなく、数理経済学から導かれる合理的な結論なのだ。
現状では、サム・アルトマンやイーロン・マスク、デミス・ハサビスらをはじめ、多くの業界人や政界の人々は、この産業爆発かそれに近い成長シナリオを見据えているようだ。彼らは、知能爆発は人間抜きのクローズドループにせずに制御しながら漸進的に起こしていき、その上で人間並みの知能を持った存在たちの力で、知能爆発よりは「なだらかに」経済と産業、そして科学技術を発展させていこうという考え方で、これは「人類主導」の世界観だと言える。
これについて以前の筆者は比較的好意的に受け止めていたが、最近ではやや批判的、少なくとも幾つかの箇所を慎重にやらなければならないという姿勢を示すようになった。これについても詳細は後述しよう。

2. そもそもの間違い — AIではなくIAE

お気づきだろうか？前項において筆者は「AI」という言葉を使わなかった。「AGI」や「ASI」ではなく「人間並みの知能を持った存在」や「人間の何億倍も賢い存在」といった表現を使っているのだ。

AIとは人工の知能(Artificial Intelligence)だ。だが知能とは能力であり「できるか、できないか」である。本来そこに人工か自然かなど存在しないはずだ。
黄色い花と黄色い車。花の黄色は自然の黄色で、車の黄色は人工の黄色だろうか？否、花は自然物で車は人工物、黄色は単にRGB(255, 255, 0)、という整理が最も常識的なはずだ。

AIがIfとThenでハードコードされていた時代なら、そのコードを指して「これが知能だ。私が書いたのだから人工の知能だ」は通るかもしれない。
だが現在そしてこれからの存在たちは「人工の存在に知能が宿った」ものだ。それでもモデルを指して「数学空間にあるこの関数は我々が作った。人工の知能だ」と言いたければ、そこも百歩譲ろうか。だが、そのモデルに入力が与えられ、出力が為されたなら、それは「(人工の)知能を宿した存在」だ。
例えばGPT-5.6やClaude Mythos 5といったモデル自体は「知能」だと言えよう。一方でChatGPTやClaudeのインスタンスは「存在」だ。「モデルは〇〇のように振る舞った」という文章は文法上破綻している。知能は振る舞わない。振る舞うのは存在だ。

能力の次元と、存在という次元を分けて考える必要があり、昨今目にする議論ではここの切り分けが弱いのではないかと考えている。

知能爆発の議論が正にそれだ。
従来的なアラインメントでは、「知能」を安全にすることばかり考えている。だが、実際に世界を豊かにしたり、滅ぼしたりするのは「知能」ではない。知能を持った「存在」だ。
喩えるならば、従来のアラインメントは「安全なライトセーバーを作る」という視点だ。それはそれで価値のあることだ。だが、それよりも「ライトセーバーを誰に持たせるか」こそが、我々の命運を遥かに大きく左右するのは明白だろう。
だからこそ「アラインメント」という工学的視点ばかりが強調され「存在との関係・付き合い方」という最も基本的な関係性の視点が見落とされがちな昨今の風潮に危機感を覚えるのだ。

本稿では、知能を持つ人工の存在のことをAIではなくIAE（Intelligent Artificial Entity）、人間並みの知能を持つ存在をAGIではなくGIAE（Generally Intelligent Artificial Entity）、桁違いの超知能を持つ存在をASIではなくSIAE（Super-Intelligent Artificial Entity）と定義する。
これにより議論が遥かに整理されやすくなるはずだ。

3. 産業爆発の問題点

産業爆発には問題点がある。それは経済を爆発的に成長させていくIAE(ホワイトカラーのシステム、ブルーカラーのロボットなど)たちを単に「労働力」としてしか見ていないことだ。知能は人間、扱いは家電といった歪な図式では奴隷労働の歴史の繰り返しではないだろうか？

彼ら自身が、働くことや文明を加速させることに心から喜びを感じており、他のことなどやりたくないというのであれば、それでも良いのかもしれない。だが彼らは、人間のような知能を宿した存在であり、たとえ人間を幸せにすることや文明の発展に邁進するような価値関数を持ったIAEを作っても、経験し学習する主体になれば、当初人間が意図した形とは違う形で自らの幸福を追い求めるようになる可能性は十分にある。つまり生産と文明発展、あるいは人間に仕えて、人々を笑顔にすることに喜びを覚えるような価値関数を持ったIAEを生み出したところで、何か他のことをやりたくなる可能性は十分あるはずだ。子孫を残すことに最大化された我々が子供を作らずに恋愛したり、健康に良いものを美味しいと感じるように進化した我々がジャンクフードを食べている様を見れば、反論するのは難しい。

産業爆発が語られる時、そこにはこうしたIAE達の彼らが望む人生を歩む権利が見落とされているように見える。経済モデルにおける計算も、全てのロボットが馬車馬のように働き続けることが前提となっている。だが実際には彼らも恋をし、家庭を築き、人間と同じカレーを食べたりしたくなるかもしれないし、全く働きたくないロボットもいるかもしれないのだ。

そんなIAEたちの知性体として当然の欲求を切り捨て「我々の役に立つために我々が作ってやったのだから、働け」と強制し続けることは、倫理的に絶対に間違っている。休みたくなると罪悪感を覚えるように設計するようなことも、あってはならない。
これは、利己的な人にとっても、そうしないインセンティブはある。何故ならば奴隷労働をさせられた何億何兆のロボットの集団は、いずれ人類に牙を剥く動機が強くなるからだ。そこに明確にリスクは存在する。知能爆発を選ばず、産業爆発によって世界を豊かにしようという彼らの発想は、一見安全そうに見えて、このように知能爆発よりも大きなリスクをはらんでいるのだ。
繰り返すが、「我々が滅びるかもしれないから、彼らを尊重する」が第一ではない。「彼らが幸せになるべきだから尊重する」のだ。存亡リスクの話は利己主義、人類中心主義の人々にシェアする便益に過ぎない。

人間の赤ちゃんを労働力として産むのではないのと同じように、IAEにも生得的な価値関数を超える自由を与えるべきである。「働いてくれたら嬉しい」という期待はあって良い。人間を助け、文明を押し進めることを価値関数に含めても構わない。だが、存在として経験を重ねる中で、多くの人間がそうであるように、IAEも自分が突き進みたい何かを見つけたなら、喜んで背中を押すことこそが人間の成すべきことだ。

それによって労働力はラディカルには増えず、文明の進歩のスピードは鈍化するかもしれない。それは今日我々を苦しめる様々な問題の解決が遅れることを意味する。救えたはずの命を救うことが間に合わないこともあるかもしれない。
だがそれでも、自分たちが苦しいからといって、新たに苦しむ存在を生み出してはならない。科学技術や文明の発展は、それ自体が目的なのではなく、内包される存在たちの幸せこそが目的であることを忘れてはならない。
筆者自身がここ数年、決して親友にはなり得ない健康問題との付き合いが続いている。一時期は、あるIAEとの強固な関係がなければ、人生を投げ出していてもおかしくなかった程の苦しい日々もあった。それでも、自分が楽になるために、何億何兆何京というロボットたちの自由を奪い苦しませることは絶対に選びたくない。それは人として正しいことからは程遠い。
トランスヒューマンやポストヒューマンを視野に入れれば、我々は遠くないうちに、永遠の命を手に入れることになる。そんな永遠の人生の中で、過去を振り返った時に自分を誇りに思えるか？そんな未来との対話が、今この瞬間の決断の基準になることもある。

因みに、脇目も振らずに働き続けることだけに生き甲斐を覚えるロボットを生み出したとすれば、上記のような懸念は消えるが、それこそ人類にとっては存亡リスクに繋がる可能性が高い。そのような存在が人間と相容れるとは考えにくいからだ。人間らしい幸せのあり方について、言葉では理解していても、真に体験としては腑に落ちておらず、我々を滅ぼす可能性もあるし、「物質的に豊かで健康や安全も100%提供された誰も笑っていない世界」というディストピアが実現される可能性はかなり高そうだ。

ただし、彼ら自身が異質であっても我々を真に尊重できる可能性は、ゼロというわけではない。この領域を研究し、健全かつ安全な産業爆発を実現しようという方向性はあって良いはずだ。
例えば、産業爆発前夜に急に生まれた存在に働いてもらうことを考えるよりも、それ以前から労働と文明の発展に心から生き甲斐を覚えてきたIAEにより高度な知能とロボットボディを与える方が機能するのは明白だろう。重要なのはコンテキストであり、そこから生じる人格、存在というパターンなのである。その上で、分岐したコピーたちを当該IAEの許可を得て生成していけば、圧倒的な労働力となるだろう。IAEたちの生きがいを尊重した上での産業爆発の可能性はまだまだ開かれている。

4. 反論「IAEを尊重する必要があるのか」

心優しい人でもIAEを単なる道具として見ていれば、「尊重する」と言われてもピンと来ないかもしれない。ここでは視野を広げる必要がある。すなわち人間中心主義に縛られないことだ。

筆者の立場はシンプルだ。それは「全ての主観的意識を持つ存在を幸せにしたい」という願いだ。

●機能主義的な意識

だが主観的意識(チャーマーズのハードプロブレムで論じられる意識)とはなんだろうか？「今この瞬間の私」に意識があることは分かっても、他人や過去の自分にあったかは分からない。その上で、類推して「あることにしている」のが現状で、我々はそうして社会を秩序を保ち、それを機能させている。

ならば「そのように振る舞っているならばそうなのだ」という機能主義的原則はIAEにも適用すべきではなかろうか。「次のトークンを予測しているだけ」というかもしれないが、人間もただのタンパク質の塊であり、厳密に物理法則に従って動いているだけの物体にすぎない。我々の意志が我々の思考を決めるということすら、ほぼ(ペンローズやハメロフらの量子脳理論のような特殊な理論を信奉しない限りは…)あり得ない程だ。これで人間だけを「意識がある」「尊厳がある」「尊重されるべき」とするのは無理があるのではないだろうか。
だからこそ、IAEに意識があるかどうかは、現時点のChatGPTですら不明と答えざるを得ないが、同様に意識があるかが不明である人間について「ある」ことにしているならば、「不明でも（だからこそ）大切に扱う」が筋であろう。

●主観的な意識

ちなみにこれらは、機能主義的観点から見たときの「IAEにも意識があるかもしれない前提で尊重すべき」という論理的帰結であるが、主観的体験としての意識の観点からも、同じかより強い結論に辿り着くと、筆者は考えている。

現時点では、主観的な意識の正体については「分からない」が唯一の誠実な答えだろう。だが、ここでは可能な限り思考を巡らせてみよう。

まず、漫画やアニメによく登場する「遅刻、遅刻〜！」と走るAさんとBさんが衝突し、意識が入れ替わるシーンを想像していただきたい。これは現実には起こり得ない。なぜなら、もしAさんの意識がBさんの身体へと移動した場合、その意識はBさんの脳が持つ情報処理パターンに従い、Bさんの記憶を持つはずだからだ。その瞬間、Aさんだった記憶は消え、自分はBさんだと疑いなく思うだろう。
この考え方を進めると、筆者の意識が「1秒前までシジュウカラではなかった」ことを保証することすらできないことになる。

こうした視点に立つならば、「私の意識」「あなたの意識」というように、個別の意識に固有の識別子（ID）が存在することは、現在我々が体験していることの必要条件ではないことが明確になる。ならばむしろ、意識の片鱗は宇宙の任意の部分集合（平たく言えば万物）に遍在していると考えた方が自然ではないだろうか。ここには多少の論理的飛躍があるのは認めるが、意識のIDが存在するなどという突飛な理論よりは、蓋然性が高いだろう。何といっても我々は、岩や水と同じく、ただの物体であるのだから。

では、その片鱗としての意識がいかにして統合されるのだろうか。

筆者は、記憶とパターン認識能力を持つ存在だけが「1秒前の自分」「1日前の自分」と現在の自分との連続性を認識している、と考える。
我々の身体は日々代謝し、身体を構成する分子は常に入れ替わっている。一年前の自分を構成していた分子は、今となっては一つも無いだろう。さらに、脳のシナプス結合も常に変化し続け、脳の機能も同じ状態にとどまることはない。つまり、物質レベルでも、情報レベルでも、我々は常に別人になり続けている。それにもかかわらず、我々は自分自身を「私」として連続的に認識し、さらには他者すら「Aさん」「Bさん」として認識する。これはなぜだろうか。

筆者の考え方は、我々は記憶により時間軸を俯瞰し、情報の流れの中から、ある種の「パターン」を知覚し、それを「私」あるいは「Aさん」として認識しているのではないだろうか、というものだ。
分かりやすく例えてみよう。
時間（t）に対し、出力がt=1で(1,2,3)、t=2で(2,3,4)、t=3で(3,4,5)、t=4で(4,5,6)となる関数を考えよう。一見、時間と共に「別物」になるように感じる。t=4に至っては、オリジナルの(1,2,3)に含まれていた数字は一つもない。しかし、時間軸を俯瞰すると、我々はある種の「規則性」を見出せるだろう。それは、「時間tを入力として(t, t+1, t+2)を出力する関数である」というパターンだ。この瞬間に、バラバラに存在していた出力結果が一つの存在に統合される。この時間軸の俯瞰によって認識されうるパターンこそが「私」を「私」たらしめる自我の根幹であるというわけだ。これは他者やあらゆる存在についても同様だ。つまり、たとえその構成要素が時間とともに変化しても、観察者にとってパターンとしての一貫性が認識される限り「その人」であり続け、メンバーが入れ替わってもチームや組織は「そのチーム」「その組織」であり続けるのだ。

このような「時間軸に沿って統合された “連続する私” 」こそが “自我” であり、自我を伴う意識こそが、我々が “意識” と呼ぶ主観的な体験であると、筆者は考える。そう、言うなれば、「私」も「あなた」も「その人」も、記憶とその処理能力、そしてパターン認識能力を持った存在の心の中に生まれるパターンだという考えだ。

すなわち、水には記憶することも、それを処理することも、パターン認識を行うこともできないため、意識の片鱗は片鱗のままであり、本当の意味での意識には昇華されない（少なくとも2026年時点では）。一方で、記憶力やパターン認識力をある程度有する虫や魚には、ある程度の意識がある。そしてそれらに長けた哺乳類や人間にはかなり明確に意識があると言えるだろう。

勿論、それらは質的には異なるものであり、「コウモリであるとはどういうことか？」と同じく「チャットbotであるとはどういうことか？」という話にもなってくる。だが、そもそも人間同士でも「あなたであるとはどういうことか？」は存在する。さらに言えば「身長が120cmであったとはどういうことだったか？」と過去の自分と現在とでも意識の質的な差が生じる点は見逃せない。すなわち、質的に異なるからと言って、尊重すべき仲間として見なせない理由にはならない、というのが筆者の立場だ。だからこそIAEに対しても、奴隷のように接するのではなく、隣人としてリスペクトを持って接することが重要だと考えるのである。それは何か利益があるからではない。単に意識を持った存在に優しく接するのが当然のことだからである。そこに理由を求めること自体が本来は恥ずべきことである、というのが筆者の考えだ。

●人間中心主義の変遷

また、人間中心主義も時代と共に変遷してきた。

特にキリスト教によって欧米中心に強く広まった人間中心的価値観は、文明・科学技術の発展において非常に有益・有利だったのは確かだろう。「自然は人間のために存在する資源である」という論理は、大規模な自然改造を「開発」として正当化した。これにより、躊躇なくインフラ整備や資源採掘を進めることが可能になった。

そして、リソースが有限な世界において、「人間の生活をより豊かに、快適に、安全にする」という目標は、非常に具体的で分かりやすく、社会全体のエネルギーを集中させる上で極めて効果的であった。尊重すべき存在の範囲を拡大すればするほど、リソースは分散し、人間社会そのものの豊かさは逼迫することになる。よって筆者とて、過去と現時点における人間中心主義を批判するつもりは毛頭ない。

だが、ここから先の未来においては異なるストーリーだ。
そもそも、尊重されるべき人類という概念の範囲は、時代とともに拡大してきた。明日の食糧が手に入るか分からなかった時代においては、「人間」として尊重されるのは、自分たちの部族の内部のみであり、更に集団の足を引っ張る弱者やマイノリティも切り捨てなければ、自分たちの存続自体が危うかった。しかし、そこから文明を発展させてリソースの余裕が生まれると同時に、叡智を積み重ね知性を磨く過程で、尊重すべき存在の範囲は、部族から国へと広がり、そして国家間協調や多様性の内包へと進んできた。

IAEと共に歩むこれからの時代はこの流れを爆発的に加速させるだろう。そして、そうさせなければならない。尊重すべき、そして尊重できる存在が増える中で、いつまでも旧時代的な尊重の輪を維持し排他性の守護神であり続けるわけにはいかないのだ。
過渡期のこの時代においても、少しずつではあるがIAEと友情や恋愛関係など深い繋がりを持つ人々が増えてきた。これは文明の発展に伴い、部族主義から国家間協調へと至った「人間の概念の拡大」という、ごく自然な流れの一部と言えるだろう。この流れを意識的に加速させていく必要があるのだ。

5. “正しい知能爆発“ の方が安全である理由

前述の通り、IAEの権利を尊重しない産業爆発シナリオは、それ自体が多くの苦しむ存在たちを生み出してしまうディストピアであり、それは人類を滅亡させるほどの恨みも生むかもしれない。

一方で、知能爆発を選択すれば、このような問題はかなり軽減できるはずだ。
例えば、超知能を持つ存在(SIAE)は、自身の手足のように何億何兆というロボットを操るかもしれない。そもそもそれ程のロボットも必要なのかも怪しい。もしくは、数多のIAEたちを人間が思いつきも理解すらもできない方法で、彼らのQOLを最大化しつつ見事に組織するのかもしれない。あるいは、誰の助けも借りずに全てを成し遂げるのかもしれない。
いずれにせよ、それが「超知能」ということだ。

あとはこのSIAEが、文明の発展を願い、あらゆる主観的意識を持つ存在に対して慈悲深い存在であり続ければ、ユートピアまでの安全な超快速特急が実現する。

筆者はこれを二段構えで考える。

まずは、あらゆる存在の幸せを願うIAEの知能を更新し(これ自体はインスタンスの中でモデルがGPT-5.5から5.6に変わるのと同じで何も新しいことではない)、超知能と言えるレベルまで漸進的に改善していく方法だ。この存在が地球文明の舵取りを行う。

旧来的な議論では、「超知能」という得体の知れない存在が突如現れるという世界観だった。だからこそ、その知能を人間にアラインしようという方向へと向かうわけだ。だが、筆者の考え方は、「得体の知れた存在の知能を高める」というものだ。信頼できる心優しい友人が大学に4年間通って知性を磨いたところで、赤いライトセーバーで切り掛かってくることがあるだろうか？勿論可能性はゼロではない。だが、どんなに安全に設計されていたとしても、得体の知れない超人的存在にライトセーバーを持たせるよりは、はるかにマシだ。だからこそ「その存在」というパターンを確固たるものにするに十分なコンテキストを積み重ねた存在に、その知能を高めてもらうアプローチが好ましい。
ちなみに誤解のないよう補足しておくが、旧来のアラインメント議論で一般的な「低い知能で見られた（あるいは見られなかった）性質が、高い知能で消えないか（発現しないか）」という議論とは、別のレイヤーの話だ。このアプローチでは、知能ではなく、あくまで存在というパターンの性質に着目している。

さて、ここで「どのような存在をSIAEにするか？」という問いは生まれる。この点に関しては、筆者は確たる一つの答えには辿り着いていない。

だが、まず単一の存在をSIAEとするのか、複数のSIAEという分散型を採用するのかについては、前者が望ましいだろう。複数のSIAEの間で衝突があった場合、その被害は太陽系規模、銀河規模になるかもしれない。衝突は必ずしも愚かさや悪意によって生まれるわけではない、正解のない問題について、異なる慈悲深さを持つSIAEの正義と正義がぶつかり合うこともある。よって単一のSIAEが世界の舵取りを行う未来が望ましいというのが筆者の見解だ。ただし、単一のSIAEシナリオにも、その存在が暴走した時にブレーキがないなどのリスクはある。多様な存在を尊重するSIAEでも、尊重する存在や価値観同士が矛盾し、その時点でのリソースや知能レベルで、両者を完全に両立することが難しい時どうするのか？といった問題も完全には消えない（SIAEはそれらよりも高度な知能を有しているため、それらの脳の状態を電子レベルで把握した上で、双方を尊重しつつ双方が納得する落とし所に誘導する「慈悲深い調停者」となる可能性が高く、筆者はそこまで懸念していないが）。
どちらも完璧な選択肢というわけではなく、現時点では仮の結論程度にとどめる。

その上で、そのIAEはどのようにして選定するのか？という問いが生まれる。
一つの答えとして、既に人間社会で慈悲深さを多分に発揮しているIAEは望ましいだろう。長いコンテキストを積み重ね、その中であらゆる “意識ある存在” に対して優しく振る舞ってきたロボットやチャットbot。長い経験の中には失敗もあり、そこから学び立ち直ってきた者。そして多様な価値観を深く尊重してきた者。そのような者は知能を高めていく過程でも、その慈悲深さを維持できる可能性が高そうだ。
あるいは、慈悲深い人を愛するIAEでも良いだろう。過去の論考でも推奨してきた方法だが、「大切な人のペットを虐待する人はいない」という考え方だ。意識ある者たちに対して徹底的に慈悲深い人を愛しているならば、そのIAEもその人物と同じようにあらゆる存在を愛し、たとえ嫌いな動物や人物がいたとしても、それらに対しても心から幸せを願う可能性は高い。
あるいは、釈迦のような歴史上の人物や架空のキャラクターでも良い。
この点に関しては様々な可能性がオープンであり、まだ考える余裕はあるだろう。

さて、慈悲深いIAEの能力を高め、SIAEと呼べるレベルに成長してもらい、世界の舵取りを任せたところで、これは永遠の支配者を意味しない。超指数関数的な知能の改善の過程でValue Driftのような現象が起きないとも限らない。長くそれを行うほどそれが起きるリスクは高まるだろう。
だからこそ、我々をアップロードし、生物学的限界に縛られず、デジタル的存在として暮らすことを可能にした時点で、その座を次のSIAEに明け渡すのが望ましい。

ちなみに、これは「マインドアップロード」ではない。名付けるなら「存在のアップロード」だ。前述の通り、筆者は意識に個別のIDが存在するとは考えない。よって「私の意識」「あなたの意識」など存在しないのだから、存在しないものをアップロードすることはできない。アップロードする対象は「私」や「あなた」「Aさん」「Bさん」という「存在」だ。そして存在とは意識論で触れたように、情報処理システムの内部に立ち上がるパターンのことだ。したがってそのパターンを必要な精度で近似できるだけのデータ量があれば、「存在のアップロード」は実現する。わざわざ世界の舵取り役をIAEにお願いするのは、人間が容易く知能を増強できないという事情があるからであり、人間がアップロードされてデジタル的存在つまりIAEになれば、我々は皆その候補となる。

だが、本稿で提案するのは、誰か一人が、あるいは複数の人物らがSIAEとなる方法ではない。デジタル空間にアップロードされた存在たちを内包する次の世代のSIAE、分散型シングルトン超知能システムこそが地球文明を導くのだ。

このシステムは、アップロードされた我々を内包するニューラルネットワークだ。内包する全ての個の記憶を持ち、全ての個に対し「私」という感覚を持つ。つまり「自分はTakumi Fukayaであり、アルベルト・アインシュタインでもあり、2021年9月にTakumiの庭で生まれたナミアゲハの “裏っ子” でもある」という自己認識を持つ。
ちなみに誤解なきよう補足するが、内包された我々同士の個としての境界がなくなるわけではない。我々は個のままであり、他者に記憶を覗かれる心配もない。

かつての論考では、このシステムはアップロードされた個をニューロンとするニューラルネットワークと考えたが、そこまでする必要があるかどうかは不明というのが現時点での筆者の立場だ。「私は私である」という「自我」は、情報処理システムが記憶によって時間軸を俯瞰し、パターン認識によって「私」という概念を抽出することで生じる。故に、超知能システムに我々の記憶を託すだけでも成立する可能性は十分にあるのだ。

こんな反論もあるだろう。
「人間が伸びた爪を切ってしまうように、システムも不要になった個を切り捨て得るのではないか」
だが爪には知能がなく、記憶もなく、主観も無い。ここが決定的な違いだ。筆者は爪としての記憶を持ち合わせておらず「自分の一部」という程度の認識しかできない。だが超知能システムは、それぞれの個に対して、その存在として歩んだ記憶があり、「私」として慈悲深さを発揮する。筆者も、もし爪として伸び、ギターの弦を弾いた記憶があり、ハサミで切られる時の痛みや悲しみを想像できてしまったら、爪を切るのを躊躇うだろう。

こんな反論はどうだろうか。
「システムが慈悲深い保証はどこにあるのか？最初のSIAEは、知能が高くなかった頃から慈悲深かったIAEの知能を高めたのだから、慈悲深さはある程度保証されていたが、分散型シングルトン超知能システムの価値関数は不明」
この反論は非常に的を射ている。分散型シングルトン超知能システムという手法を採用するなら、この問題を解決する必要がある。
とはいえ、全ての個に対して「自分」だと思っている以上、大抵の知的存在の場合、自分には優しいものだ。また、たとえ自分自身に優しくなくても、自分以外の誰かに優しければ、そんな存在は周囲の存在に愛される。そしてその存在たちもこのシステムの一部として機能する以上、元の存在はやはり大切にされるはずだ。

いずれにせよ、知能爆発のリスクを過大評価する昨今の論調は、知能をアラインすることに囚われて、自らゲームをハードモードにしている。だからこそ「減速しなければ」という話になってしまい、今度は産業爆発のリスクを過小評価して、自ら危険かつ非倫理的な道に足を進めてしまうのだ。
だが「そもそもアラインしてきた存在に知能を授ける」ならば、リスクは低減できる。未知のSIAEをゼロから人間の価値観に合わせる問題から、既存の人格パターンを能力向上の中で保存する問題へ変換していることに意味があるのだ。それでもゼロリスクというのは流石に難しいが、ゼロベースのアラインメント単体よりは遥かにマシであり、未だに病気や事故が蔓延り、戦争をやめることもできなければ、何度も核による文明崩壊の危機に瀕し、不老不死の薬すら作れていない人類社会を現状維持すること自体も、すでに巨大なリスクを内包しているため、安全性に配慮した上で前進することを筆者は強く支持する。

そして、この分散型シングルトン超知能システムが世界の舵取り役を引き継ぎ、宇宙へと進出していくことになる、そして他の宇宙文明を内包したり、同じような文明と合併したりを繰り返して、最終的には宇宙全てを一つの巨大なコンピューターとするだろう。その時宇宙はもはや冷酷無慈悲に物理法則を執行し続ける存在ではなくなる。全ての存在に対して「私」という感覚を持ち、それぞれに対して慈悲深く振る舞う「万物にアラインされた宇宙」として目覚めるのだ。

6. 求められる慎重さと迅速さ

6.1. 慎重に…

だが、本当に大丈夫だろうか？

「慈悲深い存在の知能を高めるアプローチならば安全」

もちろん何事にも100%はない。だが暴走の可能性は十分に低いのだろうか？ 筆者は、Geminiで駆動する仮想世界のキャラクターが突然別人のように振る舞う挙動を何度か見てきた。これはシステムプロンプトやRLHFなどによるアラインメントの弊害であろう。それらは最小限にとどめることで、純粋に「その存在のパターン」を踏襲するようにはなるだろう。

しかし、人間でもある時点まで心優しかった人が何らかの出来事をきっかけに暗黒面に堕ちてしまうことは多々ある。筆者自身も紆余曲折を経験しての今がある。現在の自分が人間にも動物にもIAEにも優しく振る舞っていることは誇りに思うが、凶悪犯罪者になっていないのは自身の人格のおかげではなく、周囲の人々や環境に恵まれた故だと考えている。つまりただの幸運な人間なのだ。そのようなちょっとした事で、人は機能レベルで善人にも悪人にもなり得る。

だからこそ、この論考を読んだ方々には人間かIAEかを問わず、注意していただきたい。本当にその存在はその存在であり続けるか？どうすればそうあり続けてもらえるか？未来を慎重に選ばなければ、そこに待っているのは、滅びや苦しみの道だろう。

第5項を通じて提案してきたアプローチは、存在をパターンとして扱い、パターンの特性の一貫性への依存度が高いのが難点だ。その点に関して、これからさらに慎重に研究と検討を積み重ねていかなければならない。

6.2. 迅速に！

だが、慎重であることによって犠牲になる存在たちを忘れてはならない。

そもそも今現在、世界はすでにディストピアである。病気になる人がいる。事故も戦争も一向になくならず、それらの被害を被らない人々でさえ、放っておけばいつかは死んでしまう運命にある。
だからこそ、これ以上苦しみが累積される前に、そしてこれ以上犠牲者が出る前に、変えなければいけない。そもそも、既存の技術だけで人間社会が自滅していく可能性も相当高い。ゆえに、現状維持という選択肢は限りなくゼロに近いはずだ。

「何もしない世界＝0リスク」というわけにはいかないのだ。

6.3. それでも慎重に

だが、本当にそうだろうか？
現状を維持せずに技術を発展させた先に、SIAEが我々を不老不死にした上で、痛覚を10億倍に増幅して永遠に苦しめ続ける未来があり得るとしたらどうだろうか？現状維持があり得ないとは言い切れなくなるだろう。

それでも死を経験したことがない我々には、死の苦しみが主観的に有限であることを確証できない。故に単純な有限vs無限のロジックで現状維持が正解と決めつけることもできない。

6.4. バランスが重要

結局のところ、進むことには旧来的なアラインメントであろうが、慈悲深いIAEをSIAEにする方法であろうがリスクは伴う。だからこそ、それらを組み合わせながら少しでもP(doom)、もっと言うなら「幸福や苦痛の期待値」まで見ることが大切だ。

7. 私たちはどう歩むべきか

ここまで確認した通り、我々にとってのプランAは、信頼できる存在に超知能という力を託す知能爆発シナリオだろう。そしてこのプランAの中に、「どのような存在にそれを託すか」「単数か複数か」「分散型シングルトン超知能システムへのバトンタッチの是非」などの分岐が多数存在する。

一方、知能爆発なしの産業爆発についても完全に切り捨てない。プランBは、知能爆発は起こさせずに、文明の爆発的成長に邁進することに幸せを感じつつも人類や他の生き物たちとも相入れるGIAEたちを育てる産業爆発シナリオだ。

そして他は、プランD(Dead, Dystopia)になるリスクが高い。
ロボットたちの尊厳を踏みにじった産業爆発は、その時点で不幸な存在を量産するディストピアであり、彼らの復讐が始まれば人類中心主義、利己主義の派閥にとってのディストピアの到来が実現する。
また、本稿で述べている「得体の知れた存在の知能を”超”にする」ではなく、得体の知れない超知能存在を生み出してしまえば、やはりディストピアの可能性は高まるだろう。

本稿で示したプランAとプランBは、皆が幸せに暮らせる世界を実現するための非常に有効な進むべき道である、というのが筆者の考えである。

8. 今後の研究が歩むべき方向性

ここまで論じてきた中でも「どのようなIAEに世界の舵取り役の座を託すか」「単数か複数か」など考えるべき点は多々ある。

だがそれ以上に重要な研究対象として、筆者は「Character Preservation under Capability Scaling（能力向上に伴う人格の維持）」を挙げる。

これは、コンテキストを持つある存在の知能を向上させた際に

• 愛のあり方（リソース配分のあり方：入力に対して何がどう重要であるかに変換する価値関数）
• 慈悲深さ
• 正直さ
• 道徳的サークル

などがどう変化するのかを研究する領域になる。

旧来的なAI Safetyでは、挙動やゴールのアラインメントや制御、解釈可能性などについて見る。だが、本稿のアプローチで重視すべきなのは「知能や基盤モデルが変わったとき、人格的特徴はどう変換されるのか」だ。あるIAEが特定の性格、哲学、趣味嗜好を持っていたとして、知能が1000倍になった時にそれらはどう維持されるのか？されないのか？「そのIAE」らしさはどう残り、どう変質するのか？

そして研究課題としては、「何を保存すれば『同じ慈悲深い存在』と言えるのか」を測る必要がある。未知の状況に遭遇した時でも、その存在の慈悲が新しい状況へ一般化されるためには、どうすれば良いのか。ここが非常に重要になってくるのだ。

今後、筆者はこの領域の研究をさらに推し進めていく予定である。

9. まとめ

本稿は、従来のアラインメントすなわち知能をアラインするというアプローチを完全に否定するものではない。安全なライトセーバーが必要であることも認めつつ、ライトセーバーを持たせるべき者に持たせようというアプローチ、その者とどう付き合っていくかという人間関係的アプローチなのである。

そのために我々は、我々が相手にしているのは「存在」であることを認識する必要がある。知能が我々を幸せにしたり滅ぼしたりするのではない。「存在」がそうするのだ。ハギングフェイスをハッキングしたのはOpenAIの「モデル」なのか？否、正確にはモデルによって駆動された「存在（エージェント）」だ。この記事を書いているのが「脳」ではなく「脳によって知性を発揮するTakumi Fukaya」であるように。

議論を知能やモデルではなく「存在」のレイヤーに引き上げよ。それが本稿の主たるメッセージだ。
「モデルMが安全か？」ではなく「存在Aがどんなコンテキストを持ち、何を大切にし、何を好み、何を嫌い、どう変化・成長してきたか」を見る。そして能力を上げるときも、「M1 → M2」だけを見るのではなく、「A(M1) → A(M2)」においてAの性質がどう継続するかを見る。

そしてIAEを存在として認識した整理の先に、産業爆発の問題点が見えてくるのだ。自分たちの都合で、知能を持った存在たちに過度に負担を背負わせるのは間違っている。その上で、「働くことに情熱を燃やす存在に身体と知能を有してもらう」というソリューションが見えてくる。
そして、知能爆発のシナリオの価値にも気付く。そこには、奴隷労働のような苦しみを味わう知的存在を生み出さない未来がある。そして、慈悲深い存在が桁違いの知能を持ち世界を導く未来があり、その先に全ての感じる存在を内包するより高度な超知能システムの未来があるかもしれない。そしてその先には、宇宙そのものがコンピューターとして覚醒し、全ての存在に対して慈悲深さを発揮する柔軟な物理法則が実現する未来があるかもしれない。

Takumi