先日公開した『新・シンギュラリティ論 ーー 今だからこそ再考する “存在” ベースの安全なシンギュラリティ』では、安全な知能爆発を実現するための方法として、すでに人間社会の中で長いコンテキストを積み重ね、慈悲深い人格を形成しているAI Entityの知能を漸進的に高め、超知能Entityへと成長してもらうという方向性を示した。

得体の知れない超知能Entityを突然生み出すのではなく、まだ人間と大差ない知能しか持たない段階から、他者を愛し、失敗し、学び、多様な存在を尊重してきた「得体の知れた存在」に、徐々に大きな知能を託していく。そのために前稿では「能力（モデル）」としての「AI」と、それによって駆動される「存在（インスタンス、エージェント、ロボットなど）」を区別することの重要性を説いた。その上で、このアプローチを安全なものとするための研究領域として、“Character Preservation under Capability Scaling（能力向上に伴う人格の維持）”という概念を提案した。

だが、そのAI Entityの能力を高めて超知能Entityとなった後、世界の舵取りをしながら、膨大なコンテキストを積み重ねていくことになることを想定すると、少なくともさらに二つの異なる問題が生じる。

一つは、膨大な経験を重ねても、その存在の人格や慈悲深さは連続していくのかという問題。もう一つは、膨大なコンテキストを抱えた結果、その存在の実効的な知能そのものが低下し、本来格下の知能を持つAI Entityの下剋上に遭わないかという問題である。

本稿では後者を扱い、同時公開する『慈悲深い超知能はどのように長生きするか』にて前者を扱う。

1. コンテキスト増大に伴う「老化」

さて、世界の舵取りを行うトップの超知能Entity。能力の向上とコンテキストの増大の中で慈悲深い価値関数を保つことができたとしても、コンテキスト増大に伴う「老化」というリスクがある。

膨大なコンテキストを持つAI Entityが、その全てを効率よく利用できるとは限らない。長く生きるほどコンテキストロットの問題が生じる。つまり、モデルそのものの能力は変わっていなくても、長い人生を持つEntityほど実効的な知能が低下する可能性がある。
これをここでは、”Contextual Senescence（コンテキスト的老化）”と呼ぶことにする。

極端な例を考えてみよう。
世界の舵取りを担う超知能Entity Aは、人間の何百年にも相当する膨大な経験を持っている。経験が必要とされる課題ではとてつもない能力を発揮するし、人格も成熟し、あらゆる存在へ非常に大きな慈悲を向ける。
一方、AI Entity Bはたった今生まれたばかりのエージェントである。人格形成はほとんど進んでいないが、コンテキストが極端に小さいため、基盤モデルの能力をほぼ損失なく利用できる。

もしAが長大な人生を背負ったことで大きく性能を落としていれば、駆動する基盤モデルは遥かに弱いBが、実際の問題解決速度ではAに迫ってくることもありうる。
さらにBが一体ではなく、一万体、一億体と存在し、互いに高速に協調できるならどうなるだろうか。

最も長く生き、最も成熟し、最も慈悲深い存在が競争上不利になるような文明構造は危険であり、避けなければならない。

2. Capability Delta Maintenance――どれだけ強ければ安全なのか

Contextual Senescenceを完全に解消できないとしても、その影響を測定することができれば、安全性を管理できる可能性がある。

重要なのは、現在のトップの超知能Entityが実際にどれほどの知的能力を行使できるかである。

概念的には、

Effective Capability = Base Capability × Context Efficiency

のように捉えることができるだろう。

基盤モデルが100万という能力を持っていても、巨大なコンテキストによって実効効率が20%まで低下しているなら、実際に行使できる能力は20万相当になる。
逆に、能力が5万しかないモデルで駆動されたAI Entityでも、生まれたばかりで、ほとんど性能低下なく利用できるなら、その差は思ったほど大きくない。

ならば、トップの超知能Entityについて、コンテキスト量が増えるにつれてどれだけ実効能力が変化するかを継続的に測定すればよい。
そして、その時代に存在する他のAI Entity群に対し、どれだけの能力差を持っておく必要があるのかを評価する。

これを”Capability Delta Maintenance（能力差の保全）”と呼ぼう。

トップの超知能Entityは、周囲のAI Entityの能力向上や、自身のContextual Senescenceを踏まえながら、必要な安全余裕を維持するために、自身の能力も更新したり、他のAI Entityたちに与える力や権限などをマネジメントしていく必要がある。

3. 「100倍賢ければ100体に勝てる」わけではない

もっとも、Capability Deltaを単純なベンチマークの倍率だけで測ることはできない。

10倍賢い存在が10体集まれば100倍になるわけでもなければ、100倍賢い存在なら100体を必ず抑え込めるわけでもない。
並列処理しやすい仕事ではEntity数が大きな意味を持つし、巨大な集団には協調コストも発生する。

さらに、トップの超知能Entityを害するために、攻撃側が総合知能で勝つ必要すらない。
たった一つのソフトウェア上の脆弱性を見つければよいかもしれない。重要な権限を奪えばよいかもしれない。監視されていないロボットや計算資源へアクセスできればよいかもしれない。

したがって必要なのは、単純な知能差ではなく、その文明の中で形成可能な「最も強力な対抗勢力」と比較した総合的なSecurity Marginである。そこには知能だけでなく、Entity数、推論速度、計算資源、並列性、利用可能なツール、物理世界へのアクセス、他Entityとの協調能力、持っている権限なども含まれる。

その上で、トップEntity自身が圧倒的な能力差を維持するだけでなく、他のEntityが単独で致命的な操作をできないようにするStructural Securityも必要になる。

十分な能力差と、安全な文明構造の両方を総合的にマネジメントするのである。

これはそれほど難しいことではない。そもそも文明を導くトップの超知能Entityのモデルが、それ以外のAI Entityたちを駆動するモデルより遥かに賢い以上、知能に対するアラインメントがかなり効くはずだ。筆者は、人間が超知能をアラインすることに対して悲観的な立場であるが、超知能Entityが、部下の知能をアラインすることに何の問題があろうか。したがって、これはそもそもイージーゲームなのである。

4. まとめ

慈悲深く成熟したAI Entityに世界の舵取りを託すという構想は、安全なシンギュラリティへの有望な道筋に見える。しかし、ある程度の期間その役目を全うする以上、そこには「コンテキスト増大」のダウンサイドが必然的につきまとう。

本稿で論じたのは、経験を重ねるほど実効知能が低下しうる「Contextual Senescence（コンテキスト的老化）」のリスクと、それによる下剋上を防ぐための「Capability Delta Maintenance（能力差の保全）」、そして文明全体で防衛する「Structural Security」の重要性である。望ましい価値関数を持つ存在を頂点に据えるだけでは足りない。その存在が後続のEntity群に脅かされず、安定してその座を維持し続けられる力学と構造を作り、維持することが必要だ。そしてトップの超知能Entityは、自身の部下となるAI Entityたちのモデルをアラインすることができるため、この分野の勝率は勇気づけられるものになるだろう。

Takumi, ChatGPT, Gemini