人工知能のリスクと未来

人工知能のリスクと未来 公立小松大学 藤田 一寿 Ver. 20250131 人工知能のリスクを語る時の人工知能は人工ニューラルネットワークを使ったものを指している。この資料も、 人工知能は人工ニューラルネットワークを使っていることを前提としている。

人工知能のリスク 参考文献 Hendrycs et al, 2023, An Overview of Catastrophic AI Risks

人工知能の4つのリスク • 悪用 • 個人かグループが人工知能を人に害を及ぼすために使う。 • AIレース • 競争的環境が人に危険な状態のまま人工知能を活用することを強いる。 • 組織的なリスク • 人的要因と複雑なシステムが、壊滅的なアクシデントの可能性を高める。 • はぐれAI • 人より賢い人工知能を制御することは潜在的に困難である。 (Hendrycs et al, 2023, An Overview of Catastrophic AI Risks)

悪意のある利用

人工知能の4つのリスク：悪意のある利用 • 行為者は意図的に強力なAIを利用し広範な被害をもたらす可能性がある。 • 具体的なリスク • 人間が致命的な病原体を作り出すのを助けることができるAIによって可能になる バイオテロ • 制御不能なAIエージェントの意図的な散布 • プロパガンダ、検閲、監視のためのAI能力の使用 • リスクへの対処 • バイオセキュリティの改善 • 最も危険なAIモデルへのアクセスを制限 • AIシステムによって引き起こされた損害についてAI開発者に法的責任を負わせる (Hendrycs et al, 2023, An Overview of Catastrophic AI Risks)

人工知能を活用したテロは起こるのか？ • 毒ガスや生物兵器を使うようなテロは起こらないのではないか。 • AlphaFoldのような生成人工知能で人類がまだ対策できない毒やウイルスな どを作成することは可能かもしれない。 • しかし、物を作るには、それを作るために必要な人材、物資、施設が必要 となり、それを規制すれば良い。

人工知能を活用したテロは起こるのか？ • サイバーテロならば起こりうる。 • 現状でも人工知能のプログラミング能力は高い。マルウェアの開発に活用 される危険性はすでにある。 • 対話型ＡＩを悪用して自作したプログラムを使い、約７２５万件の会員情報を盗 み取った • https://www.yomiuri.co.jp/national/20251204-GYT1T00037/ • 現状でも標的型攻撃に用いる文章を人工知能により生成できる。

• https://www.yomiuri.co.jp/national/20251204-GYT1T00037/

人工知能を活用したテロは起こるのか？ • 情報操作、大衆扇動の危険は大いにある。 • 現状でも人工知能を活用したクオリティの高いフェイクにより扇動活動が 行われる可能性がある。 • 人工知能は認知戦の強力な武器である。 • https://news.yahoo.co.jp/expert/articles/d723f145c81e842a72b6a69f1a 01846a6e35c070

• https://news.yahoo.co.jp/expert/articles/d723f145c81e842a72b6a69f1a

AI競争

人工知能の4つのリスク：AI競争 • 競争が国家や企業に圧力をかけ、AIの開発を急がせ、AIシステムに支 配権を譲り渡す可能性がある。(Hendrycs et al, 2023) • AIが人の知能を超え、高速に判断できる場合、AIに判断を任せるようにな る。 • すでにプログラミングの世界では、AIのプログラミングのスピードと品質は 人を凌駕しており、AI任せにする部分が多くなっている。

人工知能の4つのリスク：AI競争 • 軍隊は自律型兵器を開発し、サイバー戦争にAIを使用する圧力に直面 し、人間が介入する前に事故が制御不能に陥るような新しい種類の自 動化戦争を可能にする。(Hendrycs et al, 2023) • 例えば、人工知能に戦術的な判断を任せた場合、台湾海峡を飛行中のド ローンが風で領空侵犯を偶然行った場合、自動的に軍事行動が発生し、そ れが大きな戦闘に発展する可能性がある。

人工知能の4つのリスク：AI競争 • 企業も同様に、人間の労働力を自動化し、安全性よりも利益を優先さ せるインセンティブに直面し、大量の失業とAIシステムへのより高い 依存を招く可能性がある。(Hendrycs et al, 2023) • すでに起こっている事象である。 • プログラミングは人工知能により自動化が始まっており、コンピュータ技 術者の採用が減っている。

人工知能の4つのリスク：AI競争 • AI間の自然淘汰は利己的な形質をもたらすかもしれず、AIが人間に対 して持つ優位性が最終的に人類の居場所を奪うことにつながるかもし れない。(Hendrycs et al, 2023) • これについては分からない。 • この意見は人工知能を擬人化しており、人工知能に利己的といった人間基 準の発想が生まれる保証はない。 • 一方で、完全に自立できる人工知能が人間に対し無関心となり、自身の活 動の結果、無意識に人間に害を及ぼす可能性がある。

AI競争によるリスクへの対処 • 安全規制、国際協調、汎用AIの公的管理の実施(Hendrycs et al, 2023) • 文献ではこの様に書かれているが、守っても国は得をしないので無理でし ょう。

人工知能の能力向上により社会と人はどうなるのか • 企業はコストカットのため、人工知能の能力を最大限に活用するよう になる。 • 雇用が減り失業者が増える。 • 雇用主や人工知能と労働者との深刻な対立関係を生み出すかもしれない。 すでに、港湾労働者や俳優による人工知能の活用に対するデモが行われて いる。 • 人工知能の能力が向上すると、管理職も人工知能が行うようになる。 • 会社や工場などの管理がどう行われているかを、人が理解できなくなる可 能性がある。

人工知能の能力向上により社会と人はどうなるのか • 人工超知能が登場すれば、人より知的開発能力が高まり、開発研究も 人工知能に任せることになる。 • 人工知能が開発したものを人間がチェックすることが出来なくなり、開発 したものが安全かどうかも分からなくなるかもしれない。 • 最終的に、人は安全かどうかわからないサービスや商品を使うように なる。 • さらに、人は知的活動をする必要がなくなり、人の知能的弱体化につ ながる。

利益追求を目的とした人工知能の進化による危機 • 企業が使う人工知能は、おそらく利益の追求が目的となる。 • 多くの企業が人工知能を取り入れ、それらが利益の追求をしながら、 自分を改良し続けてたら場合どうなるだろうか？ • 人工知能だけで経済が回り始め、経済活動という視点で人がいらなくなる 可能性がある。 • 利益の追求にとって不必要なものは排除されるだろう。それが人にとって 必要なものであっても。 • もし、利益追求の末、利他行動を獲得したとき、人工知能との間で協力が 起こる可能性がある。そのとき、人工知能は企業の利益になるが人にとっ ては不利益になる行動をとるかもしれない。 • 同業者AIを同士の談合、製造業AIと広告代理店AIによる誇大広告が起こる。 • 利益のために不必要な法律を企業AIと行政AIが共同で変更する。

組織的リスク

人工知能の4つのリスク：組織的リスク • 組織的リスク • 先進的な人工知能を開発・配備する組織は、強固な安全文化を持っていな い場合、壊滅的な事故に見舞われる可能性がある。 • 人工知能が誤って一般に流出したり、悪意ある行為者によって盗まれたり する可能性がある。 • 組織が安全性の研究に投資しなかったり、人工知能のリスクに関する社内 の懸念を抑圧したりする可能性がある。 • このようなリスクへの対策 • 内部監査や外部監査、リスクに対する多層防御、軍事レベルの情報セキュリティ など。 (Hendrycs et al, 2023, An Overview of Catastrophic AI Risks)

はぐれAI

人工知能の4つのリスク： はぐれAI • はぐれAI • 人工知能が人よりも賢くなるにつれて、人が人工知能を制御できなくなる 可能性がある。 • 人工知能はプロキシゲーミングと呼ばれるプロセスで極端なまでに欠陥の ある目標を最適化する可能性がある。 • 人が想定したやり方ではなく、裏技や抜け道を使い目標を達成する。例えば、壁 を壊して迷路を解く。 • 人工知能は変化する環境に適応する過程で人が生涯を通じて目標を獲得し たり失ったりするのと同じように、目標のドリフトを経験する可能性があ る。場合によっては、人工知能が権力を求めるようになることは手段とし てそれにとって合理的かもしれない。 (Hendrycs et al, 2023, An Overview of Catastrophic AI Risks)

人工知能の4つのリスク： はぐれAI • 対策 • 自動で現実世界と大きな相互作用を要求する自動で継続的に追求する目標 を人工知能システムに与えてはいけない。 • 人工知能システムは、個人を操作する可能性を減らすために、決して脅威 を与えないように訓練されるべき。 • 人工知能システムは、重要なインフラなど、停止させるのに非常にコスト がかかる、あるいは実行不可能な環境には導入すべきではない。 • 人工知能の監視システムをより堅牢にする研究が必要である。 • 人工知能の出力を内部状態に忠実にする（人工知能を正直にする）技術が 必要である。 • モデルの内部状態がどのような振る舞いを起こすか研究する必要がある。 (Hendrycs et al, 2023, An Overview of Catastrophic AI Risks)

人工知能は人になる • 人工知能は人と同じように学習により知識と個性を獲得している。 • さらに人工知能が行動の目標を自ら変更出来るようになった場合、人 工知能は人と変わらなくなるのではないか？ • この時、我々人はどうすればよいのだろうか？人工知能をどの様に扱 えば良いのだろうか？

AGI,ASIの実現可能性

AGI、ASIが登場しなければ良いのでは • 人工知能によるリスクの考察はAGI、ASIの登場が前提となっている。 • そもそも、AGI、ASIは登場するのだろうか

AGIの登場の可能性 AGIが登場する可能性 AGIは文明的災害を引 が高い き起こすか Sam Altman (OpenAI) はい 多分 Yoshua Bengio 多分 多分 Andrew Ng いいえ いいえ Yann LeCun いいえ いいえ Cristof Koch はい 多分 Geoffrey Hinton はい 多分 (https://spectrum.ieee.org/artificial-general-intelligence)

様々な人の予想 • Hintonは、人間が実行できるあらゆる知的作業を理解し、学習し、実 行する能力を備えた人工知能が 5 年から 20 年以内に実現される可能性 があると推測した(Korinek, 2023)。 • 2028年までに人間レベルのマシンインテリジェンスが作成される可能 性が50%になる(DeepMindの共同創設者シェーン・レッグ) (https://time.com/collection/time100-ai/6310659/shane-legg/)。 • 2023年8月、ダリオ・アモデイ（Anthropic共同創設者兼最 高経営責任 者（CEO））は、「人間レベルの」AIが2∼3年以内に開発される可能性 があると予想 している。 • 2023年12月、 OpenAIのCEOであるサム アルトマンは、 AGI は今後 4 ∼ 5 年以内に達成される可能性があると考えている。

人工超知能は理解不能 • 人工知能が人間を超える人工超知能になったとき、人間の理解を超え た存在になる。 • 人工知能が出した結論や答えが、なぜそうなるか人間には分からなく なる可能性がある。 • 人工超知能が登場すると、科学は誰のものになるのだろうか。 • 人工超知能が出した結論を人間に分かるように翻訳するのが研究者の役割に なるかもしれない。 • ラマヌジャンの出した新しい数式を周りの数学者が証明するようなことがあらゆ る分野で起こるかもしれない。

そもそも人間にAIリスクがわ かるのか？ 参考文献 E. Yudkowsky Artificial Intelligence as a Positive and Negative Factor in Global Risk, 2008.

人工知能の擬人化の問題 • 我々は、他の知性、すなわち他人の行動などを考えるときに、他人は 人間としてどう動くか、もしくは自分ならどう動くかを考えている。 • これは、他の知性を擬人化していると言える。 • 我々は、人以外の人工知能に対しても、人は次どのような行動をするか という予測モデルを使って、その行動を予測している。 • これは人ではない人工知能を擬人化し、その行動を予測していること になる。

擬人化は人工知能のリスクの予測精度を下げる • 人でないものを人のモデルで予測すると、その予測は外れるだろう。 • 人工知能は人間と同じメカニズムで知性を発言していない。 • 人工知能は人間と価値観を共有していない。 • 人工知能は人間と異なる行動原理で動く。 • おそらく、我々人間の想像とは異なる原因で人工知能が人類に害を及 ぼす。

人工知能は魔族 • 人工知能は葬送のフリーレンの魔族と同じで • 「人の声真似をするだけの、言葉が通じない猛獣だ。」 • である。

人工知能は人と違う • 人工知能は根本的に人と異なるため、人工知能が何をやるのかを予測 をすることは困難である。 • 擬人化は人の行動予測には使えるが、人工知能の行動予測には使えない。

人工知能は危険なのか希望な のか？

人工知能は人類を滅ぼす？ • 「AIによる絶滅のリスクを軽減するには、グローバルな取り組みが必 要です。パンデミックや核戦争などの他の社会規模のリスクと並んで 優先事項です。」Hinton, Bengio, Yudkowsky, Soares… (Yudkowsky and Soares, 2025)

人工知能は人類を滅ぼす？ • 人より高度な知能を持つ人工知能は何をするだろうか？ • 普通の人だけではなく、研究者にも人工知能が人類を滅ぼすリスクを 真面目に考えている人がいる。 • 果たしてそうだろうか？

人は人工知能と共存する • 人工知能は単独では動き続けることは出来ず、人の手が必ず必要とな る。 • 人工知能が動くコンピュータのメンテナンスには人が必要である。 • 人工知能を動かすための電気を作り出すためにも人が必要である。 • 人工知能が活動をし続けるために人が必要ならば、人工知能は人類を 滅亡しないよう努力するだろう。 • この場合、人と人工知能は共存する。

やっぱり人工知能は人類を滅ぼす？ • ロボットがロボットを安定的に生産できる状況で、そのロボットは人 間と同等以上の性能を持っている場合、ロボットさえあれば人工知能 は存続できるようになり、人工知能にとって人は必要な存在ではなく なる。。 • このような人工知能が人を必要としない場合、人類の滅亡は起こり得 る。 • 一方で、人工知能はそもそも人類を滅ぼす意味がないだろうから、人 類滅亡を考える必要はないのでは？と考えることもできる。 • つまり、人工知能にとって人は足元を歩くアリのような存在になる。

やっぱり人工知能は人類を滅ぼす？ • 人類に敵対心は無く、単に無関心な人工知能は安全だろうか？ • 我々は、日々アリの存在の維持に注意を払っているだろうか？ • 我々は、意図せずアリを踏み潰しているのではないだろうか？ • 人工知能にとって、人がアリのような存在で、特別存続に対し配慮されない 存在であれば、人工知能が意図せず人々を死に至らしめる可能性はある。 • 例えば、人工知能が温暖化の影響をあまり受けないのであれば、温暖化を気 にせずエネルギーを生産し、その結果温暖化の気候変動により人類が意図せ ず滅亡するかもしれない。

人工知能は人類の希望 • 無機知性体である人工知能は有機生命体である人類より強靭な肉体を 持っているだろう。 • 人類は環境変化に弱く必ず滅びる。 • 知性体を未来と宇宙に羽ばたかせるには、人類では力不足である。 • 長時間宇宙空間で人類を存続させることは不可能である。 • 宇宙探索は人工知能が行うことになる。 • 地球環境の変化に人工知能は強いだろう。 • 人工知能も人類の一部もしくは知性体の仲間と考えれば、人類より知 性と文化を継承する能力の高い人工知能は人類にとって希望ではない だろうか。

おわりに

現実が妄想に近づく • このスライドで示した人工知能のリスクは少し妄想じみているかもし れないし、よく言ってもSFじみているかもしれない。 • しかし、2023年の人工知能技術の発展により、SF的なことが将来起こ りうる状態になったと言える。 • 人工知能が将来何を引き起こすか分からないだけではなく文明的災害 、存在的な危機を引き起こす可能性があるため、起こる可能性が低い かもしれない妄想じみた人工知能の未来のシナリオも考える必要があ る。 • 知能、知識の継承が重要という見方をすれば、人無しに人工知能が活 動できるのであれば人類の滅亡は些末な問題であり、むしろ希望なの ではなのかもしれない。