元Googleの責任者は、AIが自己改善を始めたらAIのプラグを抜くことを「真剣に考える」べきだと語る。「そのバランスを維持するのは非常に難しいだろう」

安全性とプライバシーへの懸念はさておき、技術が急速に進歩する中で、生成AIが人類を滅ぼす可能性は依然として重要な謎です。最近では、AI安全性研究者であり、ルイビル大学サイバーセキュリティ研究所所長のローマン・ヤンポルスキー氏（AIが人類を滅ぼすと99.999999%の確率で予測したことで有名）は、切望されていたAGIベンチマークはもはや特定の期間に縛られていないと示唆しました。彼は、十分な計算能力とデータセンターを購入できる資金を持つ者だけが達成できるとしました。

ご存知の通り、OpenAIのCEOサム・アルトマン氏とAnthropicのダリオ・アモデイ氏は、今後3年以内にAGI（汎用人工知能）が実現し、複数のタスクにおいて人間の認知能力を超える強力なAIシステムが実現すると予測しています。サム・アルトマン氏は、AGIは現在のハードウェアで予想よりも早く実現できると考えていますが、元Google CEOのエリック・シュミット氏は、AIが自己改善を始めたら開発の中止を検討すべきだと述べています（Fortune誌より）。

この幹部は最近、アメリカのテレビネットワーク（ABCニュース）とのインタビューに出演し、次のように述べた。

「システムが自己改善できるようになった場合、それを切り離すことを真剣に検討する必要があります。それは非常に困難になるでしょう。バランスを維持するのは非常に困難になるでしょう。」

AIの急速な進歩に関するシュミット氏の発言は、OpenAIがO1推論モデルを広く利用可能な状態にリリースした後、既にAGIを実現した可能性があると複数の報道が示す重要な時期になされた。OpenAIのCEO、サム・アルトマン氏はさらに、超知能の実現は数千日先かもしれないと示唆した。

汎用人工知能 (AGI) は安全ですか?

しかし、OpenAIの元従業員は、OpenAIが切望するAGIベンチマークの達成に近づいている一方で、ChatGPTの開発元は人間の認知能力を超えるAIシステムに伴うすべてのことを処理できない可能性があると警告している。

興味深いことに、サム・アルトマン氏は、AGIベンチマークに関して強調された安全性の懸念は「AGIの瞬間」には経験されないと述べています。さらに、AGIは驚くほど社会への影響を少なくしてあっという間に過ぎ去ると示唆しています。しかし、彼は2025年以降も、ほとんどのタスクで人間を上回るAIエージェントやAIシステムを特徴とする、AGIと超知能の間の発展が長期にわたって続くと予測しています。