中国の科学者がSpikingbrain1.0を発表 — ChatGPTより最大100倍高速な脳型AIモデル

20世紀半ばには宇宙開発競争が始まり、2020年代半ばの今、私たちはAI開発競争の真っ只中にあります。世界中の関係者が次なる大きな進歩を目指して邁進しており、誰も手をこまねいているわけではありません。
中国の科学者たちが今、自国独自の大規模言語モデルを開発したと大々的に主張している。The Independent紙の報道によると、SpikingBrain1.0は中国発の新たな大規模言語モデル(LLM)で、通常であればそれほど注目を集めるものではないかもしれない。しかし、これはただのLLMとは一線を画すものだ。SpikingBrain1.0は、ChatGPTやCopilotなどの既存のモデルと比べて最大100倍高速であると報告されている。
すべては、このモデルの運用方法にかかっています。これは全く新しいものです。これは初の「脳のような」LLMと謳われていますが、それは一体何を意味するのでしょうか?まずは、現在のLLMの仕組みについて少し背景を説明しましょう。
どうかご容赦ください。できるだけ分かりやすく、簡潔に説明できればと思っています。基本的に、現在の法学修士課程の学生は、文中のすべての単語を一度に見ています。文中の単語の位置に関係なく、単語間のパターンや関係性を探ろうとしているのです。
これは「Attention(注意)」と呼ばれる手法を用いています。例えば、次のような文を考えてみましょう。
「野球選手はバットを振ってホームランを打った。」
人間であるあなたは、この文を読んですぐに意味を理解します。なぜなら、あなたの脳は「Baseball」をその後ろの単語と即座に関連付けるからです。しかし、法学修士(LLM)にとって、「bat」という単語は、野球のバットにも動物にもなり得ます。文の残りの部分を調べなければ、その区別はできないでしょう。
LLMにおける注意力は、文全体を見て、単語間の関係性をマッピングし、理解を深めます。「スイング」や「野球選手」といった他の単語も識別し、正しい定義を特定して、より正確な予測を行います。
これは LLM のトレーニング データと接続され、「野球」と「バット」が頻繁に一緒に使用されることを学習します。
しかし、文全体を一度に調べるにはリソースを消費します。そして、入力が大きければ大きいほど、理解するために必要なリソースも増えます。これが、現在のLLMが一般的に膨大な計算能力を必要とする理由の一つです。すべての単語が他のすべての単語と比較されるため、多くのリソースが消費されます。
SpikingBrain1.0は、人間の脳のアプローチを模倣し、文の文脈を理解するのと同様に、近くの単語のみに焦点を当てると主張しています。脳は必要な神経細胞を発火させますが、常にフルパワーで稼働しているわけではありません。
最終的な結果として、より効率的なプロセスが実現され、開発者らは既存のLLMと比較して25倍から100倍のパフォーマンス向上を実現したと主張しています。ChatGPTなどのモデルと比較すると、このモデルは入力に選択的に反応し、動作に必要なリソースを削減すると考えられています。
研究論文には次のように書かれています。
「これにより、2%未満のデータで継続的な事前トレーニングが可能になり、主流のオープンソース モデルに匹敵するパフォーマンスを実現できます。」
少なくとも中国にとって同様に興味深いのは、このモデルがNVIDIAハードウェアのGPUコンピューティングに依存しないように構築されていることです。このモデルは、中国企業MetaXが現地生産したチップでテストされています。
もちろん、考慮すべき点はたくさんありますが、少なくとも理論上は、SpikingBrain1.0はLLMの論理的な進化形となる可能性があります。AIが環境に与える影響については、膨大なエネルギー消費量と、これら巨大なデータセンターの冷却に必要な膨大なエネルギー量を考慮すると、多くの議論が交わされています。
RTX 5090を使って自宅でOllamaでLLMを実行するだけでも大変です。オフィスは暑くなりますし、600W近くも消費するグラフィックカードだと効率が悪すぎます。この考えをGPU満載のデータセンターにスケールアップして考えてみてください。
もしこれが全て正確に実現すれば、これは興味深い展開となるでしょう。これは更なる飛躍となる可能性を秘めていますが、それは正確さと効率性のバランスが取れている場合に限ります。とはいえ、間違いなくエキサイティングな時代であることは間違いありません。
リチャード・ディバインは、10年以上の経験を持つWindows Centralの編集長です。元プロジェクトマネージャーであり、長年のテクノロジー愛好家でもある彼は、2011年にMobile Nationsに入社し、Windows Centralに加え、Android CentralやiMoreでも活躍しています。現在は、このサイトであらゆる種類のPCハードウェアとレビューの取材を担当しています。Mastodonでは、mstdn.social/@richdevine でフォローできます。