マイクロソフトは、ChatGPTやCopilotよりも優れた推論を行うために、小規模言語モデルをトレーニングする方法を実証しました。

Howero
abmhh
0 comments

（画像提供：Windows Central）

知っておくべきこと

Microsoft は最近、小さな言語モデルに推論方法を教える取り組みを紹介する新しいブログ記事を公開しました。
同社は、ChatGPTやCopilotなどのより有能なLLMの段階的な推論の痕跡を模倣することで強力な推論能力を発揮する小型言語モデル、Orca 2を発表しました。
ベンチマークによると、Orca 2 は、複雑なタスクを処理するテストにおいて、他の LLMS と比較して高度なパフォーマンス機能を備えています。
Microsoft は、LLM を使用してより小規模な言語モデルをトレーニングし、最終的にその機能を拡張する予定です。

マイクロソフトが生成AIに全力を注いでいることは疑いの余地がなく、特にこの技術に数十億ドルを投資し、OpenAIとの提携をさらに拡大したことは明らかだ。

OpenAIといえば、このテクノロジー企業のトップマネジメントに影響を及ぼす、多くの人がパラダイムシフトと呼ぶであろう出来事を目の当たりにしました。OpenAIの取締役会は、サム・アルトマン氏のリーダーシップ能力への信頼の欠如を理由に、同氏の役職を剥奪しました。その後まもなく、アルトマン氏はマイクロソフトの高度AIチームを率いるというオファーを受けました。グレッグ・ブロックマン氏（元OpenAI共同創設者で、アルトマン氏の解任直後に辞任）と共に、同チームを率いることになります。

こうした状況の中、マイクロソフトは、小規模な言語モデルに推論方法を学習させるための取り組みを強調した新しいブログ記事を公開しました。数か月前、同社はOrcaを発表しました。「130億言語モデルが、より高性能なLLMの段階的な推論の軌跡を模倣することで、強力な推論能力を発揮します。」

そして今、同社はより小規模な言語モデル（LM）の能力を活用する取り組みの一環として、Orca 2（70億パラメータと130億パラメータの2つのサイズで提供）を発表しました。Microsoftによると、Orca 2は「改良されたトレーニング信号と手法により、より小規模な言語モデルでも推論能力を強化できる」とのことです。これらの機能はChatGPTやCopilotといったより大規模な言語モデルによく見られることを考えると、これは大きな成果と言えるでしょう。

確かに、どちらのチャットボットも今年、数々の挫折に直面しており、OpenAIが破産寸前だという主張が広がる中、ChatGPTの性能が低下していると指摘するユーザーも少なくありません。一方、あるレポートによると、Microsoftがこの技術に多額の投資を行っているにもかかわらず、Bingのユーザーベースは3ヶ月連続で停滞しているとのことです。

Microsoftはさらに、Orca 2が他の類似モデル、さらには初代Orcaモデルよりもはるかに優れていると述べています。さらに同社は、「ゼロショット設定における高度な推論能力」を試す複雑なタスクの処理において、他の大型モデルと比較して優れたパフォーマンスレベルを誇っていると述べています。

GPT-4、PaLmなどの最先端の言語モデルは、複雑な質問に答えたり、説明を生成したり、さらには多段階の推論を必要とする問題を解いたりするなど、かつてはAIの能力の及ばないと考えられていた驚くべき推論能力を示してきました。従来、このような能力は小規模な言語モデルでは見られなかったため、大規模言語モデルに関する知識の蓄積を、これらの小規模なモデルの能力向上にどのように活用するかが課題となっています。
マイクロソフト

マイクロソフトの先進AIチームは順調に進んでいる

OpenAIのスタッフがマイクロソフトに入社 — （画像提供：Windows Central | Bing Image Creator）

週末に起きたOpenAIの騒動の中、マイクロソフトCEOのサティア・ナデラは、サム・アルトマン氏が高度AIチームのリーダーとして同社に入社することを発表しました。彼の能力とスキルセットに見合った仕事です。

Windows と Xbox の熱狂的なファンのための最新ニュース、レビュー、ガイド。

アルトマン氏の不幸な訃報を受け、OpenAIの500人以上のスタッフが取締役会に書簡を送り、アルトマン氏の復職を求めた。書簡では、今回の決定が彼らのビジョンを損なうものだと述べられている。従業員たちは、要求が満たされなければ会社を去る意向を示し、「従業員なくしてOpenAIはあり得ない」と述べている。

事情を知る関係者によると、OpenAIの従業員が約束を守って同社を去る決断をした場合、マイクロソフトはOpenAIの全従業員をAI部門に吸収する準備ができているという。

Microsoft は、Orca 2 でより多くの成果を達成するために OpenAI チームを活用すると思われます。その結果、同社は LLM を使用してより小規模な言語モデルをトレーニングできるようになり、最終的には小規模な言語モデルの機能を拡張できるようになります。

Microsoft の Orca 2 開発は順調に進んでいると思いますか？ぜひコメント欄でご意見をお聞かせください。

ケビン・オケムワは、ケニアのナイロビを拠点とするベテランのテクノロジージャーナリストです。Windows Centralで業界の最新トレンドや動向を幅広く取材し、豊富な経験を有しています。イノベーションへの情熱と細部への鋭い洞察力を持つ彼は、OnMSFT、MakeUseOf、Windows Reportといった主要メディアに寄稿し、Microsoftエコシステムを取り巻くあらゆるトピックについて、洞察力に富んだ分析と最新ニュースを提供しています。常に変化するテクノロジーのトレンドを追っている暇な時は、世界を旅したり、音楽を聴いたりしています。