ノートパソコンやミニPCをお持ちの場合は、Ollamaを捨ててローカルAIにLM Studioを使用する必要があります。その理由は次のとおりです。

私は最近、自分の PC 上でローカルに実行されている LLM をいろいろ試していますが、そのほとんどは Ollama を使っています。

Ollamaは、LLMを自分のPCにダウンロードして実行するのが極めて簡単になる素晴らしいツールです。新しいGUIアプリケーションのリリースにより、さらに使いやすくなりました。ワークフローにうまく組み込むことができますが、一つ大きな欠点があります。

専用GPUを搭載していない場合は、パフォーマンスはそれほど良くありません。RTX 5080（近々RTX 5090も試す予定です）と組み合わせて使っていますが、非常にスムーズに動作します。しかし、先日レビュー用に届いたばかりのGeekom A9 MaxミニPCのようなマシンでは、全く異なる結果になります。

OllamaはWindowsの統合グラフィックを公式にサポートしていません。初期状態ではCPUを使用するようになっており、正直なところ、回避策を探す気にはなれない時もあります。

代わりに、LM Studio を使ってみましょう。統合GPU を活用するのが驚くほど簡単で、私でも数秒でできます。これが私が求めていることであり、皆さんも求めているはずです。統合GPU を活用したいなら、Ollama を捨てるべき理由です。

LM Studioとは何ですか？

あまり詳しく説明せずに言うと、LM StudioはWindows PCでLLMをダウンロードして試すことができるもう一つのアプリです。Ollamaとは少し動作が異なりますが、最終的な結果は同じです。

また、Ollamaの公式アプリよりもはるかに高度なGUIを備えているため、これもOllamaを使いこなすための重要な要素です。ターミナル以外でOllamaを最大限に活用するには、OpenWebUIやPage Assistブラウザ拡張機能などのサードパーティ製のツールを使用する必要があります。

モデルを見つけてインストールし、使い慣れたチャットボットインターフェースを通してモデルとやり取りできる、まさにワンストップショップです。高度な機能も多数用意されていますが、今回はシンプルなままにしておきます。

LM Studioの大きなメリットは、Vulkanをサポートしていることです。つまり、AMDとIntelの両方のモデルを統合GPUにオフロードして計算できるということです。これは大きなメリットです。というのも、私自身のテストでは、GPUの使用がCPUよりも速くないという状況にはまだ遭遇していないからです。

では、LM Studio で統合 GPU をどのように使用すればよいのでしょうか?

LM Studio ルートを選択することのもう 1 つの利点は、iGPU を LLM で使用するために特別なことや技術的なことをする必要がないことです。

モデルを使用するには、上部のドロップダウンボックスから読み込むだけです。必要なモデルを選択すると、いくつかの設定が表示されます。今回の例では、GPUオフロードの設定のみに着目しています。

これはスライドスケール方式で、レイヤーごとに動作します。レイヤーとは基本的にLLMを構成するブロックであり、命令はレイヤーごとに1つずつ渡され、最終レイヤーでレスポンスが生成されます。オフロードするレイヤー数は自由に決められますが、すべてのレイヤーより下位のレイヤーでは、CPUが負荷の一部を担うことになります。

満足したら、「モデルのロード」をクリックすると、モデルがメモリにロードされ、指定したパラメータ内で動作します。

例えば、前述のGeekom A9 MaxにはRadeon 890Mの統合グラフィックが搭載されており、基本的にその全メモリを使いたいと思っています。AIを使用する時はゲームをしないので、GPUのすべてをLLMに集中させたいのです。32GBのシステムメモリのうち16GBを、GPUがモデルをロードするためのメモリとして予約し、作業を開始します。

gpt-oss:20b のようなモデルを使用すると、すべてを専用の GPU メモリにロードし、GPU を計算に使用し、残りのシステム メモリと CPU をそのままにして、1 秒あたり約 25 トークンを取得できます。

RTX 5080搭載のデスクトップPCと同じくらい速いですか？いいえ、違います。CPUを使うよりも速いですか？もちろんです。さらに、PC上の他のソフトウェアが使用する可能性のあるCPUリソースをほとんど消費しないという利点もあります。GPUは基本的にほとんどの時間休止状態です。なぜ使わないのでしょうか？

もっと時間をかけて細かい部分まで調べれば、おそらくもっとパフォーマンスを向上できるでしょうが、ここではそこに焦点を当てません。ここで焦点を当てるのはLM Studioです。専用のGPUをお持ちでない場合、ローカルLLMには間違いなくLM Studioが最適なツールです。インストールするだけで、すべてがうまくいきます。

リチャード・ディバインは、10年以上の経験を持つWindows Centralの編集長です。元プロジェクトマネージャーであり、長年のテクノロジー愛好家でもある彼は、2011年にMobile Nationsに入社し、Windows Centralに加え、Android CentralやiMoreでも活躍しています。現在は、このサイトであらゆる種類のPCハードウェアとレビューの取材を担当しています。Mastodonでは、mstdn.social/@richdevine でフォローできます。