「ローカルAI」の活用 — 7年前に購入したノートパソコンが、なぜ今でも期待以上のパフォーマンスを発揮するのか

PC上でローカルにAIを動かすには、ある程度の高性能なハードウェアが必要だと思われがちです。確かにそれは部分的には真実ですが、ゲームと同様に、性能は状況によって大きく異なります。Steamデッキでも、RTX 5090搭載PCでプレイできるゲームの多くは同じです。体験は同じではありませんが、重要なのはプレイできるということです。

これは、OllamaのようなLLMを実行するなど、ローカルAIツールを試してみる場合にも当てはまります。VRAMをたっぷり搭載した高性能GPUが理想的ですが、必須ではありません。

一例として、7年前に購入したHuawei MateBook Dが挙げられます。AMD Ryzen 5 2500Uプロセッサ、RAM 8GB、専用グラフィックカードは搭載していません。それでもOllamaは使えるし、LLMもいくつかロードできるので、使えるレベルだと思います。

古いハードウェアでAIを実行する場合の注意点

ゲームは、現在AIとの比較対象として思い浮かぶ完璧なユースケースです。最新かつ最も要求の厳しいコンテンツを最大限に活用するには、本格的なハードウェアが必要です。しかし、最新のタイトルの多くは、統合型グラフィックスのみを搭載した、古くて低性能のマシンでも楽しむことができます。

ただし、古くて性能の低いハードウェアでは、パフォーマンスが劣るという注意点があります。おそらく（少なくとも）144fpsではなく30fpsを目指しているでしょうが、それでも可能です。ただし、グラフィック設定、レイトレーシング、解像度を犠牲にする必要があります。

AIについても同じことが言えます。毎秒数百のトークンを大量に生成したり、最新かつ最大のモデルをロードしたりすることはできません。

しかし、古いハードウェアでも試せる小型モデルはたくさんあります。私も試してみましたが、うまくいきました。互換性のあるGPUをお持ちなら、それを使えば大丈夫です。私は持っていませんが、それでもある程度成功しています。

具体的には、現在 Fedora 42 を実行している古いラップトップ上の Ollama に、いくつかの「1b」モデル (つまり 10 億のパラメータ) をロードしました。APU は Windows 11 では正式にはサポートされていませんが、私は通常、古いハードウェアで Linux を実行しています。

Ollamaはプラットフォームに依存せず、MacとWindows、そしてLinux版も用意されています。そのため、どんなOSを使っていても問題ありません。古いMacでも使えるかもしれません。

それで、どれくらい「使える」のでしょうか?

このノートパソコンでは1bより大きいモデルを試したことがなく、時間をかける価値もないと思っています。しかし、gemma3:1b、llama3.2:1b、deepseek-r1:1.5bという3つのモデルをテストしたところ、いずれも同様のパフォーマンスが得られました。いずれの場合もLLMは4kのコンテキスト長を使用しており、それ以上の容量を試すリスクは負わないと思います。

まずは私の昔のお気に入りです:

「もしウッドチャックが木を切ることができたら、どれくらいの量の木材を切るのでしょうか？」

Gemma 3とLlama 3.2はどちらも短く、かなり速い応答を返し、1秒あたり10トークン弱を記録しました。一方、Deepseek r1は推論機能を備えているため、まず思考プロセスを実行してから回答を返答しますが、1秒あたり8トークン弱とやや遅れました。

高速とまでは言えないものの、使えるレベルです。3つとも、私が入力するよりもずっと速く（そして間違いなく私の思考速度よりも速く）応答を出力しています。これらはすべてコンテキスト長4kで実行しました。

2つ目のテストは少し内容が濃かったです。3つのモデルすべてに、GitHubリポジトリからテキストファイルの生のコンテンツを取得するシンプルなPowerShellスクリプトを生成させ、応答に満足できるかどうかを確認するための質問をさせて、可能な限り最適なスクリプトを作成させました。

注意：出力が実際に機能するかどうかは検証していません。今回のケースでは、モデルが問題をどれだけうまく（そしてどれだけ速く）解けるかにのみ興味があります。

Gemma 3は、スクリプトの各部分を説明する非常に詳細な出力を生成し、指示に従って質問を投げかけてスクリプトを調整し、これらすべてを1秒あたり9トークン弱の速度で実行しました。推論機能付きのDeepSeek r1は、やはり少し遅く、1秒あたり7.5トークンでしたが、質問はしませんでした。Llama 3.2は、1秒あたり9トークン弱の速度で、Gemma 3と同等の品質の出力を生成しました。

ああ、まだ言っていませんでしたが、これはすべてバランス電源プランのバッテリー駆動時です。外部電源に接続すると、3つのモデルすべてで1秒あたりのトークン数が実質的に2倍になり、タスクの完了時間は約半分になりました。

そこがここでのより興味深い点だと思います。外出先でノートパソコンをバッテリー駆動させていても、仕事をこなせるのです。自宅やオフィスで電源に接続していれば、古いハードウェアでも十分に機能します。

これもすべてCPUとRAMのみを使って実行しました。このノートパソコンはiGPU用に数GBのRAMを確保していますが、それでもOllamaではサポートされていません。ollama psで軽く実行すると、 CPU使用率が100%と表示されます。

これらは小規模な LLM ですが、実際には、新しい超強力なハードウェアに大金を費やすことなく、これらを試したり、ワークフローに統合したり、スキルを習得したりすることができます。

YouTubeを見れば、Raspberry Piと、（今では）安くなってしまった古いハードウェアで構成されたホームサーバーでAIを動かしているクリエイターを見つけるのに、それほど時間はかかりません。たとえ古いミドルレンジのノートパソコンでも、少なくとも始めることはできるでしょう。

ChatGPTではありませんが、何かはあります。古いPCでもAI PCになることができます。

リチャード・ディバインは、10年以上の経験を持つWindows Centralの編集長です。元プロジェクトマネージャーであり、長年のテクノロジー愛好家でもある彼は、2011年にMobile Nationsに入社し、Windows Centralに加え、Android CentralやiMoreでも活躍しています。現在は、このサイトであらゆる種類のPCハードウェアとレビューの取材を担当しています。Mastodonでは、mstdn.social/@richdevine でフォローできます。