ついにOpenAIのgpt-oss:120b LLMを試してみた — 数千ドル相当のハードウェアは必要ない
正直に言うと、メールが届くまで、DuckDuckGoにChatGPT on the goのようなAIチャットボットがあることすら知りませんでした。でも今は知っています。メールによると、OpenAIのgpt-oss:120b LLMを実行できるようになったそうです。
従来、このようなオープンソース モデルは、Ollama や LMStudio などのツールを通じてローカルで実行されるものでしたが、DuckDuckGo のおかげで、誰でもプライベートに無料で使用できるようになりました。
なぜこれが重要なのでしょうか？Ollamaで1200億ものパラメータを持つgpt-oss:120bを最大限活用するためにダウンロードすると、RTX 5090のペアで得られるよりも多くのVRAMが必要になります。
サイズは 65 GB なので、ラック内に巨大な GPU パワーが搭載されているか、すばらしい統合メモリを備えた AMD Strix Halo 搭載 PC のようなものがない限り、一般向けハードウェアで実行するのはかなり困難です。
特にうまく走るのは難しい。
Duck.aiは、このモデルへの無料アクセスを提供していますが、ユーザー自身のマシンではなく、Duck.aiのサーバーを使用します。プライバシーへの取り組みで知られるDuckDuckGoが提供しているため、この種のオンラインツールとしては最も信頼できると言えるでしょう。
DuckDuckGoは、すべてのチャットが匿名化されると明言しており、他の無料サービスと同様にアカウントは不要です。登録もメールアドレスも不要。ウェブページを開いて、ただチャットを始めるだけです。
Windows と Xbox の熱狂的なファンのための最新ニュース、レビュー、ガイド。
では、どうでしょう？とにかく速いです。自宅ではないどこかの巨大なハードウェアクラスターで動いているなら、当然ですよね。今のところ限られた時間で試していますが、レスポンス生成速度は少なくとも私のRTX 5090搭載の20bモデルと同じくらい速いようです。Duck.aiは1秒あたりのトークン数を表示しませんが、一つだけ違いがあり、その点についてはまだどう感じているかよく分かりません。
Duck.aiでgpt-oss:120bを使用すると、実行された思考の内容は表示されず、応答がそのまま出力されます。自分のマシンでgpt-ossを使い続けるうちに、この情報を確認できることのありがたさを実感するようになりました。
もしかしたら私だけかもしれませんが、モデルがどのように出力を生成したかを見るのはいつも興味深く、時には啓発されることもあります。場合によっては、どこで間違いが生じたかを知ることができ、貴重な情報だと感じています。Duck.aiが設定でそれを表示するかどうかを選択できるようにしてくれたら嬉しいです。
また、モデルで使用する独自のファイルをアップロードすることもできません。他のオプションの中には画像のアップロードに対応しているものもありますが、私が知る限り、ドキュメントやコードサンプルなどのファイルをアップロードできるものはありません。これはプライバシー保護の観点からのことかもしれませんが、使い方に制限が加わることになります。
とはいえ、全体的には非常に優れており、ChatGPTやGoogle Geminiによく似たWebアプリに組み込まれているため、使いやすく親しみやすいです。最近のチャットはサイドバーに保存され、返信方法を微調整するための設定も充実しています。もちろん、これらはすべてgpt-oss:120bだけでなく、Duck.aiで使用しているすべてのモデルに適用されます。
もしかしたら、自分のAIの武器庫に新たな宝石が見つかったかもしれない。でも、それを決めるにはもう少し試してみないとわからない。今のところは、GPUファームやNVIDIA Blackwell Proを使わなくてもgpt-oss:120bを試せるだけで満足だ。
リチャード・ディバインは、10年以上の経験を持つWindows Centralの編集長です。元プロジェクトマネージャーであり、長年のテクノロジー愛好家でもある彼は、2011年にMobile Nationsに入社し、Windows Centralに加え、Android CentralやiMoreでも活躍しています。現在は、このサイトであらゆる種類のPCハードウェアとレビューの取材を担当しています。Mastodonでは、mstdn.social/@richdevine でフォローできます。