NVIDIA Chat with RTX ハンズオン: このローカル AI チャットボットはすでに大きな可能性を秘めている

NVIDIAはAI関連で多くの興味深い取り組みを行っていますが、消費者向け事業は依然として主にゲーム分野に重点を置いています。同社は現在、PC上でローカルに動作するAIチャットボット「Chat with RTX」の導入により、この2つの分野を融合させることを目指しています。このソフトウェアは、NVIDIAのゲーミングGPUに搭載されているTensor-RTコア（使用するにはRTX 30または40カードが必要です）を活用し、大規模言語モデル（LLM）を用いてユーザー独自のデータに関する有用な洞察を提供します。

ChatGPTやCopilotとは異なり、Chat with RTXは完全にPC上で動作し、クラウドサーバーにデータを送信しないという点が大きな違いです。関連するデータセットを入力すると、そこに含まれる情報に基づいて回答が提示されます。もう一つの優れた機能は、YouTubeリンクを共有できることです。Chat with RTXは、クローズドキャプションファイルからデータを取得することで、動画の内容を解釈し、質問に答えます。

Chat with RTXは無料でダウンロードでき、インストーラーは35GBです。いくつかの前提条件があり、VRAMが8GB以上のRTX 30または40シリーズのカードと、RAMが16GB以上のマシンが必要です。NVIDIAはWindows 11を推奨していますが、私のWindows 10マシンでも問題なく動作しました。現在、Chat with RTXはWindowsでのみ利用可能で、Linuxへの対応時期については言及されていません。

2つの言語モデル（Mistral 7BとLLaMA 2）のインストールには1時間かかり、70GB弱の容量を消費します。インストールが完了すると、コマンドプロンプトウィンドウが起動し、アクティブなセッションが開始されます。ブラウザベースのインターフェースからクエリを実行できます。

NVIDIAはChat with RTXをテストするためのデフォルトのデータセットを提供していますが、私はユーティリティをダウンロードフォルダに設定しました。このフォルダには、数百件のプレスリリース、レビューガイド、そして私のすべての記事がテキスト（.txt）形式で保存されています。このチャットボットはPDF、Word文書、プレーンテキストを解析でき、前述の通り、YouTube動画へのリンクを貼ったり、クエリを送信したりすることも可能です。

Chat with RTXは詳細を要約するのに非常に優れており、スマートフォンの発売日など、的を絞った質問にも非常に効果的です。現時点では追加の質問をする機能はありませんが、今後のリリースで変更される可能性があります。

関連情報の表示は良好ですが、いくつか問題がないわけではありません。Android CentralでレビューしたFiio FX15 IEMで使用されているドライバーについてチャットボットに尋ねたところ、FX15は3種類のドライバーを組み合わせて使用​​しており、チャットボットは質問には正しく回答したものの、Fiioのレビューガイドには情報が掲載されているはずなのに、Intel Management Engineのインストールドキュメントへのリンクが表示されました。

同様に、Corsair の MP600 mini が TLC ストレージを使用しているかどうかをチャットボットに尋ねたところ、2 回目に初めて正しい回答が得られました (そして、はい、ドライブには TLC ストレージが搭載されています)。

Chat with RTXはまだベータ版ですが、大きな可能性を秘めていることは明らかです。AIチャットボットをローカルで実行できる機能は大きな魅力で、提供されたデータから情報を抽出する際に非常に役立ちます。私自身のユースケースとしては、プレスリリースを要約し、役立つ詳細情報をハイライト表示してくれるローカルチャットボットが便利で、今後Chat with RTXをその用途に活用していくつもりです。

NVIDIA の提供内容に興味があるなら、Chat with RTX を自分のマシンに簡単にインストールして試してみることができます。ChatGPT ほど強力ではないかもしれませんが、独自のデータを使用できるのは大きな差別化要因です。