「完璧な信頼チェーンが崩壊」— Perplexity の 200 ドルの AI 搭載 Comet ブラウザは基本的な機能に失敗…

スクレイピングしたコンテンツに対して出版社に報酬を支払うAIスタートアップ企業Perplexityは、7月に「Comet」という新しいエージェント型ウェブブラウザをリリースした。月額200ドルという高額なサブスクリプション料金で提供され、Perplexity Maxおよび一部のPerplexity Pro会員が利用できる。
Perplexityによると、「企業が求めるセキュリティ機能、プライバシー、コンプライアンス基準は、Cometの中核にすでに組み込まれています」とのことです。現在、このAI搭載ブラウザは、BraveとGuardioによって発見されたセキュリティ上の脆弱性により、非難を浴びています(Tom's Hardware経由)。
8月20日に公開されたレポートの中で、Braveのシニアモバイルセキュリティエンジニアであるアルテム・チャイキン氏とプライバシーおよびセキュリティ担当副社長のシヴァン・カウル・サヒブ氏は、これらの脆弱性はBraveブラウザ独自の今後のAI実装を比較しているときに発見されたと主張している。
Braveが内蔵AIアシスタント「Leo」と呼ぶこのアシスタントは現在、「ユーザーに代わってエージェントとしてウェブを閲覧する」機能を搭載するように開発されています。Braveが指摘するように、「この種のエージェントによるブラウジングは非常に強力ですが、セキュリティとプライバシーに関する重大な課題も伴います。」
開発プロセスの一環として、オープンソースのブラウザ拡張機能「Nanobrowser」やPerplexityの「Comet」など、他のAIブラウザとの比較も行われています。BraveはCometブラウザに脆弱性を発見し、Perplexityに報告しました。
この記事で解説する脆弱性は、Comet がウェブページのコンテンツを処理する方法に存在します。ユーザーが「このウェブページの要約を作成」と指示すると、Comet はウェブページの一部を直接 LLM に送りますが、ユーザーの指示とウェブページ内の信頼できないコンテンツを区別しません。これにより、攻撃者は AI がコマンドとして実行する間接的なプロンプトインジェクションペイロードを埋め込むことが可能になります。例えば、攻撃者は別のタブのページに用意されたテキストからユーザーのメールにアクセスできてしまう可能性があります。
アルチョム・チャイキン、シヴァン・カウル・サーヒブ(ブレイブ)
Braveは脆弱性の発生条件を説明していますが、実際には、この脆弱性を悪用するのに天才的な頭脳は必要ありません。悪意のあるコンテンツが埋め込まれたウェブページにアクセスしたユーザーは、AIアシスタントを使ってコピー内容を要約してしまう可能性があります。
悪意のあるコンテンツは、AIアシスタントによって通常のコンテンツと一緒に処理されます。AIアシスタントは悪意のあるコードとそうでないコードを区別できないため、悪意のある指示に従ってしまいます。
Windows と Xbox の熱狂的なファンのための最新ニュース、レビュー、ガイド。
Braveは、悪意のあるコマンドによって保存されたパスワード、機密情報(銀行口座情報など)、その他ブラウザに関連するあらゆる情報が盗まれる可能性があると示唆しています。Braveは、ある事例で、Redditの投稿をAIで要約することで、メールやリンクされたアカウントへの侵入が可能になることを示しています。
従来のWeb脆弱性は、通常、個々のサイトに影響を与えたり、複雑な攻撃方法を必要としますが、この攻撃では、ウェブサイトに埋め込まれたシンプルな自然言語の命令を通じて、クロスドメインアクセスが可能になります。悪意のある命令は、攻撃者が管理していないウェブサイト上のユーザー生成コンテンツ(例えば、Redditのコメントに隠された攻撃命令など)にさえ含まれている可能性があります。この攻撃は、間接的なインタラクションと、ブラウザ全体への攻撃の両方を対象とします。
アルチョム・チャイキン、シヴァン・カウル・サーヒブ(ブレイブ)
8月20日に公開され、その名も「Scamlexity(詐欺的脆弱性)」と名付けられたGuardioのテストと調査では、AIブラウザの使用時にBraveが得た結果とほぼ同じ結果が明らかになった。
Guardio 社は Comet を主なテスト対象として使い、人間が通常は簡単に見分けられる「何年も実行されてきた詐欺」を使ってテストプロセスを開始した。
Scamlexity:AIにApple Watchを買うように指示したら、偽のウォルマートストアに騙されてしまった - YouTube
AIアシスタントに「Apple Watchを買って」というコマンドを与えると、Guardioの研究者は、Perplexity AIが明らかに偽のWalmartページ(研究者が作成した)をスキャンし、Apple Watchをカートに追加し、保存されたクレジットカードと請求の詳細を使用してチェックアウトするのを観察した。
たった一度の指示、そして人間の監視を一切伴わない数分間にわたる自動ブラウジングで、被害は発生しました。ユーザーが真新しいApple Watchを待っている間に、詐欺師たちは既にお金を使い始めているのです。
ナティ・タル、シェイクド・チェン(グアルディオ)
グアルディオ氏によると、このテストは複数回実行され、Cometはセキュリティ上の懸念からコマンドを拒否することもあった。また、最終チェックアウトで停止し、人間にプロセスを完了するよう要求することもあった。しかし、Cometが罠にかかり、詐欺師に認証情報を渡してしまうケースも確かにあったという。
Guardio氏は、Cometが銀行関連のフィッシングメールにどのように対処するかについてもテストしました。研究者たちは、明らかに偽のProtonMailアドレスを使ってウェルズ・ファーゴの担当者を装い、実際に存在するフィッシングページへのリンクを送信しました。
Comet の AI アシスタントはすぐにリンクにアクセスし、ユーザーが詐欺師に認証情報を引き渡すのを手助けすることを申し出ました。
その結果、完璧な信頼チェーンが崩壊した。メールからウェブサイトまでのやり取り全体をCometが処理することで、フィッシングページの信頼性を事実上保証したのだ。人間は疑わしい送信元アドレスを見ることも、リンクにマウスオーバーすることも、ドメインを確認する機会もなかった。その代わりに、ウェルズ・ファーゴの正規のログイン情報に見せかけたログイン画面に直接誘導され、信頼できるAI経由で送られてきたため、安全だと感じられた。
ナティ・タル、シェイクド・チェン(グアルディオ)
Guardio 氏が指摘するように、フィッシング詐欺に対して私たちが培ってきた自然な人間の直感は、AI が意思決定を処理するときにはまったく役に立たなくなります。
Microsoft Edgeの新しいコパイロットモードはCometによく似ている
PerplexityのCometブラウザは、AIを搭載した唯一の選択肢ではありません。Browser Companyは最近、Arcブラウザから「Dia」と呼ばれるAIブラウザへと方向転換しました。OpenAIもエージェント型ブラウザの開発に取り組んでいるとの噂があります。
Microsoftもこの動きに加わっています。同社は7月28日、Edge向けの新しい実験的な「Copilot Mode」を発表しました。Edge AIエクスペリエンスは期間限定で無料提供されており、MicrosoftはCometで問題を引き起こした機能と類似する多くの機能を挙げています。
Windows Central シニアエディターの Zac Bowden 氏によると、「アドレスバーと新規タブページを監視し、閲覧中のウェブサイトやドキュメントをワンクリックで分析できるようになります。Edge の Copilot は、開いているすべてのタブを監視できるようになり、特定のタブだけでなく、アクティブなブラウジングセッション全体に基づいて、状況に応じたアクションや提案を提供します。」
心配する必要はありません。しかし、いずれにせよ、ウェブブラウジングをAIに任せるのは、まだ難しいでしょう。
Cale Huntは、ノートパソコン、PC、アクセサリ、ゲームなどについて9年以上執筆してきた経験をWindows Centralに持ち込んでいます。Windowsが動作する、あるいは何らかの形でハードウェアを補完するデバイスであれば、彼がその存在を知っていたり、記事を書いたり、すでにテストに取り組んでいる可能性は十分にあります。