Microsoft Copilot は意見と事実の区別に苦労しており、歪んだ AI ニュース要約を投稿しています…

BBCは最近、Microsoft Copilot、OpenAIのChatGPT、GoogleのGemini、Perplexityなどを含むAI搭載チャットボットのニュース記事要約能力に関する広範な調査を実施しました。安全性とセキュリティは生成型AIの発展を阻む大きな要因であり続けていますが、AIツールが質問に対して不正確、あるいは全く間違った回答を生成する傾向が高いため、ユーザーを困惑させ続けています。

同メディアは、リストに挙げられたAIツールを活用してニュース記事を要約し、要約されたニュース記事の内容に基づいて質問を投げかけました。興味深いことに、調査では、AIが生成した回答には重大な不正確さと歪曲が含まれていることが示されました。

調査の結果、回答には「重大な不正確さ」と歪曲が含まれていたとBBCは述べている。BBCニュース・時事問題のCEO、デボラ・ターネス氏は次のように述べている。

研究チームは、AIアシスタントが生成した回答の半数以上に「重大な問題」を発見した。AIアシスタントは、BBCの資料から得たとされる回答の約5分の1に、明らかな事実誤認をもたらしたという。

また、AIアシスタントがBBCの記事から「引用」したもののうち、10件中1件以上は改変されていたか、記事には存在していなかった。

問題の一部は、AIアシスタントがニュース報道における事実と意見を区別せず、現在の資料とアーカイブ資料を区別せず、回答に意見を挿入する傾向があることにあるようだ。

彼らが提供する結果は、これらすべてが混ざり合ったごちゃ混ぜのカクテルになる可能性があり、消費者が切望し、当然得るべき検証済みの事実や明確さからは程遠いものになります。」

BBCの研究では、AIチャットボットに同紙が掲載したニュース記事100件を要約するよう依頼しました。同紙は、幅広いトピックにわたる経験豊富な記者やジャーナリストの専門知識を活用し、AIが生成した回答の正確性を評価しました。

さらに懸念されるのは、AIが生成した回答の51%に「何らかの形で重大な問題」が含まれていたことです。また、この調査では、BBCのコンテンツを引用したチャットボットが生成した回答の19%に、数字、記述、日付など、事実誤認が含まれていたことが明らかになりました。

OpenAIの広報担当者は、調査結果についてBBCに語り、次のように述べた。

「私たちは、毎週 3 億人の ChatGPT ユーザーが要約、引用、明確なリンク、帰属表示を通じて質の高いコンテンツを発見できるようにすることで、出版社とクリエイターをサポートしています。」

AIが生成したニュース要約は信頼できるのか？Appleはすでに提供を中止している

「我々は困難な時代に生きている。AIによって歪められた見出しが現実世界に重大な危害をもたらすまで、どれくらいの時間がかかるのだろうか？」とBBCのターネス氏は皮肉を込めて問いかけた。

BBCの調査では、CopilotとGeminiはChatGPTやPerplexityと比較して、より複雑な問題を扱っていることが明らかになりました。さらに、これらのツールは「意見と事実の区別に苦労し、論説的な表現が多く、重要な文脈を考慮に入れていないことが多かった」ことも強調されています。

関連： Microsoft Copilotは「クラスの迷惑な子供」の典型だ

複雑な報告書で指摘された不正確さが、リストに掲載されたチャットボットだけにとどまらず、その影響範囲に及んでいることは注目に値します。ご存知の通り、Appleは最近、Apple Intelligenceの通知機能が誤った見出しを共有していることが発覚し、報道機関や自由団体からの反発を招いたことを受け、一時的に機能を停止しました。

結論として、BBCはAIサービスプロバイダーとの必要不可欠な対話が完了するまで、AIニュースの要約を「控える」ことを推奨します。「私たちはパートナーシップを築き、解決策を見つけるために協力することができます。」

ケビン・オケムワは、ケニアのナイロビを拠点とするベテランのテクノロジージャーナリストです。Windows Centralで業界の最新トレンドや動向を幅広く取材し、豊富な経験を有しています。イノベーションへの情熱と細部への鋭い洞察力を持つ彼は、OnMSFT、MakeUseOf、Windows Reportといった主要メディアに寄稿し、Microsoftエコシステムを取り巻くあらゆるトピックについて、洞察力に富んだ分析と最新ニュースを提供しています。常に変化するテクノロジーのトレンドを追っている暇な時は、世界を旅したり、音楽を聴いたりしています。