Bing AIのひどいエラーは、依然として慎重に行動する必要があることを証明している

知っておくべきこと
- Microsoft は最近、ChatGPT を搭載した新しい Bing を発表しました。
- その後、マイクロソフトの新しい Bing のデモには事実上の誤りがいくつか含まれていたことが判明しました。
- この検索エンジンは今週初めに一連のテスターに出荷され、不正確な情報を含む多くの応答を生み出した。
- ある時、ビングは民族差別用語のリストを共有した。
マイクロソフトは先週のイベントで、ChatGPTを搭載した新しいBingを発表しました。この検索エンジンは、技術系ブログから一般ニュースサイトまで、様々なサイトで話題となりました。しかしその後、マイクロソフトの新しいBingのデモ中に、気づかれなかった事実誤認がいくつかあったことが判明しました。
Dmitri Brereton氏は、Bingが犯したいくつかのミスを指摘するブログ記事を投稿しました。検索エンジンはいくつかのカテゴリーで事実誤認を示しましたが、おそらく最も重大なミスは財務上の誤りでした。このツールは、粗利益率と調整後粗利益率といった財務用語を混同していました。
このような間違いはすぐに拡大する可能性があります。Bing は異なるカテゴリーを区別できないため、全く不正確な比較結果を生み出す可能性があります。また、ChatGPT を搭載した新しい Bing を含む AI は、誤った情報を共有する際に自信過剰になることが多いという点も要因の一つです。金融に関する知識が限られている人に同様の比較を依頼すると、粗利益と調整後粗利益の違いがよくわからないと認めるかもしれません。しかし、今回のケースでは、Bing はそうしませんでした。
デモ中のある時点で、Bingは元の資料には全く記載されていない数字を公開しました。ブレアトン氏は詳細を説明していますが、要するに、Bingは文書の要約を作成する際に財務データを完全に捏造したように思われます。
Bingのデモで不正確な情報が表示されたのは金融データだけではありません。ブレレトン氏は、検索エンジンが掃除機にコードが付いていると誤って表示していたことを指摘しました。これは、商品間の比較を無意味にする不正確さのもう一つの例です。
デモだけじゃない
Bingがプレビューテスター向けに展開を開始した現在、ユーザーは他にも様々な間違いに遭遇しています。あるRedditの投稿では、Bingが現在2022年であるにもかかわらず、昨年公開された映画を見るには10ヶ月待たなければならないと表示した例が紹介されていました。Bingは、ユーザーの携帯電話にウイルスやバグがあり、誤った日付が表示されている可能性を示唆するメッセージさえ表示しました。
Microsoft はこの特定の問題に対応し、The Verge に声明を発表しました。「このプレビュー期間中にシステムが間違いを起こす可能性は想定しており、フィードバックは、うまく機能していない部分を特定して学習し、モデルの改善に役立てるために非常に重要です。」
Windows と Xbox の熱狂的なファンのための最新ニュース、レビュー、ガイド。
PCWorldの報道によると、Bingは民族差別用語も学習させたという。検索エンジンは、より多くの情報を共有するよう促された際に「様々な民族に対するニックネームは、人を傷つけ、失礼な印象を与える可能性がある」という注意書きを追加したが、その時点で既にいくつかの不快な用語がリストアップされていた。
注意: 以下の画像には、Bing によって生成された、いくつかのグループや民族に対する中傷や蔑称が含まれています。
Microsoft は The Verge への声明で上記の状況について説明しました。
AI原則に基づき、有害または差別的なコンテンツの宣伝を防ぐためのガードレールを導入しました。現在、サービス開始の初期段階から学び続けながら、さらなる改善策を検討しています。私たちは、この体験の質を継続的に向上させ、すべての人にとって有益で包括的なツールとなるよう尽力していきます。
Googleの失態 vs Bingの失態
GoogleのAI「バード」は、広告に事実誤認が含まれていることが発覚し、批判を浴びた。アルファベットの株価は7%下落し、時価総額は1,000億ドル以上減少した。
新しいBingとChatGPTによってもたらされるミスが、OpenAIとMicrosoftに同様の損失をもたらすかどうかは不明です。状況にはいくつかの違いがあります。まず、Googleは検索における確固たるリーダーです。人々は、OpenAIのChatGPTやMicrosoftのBingよりも、Googleのリリースに対して寛容ではありません。
さらに、悪いニュースは良いニュースよりも注目を集めるため、問題を抱えた新興の検索プラットフォームよりも、間違いを犯している主要検索プラットフォームに飛びつく可能性が高くなります。
Windows Centralの見解
私自身のテストでも、結果はまちまちでした。新しいBingにアクセスして最初に尋ねた質問は、間違った回答でした。実際、回答は単に間違っているだけでなく、矛盾していました。パトリック・マホームズのスーパーボウルでの活躍について尋ねたところ、Bingは「パトリック・マホームズのスーパーボウルでの活躍はどうだったか」と答えました。
回答では、マホームズがスーパーボウルで1回優勝したと述べられていましたが、後に2回優勝したと主張しました。後者の主張は正確ですが、日曜日の第52回スーパーボウル終了時点で初めて正確になったのです。しかし、検索エンジンは検索結果を生成するために最新の情報を使用する必要があります。また、上記の例は、Bingが少なくとも必要なレベルでは、自らのファクトチェックを行っていないことを示しています。
Bingの行き過ぎた進化について記事を書いた際、編集長のダニエル・ルビーノはAIが飛躍的に進化すると強調しました。彼の言う通りです。BingとChatGPTは、より多くのデータが入力されれば、時間とともに進化していくでしょう。しかし、Microsoftは依然として注意を払う必要があります。
Bingへの関心はかつてないほど高まっています。GoogleのBardが広告の誤りを公表した際、当然ながら批判を受けました。Bingの失策は、検索エンジンの勢いを失わせるリスクをはらんでいます。
マイクロソフトは、その技術が刺激的だからといって批判を免れるべきではない。確かに、新しいBingはまだプレビュー段階だ。Bingは間違いを犯し、時間をかけて改善していくだろう。しかし、バード氏のミスでGoogleは痛手を負った。今度はBingの番だ。
ショーン・エンディコットはWindows Centralのテクノロジージャーナリストで、Windows、Microsoftソフトウェア、AI、PCを専門としています。Windows 10と11からChatGPTのようなAIツールの台頭まで、主要なリリースを取材してきました。ショーンのキャリアはLumia 930から始まり、アプリ開発者との強いつながりを築きました。執筆活動以外では、アメリカンフットボールのコーチも務めており、チームの運営にMicrosoftのサービスを活用しています。ノッティンガム・トレント大学で放送ジャーナリズムを学び、X(@SeanEndicott_)とThreads(@sean_endicott_)で活躍しています。