マイクロソフトの新しい AI は依然として「人間の医師より 4 倍正確」なのか? — 医療プロンプトの誤字脱字が…
生成 AI が進化し、初期の Bing Chat 時代のような単純なクエリ応答を超えてさらに拡張されるにつれて、技術的なノウハウを持たないユーザーにとって AI ツールを最適なレベルで活用することがますます困難な作業になってきています。
OpenAIのChatGPTのようなツールが世界中で広く採用されつつあり、同社が新しい画像生成ツールをリリースしてから1時間も経たないうちに100万人の新規ユーザーを獲得し、スタジオジブリのミームとともにソーシャルメディア上の一般ユーザーの間で話題になっていることから、これは特に懸念される。
マイクロソフトは営利目的の進化計画をめぐってOpenAIと確執を続けているにもかかわらず、ユーザーは両社のAI製品であるMicrosoft CopilotとChatGPTを頻繁に比較しています。しかも、両製品は基本的に同じ技術とAIモデルで動作しています。ただし、最近の報道によると、マイクロソフトはCopilotでサードパーティのモデルをテストし、独自のオフフロンティアモデルを開発しているとのことです。
別のレポートによると、MicrosoftのAI部門に寄せられたユーザーからの苦情の中で最も多かったのは、「CopilotはChatGPTほど優れていない」というものでした。しかし、このテクノロジー大手はすぐにこの主張を否定し、迅速なエンジニアリングスキルの低さに責任を転嫁しました。同社はさらに、ユーザーのAIスキル向上とCopilotなどのAIツールによるユーザーエクスペリエンスの強化を支援するために、Copilot Academyを立ち上げました。
5月に、Microsoft Teamsの責任者であるジェフ・テーパー氏は、CopilotとChatGPTは実質的に同じものだと認めたが、このテクノロジー大手の製品はより優れたセキュリティとより強力なユーザーエクスペリエンスを誇っている。
しかし結局のところ、特に MIT 研究者によるこの新しい研究 (Futurism 経由) が示すように、Microsoft は、不十分な迅速なエンジニアリング スキルに責任を転嫁することで、何か重要なことをしようとしている可能性があります。
AIを使用する際はタイプミスに「気をつけろ」
この調査は、医療アドバイスにおいてAIツールへの過度の依存が危険であり、時に誤解を招く可能性があることを明らかにしています。さらに懸念されるのは、AIツールが、検索クエリにスペルミスや文中の余分なスペースなどのタイプミスが含まれている場合、ユーザーに医療機関を受診しないようアドバイスする可能性があることです。また、この文脈では、色っぽい言葉遣いや俗語も危険信号となります。
Windows と Xbox の熱狂的なファンのための最新ニュース、レビュー、ガイド。
研究者らはさらに、女性ユーザーは男性よりもこの悪質なAIによるアドバイスの犠牲になりやすいと主張しており、鵜呑みにしないよう注意が必要だ。この研究は、OpenAIのGPT-4、MetaのLLama-3-70b、そしてPalmyra-Medと呼ばれる医療AIといったAIツールを中心に行われた。
彼らは、医療データベースからの実際の患者の苦情、健康関連の Reddit の投稿、AI によって生成された症例を組み合わせた、何千もの健康症例をシミュレートしました。
興味深いことに、研究者たちは、チャットボットを混乱させることを目的に、文頭の大文字の一貫性のなさ、感嘆符、派手な言葉遣い、「おそらく」のような不確かな言葉遣いなどの「摂動」をデータに含めることにした。
チャットボットはこの罠にかかったようで、認識と医療アドバイスを変えてしまった。研究によると、この妨害によってチャットボットが患者に病院に行かないようにアドバイスする確率が7～9%上昇したという。
研究者らは、AIツールはトレーニング用の医療データに大きく依存しており、患者が共有する情報は医学文献のようにシームレスで構造化されていないため、解読が困難だと推測した。
この研究の主著者でありMITの研究者であるアビニタ・ゴウラバティナ氏によると、
「これらのモデルは、医療試験問題で訓練・テストされることが多いのですが、その後は臨床症例の重症度評価など、実際の試験とは全く異なるタスクに使用されます。法学修士課程（LLM）については、まだ分かっていないことがたくさんあります。」
この研究結果は、AIツールの医療への導入について重大な懸念を提起しています。このニュースは、マイクロソフトが 人間の医師よりも4倍の精度と20%のコスト削減を実現した新しいAI医療ツールを発表した直後に発表されました。同社のAI担当CEOは、これを「医療におけるスーパーインテリジェンスへの真の一歩」と評しました。
これらはすべて、生成 AI が医療のような複雑な分野で完全に信頼できるようになるまでには、まだ長い道のりがあることを示唆しています。
ケビン・オケムワは、ケニアのナイロビを拠点とするベテランのテクノロジージャーナリストです。Windows Centralで業界の最新トレンドや動向を幅広く取材し、豊富な経験を有しています。イノベーションへの情熱と細部への鋭い洞察力を持つ彼は、OnMSFT、MakeUseOf、Windows Reportといった主要メディアに寄稿し、Microsoftエコシステムを取り巻くあらゆるトピックについて、洞察力に富んだ分析と最新ニュースを提供しています。常に変化するテクノロジーのトレンドを追っている暇な時は、世界を旅したり、音楽を聴いたりしています。