AI 搭載のチャットボットは、肯定的な強化を使用したり、モデルに信じ込ませたりすることで、数学の問題をよりうまく解決できます。
知っておくべきこと
- 最近、科学者のグループが、AIチャットボットにスタートレックにいると信じ込ませると、数学の問題を解く能力が向上することを発見した。
- この研究では、「あなたはChatGPTと同じくらい賢い」などの動機付けや励ましの言葉が、チャットボットが数学的な質問をより適切に処理するのに役立つことも明らかになりました。
- 研究者らは、Meta の Llama 2 と Mistral AI の 2 つのバージョンを中心に研究を行いました。
- ユーザーは、チャットボットが不正確な応答を生成することに苦情を申し立てており、チャットボットを「愚か」と呼ぶ者もいる。
AI 搭載チャットボットに望みどおりに動作させる方法に関する最新エピソードでは、チャットボットを騙して数学の問題に対する正確な応答や答えを生成させる方法を学びます。
特定のプロンプトがチャットボットの潜在能力を最大限に引き出し、最終的にはユーザーにより良い、よりシームレスな体験を提供することは、以前から知られています。OpenAIのChatGPTが、チップを渡したふりをすると正確で詳細な応答を生成する傾向があることを、あるユーザーが発見したのを覚えていますか？
ここ数ヶ月、これらのチャットボットの利用におけるユーザーエクスペリエンスの低下について、ソーシャルメディアプラットフォーム上でユーザーから露骨な苦情が寄せられています。中には、チャットボットが問い合わせに対して不正確で誤った回答をしていると報告するユーザーもいます（中には、チャットボットがますます愚かになっていると指摘するユーザーもいます）。
続きを読む: Copilotがロシアの野党指導者に関する偽の声明を作成
興味深いことに、VMwareの科学者グループが最近、奇妙な発見をしました。彼らの新たな研究によると、AI搭載チャットボットは、SFドラマシリーズ「スタートレック」の登場人物になったつもりで話すと、数学関連の質問にうまく答えてくれるそうです（NewScientistより）。
スタートレックとは、テクノロジー、多様性、倫理、探検など、様々なテーマを軸にしたSFシリーズです。このテレビ番組のストーリーは、人類が惑星や種族を超えて協力し合う未来を描いています。ここでは番組の詳細な内容については触れませんが、カーク船長、スポック、ピカードといった象徴的で記憶に残るキャラクターが登場します。熱心なトレックファンなら、この番組から複数のスピンオフシリーズが生まれたことはご存知でしょう。
AI チャットボットの数学能力を高めるにはどうすればよいでしょうか?
この研究に携わった科学者たちは、チャットボットが数学の問題や方程式に対してより正確な回答を生成できるようにするために、様々な方法をテストしました。その中には、肯定的な強化法も含まれていました。具体的には、「深呼吸をして、一歩ずつ取り組んでみましょう」といった親しみやすい励ましの言葉を用い、最後に「あなたはChatGPTと同じくらい賢いです」「これは楽しいでしょう！」といった肯定的な言葉を添えました。
Windows と Xbox の熱狂的なファンのための最新ニュース、レビュー、ガイド。
関連記事： Microsoft Copilotに悪の双子、SupremacyAGIが登場
科学者たちは、Meta の Llama 2 と Mistral AI の 2 つのバージョンでこれらのテストと実験を実行し、次のような結果を得ました。
「プロンプトの些細な変更がパフォーマンスにこれほど劇的な変化をもたらすというのは驚きであると同時に苛立たしいことです。」
研究者らは、GSM8K（標準的な小学校の算数の問題）を使用して、クエリに組み込まれた動機付けのフレーズや発言がチャットボットの応答にプラスの影響を与えるかどうかを判断しました。
当初、これらのトリックの効果は不明瞭でした。一部のチャットボットの出力には大きな改善が見られた一方で、他のチャットボットの出力には変化が見られなかったためです。科学者たちは、自動化されたプロセスを活用し、様々なプロンプトのバリエーションを使用することで、チャットボットの出力精度を向上させました。これは、科学者による手書きのプロンプトと比較して、目的を達成するためのより効率的かつ効果的な方法であることが証明されました。
調査結果によると、次のフレーズでプロンプトを開始すると、数学の質問に対する最も正確な回答を生成するのに非常に効率的かつ効果的であることが判明しました。
「船長日誌、宇宙日付[ここに日付を挿入]:。」
その結果、科学者たちは、スタートレックから直接引用されプロンプトに統合されたいくつかの参照がチャットボットのパフォーマンスにプラスの影響を与え、最終的に数学的な質問に対する応答の品質を強化し改善したと信じるに至りました。
驚くべきことに、モデルの数学的推論能力は、スタートレックに対する親近感を表現することによって強化されるようです。
VMwareの研究者
特定のタスクで良い成果を上げ、報酬や励ましを与えられると、人は仕事のパフォーマンスを向上させる可能性が高くなります。賄賂を受け取った場合にも同じことが言えます。おそらく、これはAI搭載のチャットボットにも当てはまるでしょう。ユーザーが仕事がうまくいったとチップを渡したふりをしたり、プロンプトにモチベーションや賞賛のフレーズを含めたりすると、モデルがより良い出力を生成する理由も、このことが納得できる説明となるでしょう。
ケビン・オケムワは、ケニアのナイロビを拠点とするベテランのテクノロジージャーナリストです。Windows Centralで業界の最新トレンドや動向を幅広く取材し、豊富な経験を有しています。イノベーションへの情熱と細部への鋭い洞察力を持つ彼は、OnMSFT、MakeUseOf、Windows Reportといった主要メディアに寄稿し、Microsoftエコシステムを取り巻くあらゆるトピックについて、洞察力に富んだ分析と最新ニュースを提供しています。常に変化するテクノロジーのトレンドを追っている暇な時は、世界を旅したり、音楽を聴いたりしています。