Copilot Visionを試してみた：ちょっと不気味だけど、まあまあ便利 — これが私の感想です
Windows 11（および10）では、米国のユーザーがCopilot Visionを利用できるようになりました。これは、コンピューターでのほぼすべての作業を補助するAIアシスタントです。本当に使えるのか知りたいですか？さて、実際に試してみました。このガイドでは、この機能が何を提供してくれるのか、どのように利用できるのか、そして私の個人的な体験談をご紹介します。
Copilotアプリの「Vision」は、チャットボットと画面を共有できる機能です。チャットボットは画面上の内容を理解し、解釈することができます。まるで第二の目のように機能し、アプリやブラウザに表示されているコンテンツに基づいて、リアルタイムのサポート、回答、インサイトを提供します。
これはオプトイン機能であるため、Copilot アプリ バージョン 1.25061.104.0 以降のリリースで手動で有効化する必要があります。Microsoft Edge ブラウザをご利用の場合は、Copilot 統合を通じてこの機能にアクセスすることもできます。
DRM で保護された素材や他の種類の制限されたコンテンツでない限り、AI は事実上あらゆるコンテンツを表示できることに注意することが重要です。
この機能は、Windows 10 および 11 で Copilot Pro サブスクリプションを持っていない人でも利用できます。iOS および Android でも Copilot Vision にアクセスできますが、これらのモバイル デバイスで使用するにはサブスクリプションが必要です。
このガイドでは、この機能を使い始めるための手順を概説し、私の経験を共有します。
Windows 11でCopilot Visionを入手して有効にする方法
Copilot Visionは、Copilotアプリバージョン1.25061.104.0以降から米国でご利用いただけます。そのため、まずはMicrosoft Store >ダウンロードを開き、 「更新プログラムの確認」ボタンをクリックして、お使いのコンピューターに最新バージョンのアプリがインストールされていることを確認してください。
Windows と Xbox の熱狂的なファンのための最新ニュース、レビュー、ガイド。
以前にアプリをアンインストールした場合は、Microsoft Store アプリから入手できます。
MicrosoftはVisionはオプトイン機能だと説明しており、画面共有には許可を与える必要があるため、技術的には正確です。しかし、設定ページでこの機能を完全にオフにするオプションがないため、実際にはデフォルトで有効になっています。
Copilotの設定ページには「ハイライト」のオン/オフを切り替えるオプションしかありませんが、この機能はAIが画面上のアクションを視覚的に指摘する機能を制御するものであり、アプリ内でのこの機能の可用性を制御するものではありません。
Copilot の使用に不安がある場合は、[設定] > [アプリ] > [インストール済みアプリ] から削除し、「Copilot」エントリの[アンインストール]オプションをクリックすることをお勧めします。
Windows 11でCopilot Visionを使用した感想
Copilot Visionを初めて使った時は、今まで見たことのないシステムだったので少し違和感がありました。テキストや音声プロンプトで内容を入力する必要はなく、チャットボットが既に状況を把握していて、サポートしてくれました。
完全に正確というわけではありませんが、コンピューターでの作業の将来をいち早く予告するものと言えます。
はじめる
Copilot Vision が自分のコンピューターで利用できることがわかったので、いくつかのアプリを開き、スタート メニューから Copilot アプリを起動し、「Vision」 (メガネ) ボタンをクリックし、共有するアプリを選択して、「共有」トグル スイッチをオンにしました。
アプリの質問テスト
メモ帳アプリで、アプリケーションのデフォルトフォントを変更する方法を Copilot に表示するように要求しましたが、間違った回答が返されました。
Copilot の回答は、 「表示」メニューを確認するというものでしたが、設計上、設定ページでは「編集」メニューから、または右上の「歯車」ボタンをクリックしてアクセスできるため、オプションはその場所にありませんでした。
最終的には消去法を使って正解しました。面白いのは、チャットボットがメモ帳のバージョンを混同したために間違いを犯したと言っていることです。メモ帳の「表示」メニューにフォント設定があった記憶はありません。
設定質問テスト
テスト プロセスの一環として、Windows 11 で設定アプリを起動し、Copilot に最新のシステム アップデートでコンピューターを更新するように依頼しました。
この場合、Microsoft Copilot with Vision は設定アプリ内であることを正しく認識し、 「Windows Update」セクションへ正確に誘導し、「更新プログラムの確認」ボタンを強調表示しました。
次に、あまり一般的ではない（しかし、それでも関連性のある）質問をしてみました。アップデート中にコンピューターが他のデバイスにアップデートをアップロードしないようにするにはどうすればよいか、と尋ねました。特に複雑なリクエストではありませんでしたが、アシスタントがより微妙なユーザーの意図を解釈する能力を試すことができました。
最初の試みでは、Visionは質問を誤解し、デバイスのアップデートに関する一般的な手順を表示しました。しかし、2回目の試みでは、言い回しを修正した後、質問を正しく認識しました。
しかし、そのガイダンスは画面に表示された内容と矛盾していました。例えば、私が何も操作していないにもかかわらず、アップデート共有機能を無効化できたと表示されました。これは、アシスタントが実際のシステム状態を分析するのではなく、想定される動作に基づいて推測している可能性を示唆していました。
物体認識テスト
次のテストでは、Copilot が画面上のオブジェクトを認識できるかどうかを確認したかったので、画像を開いて特定のオブジェクトを特定するように依頼しました。
この例では、赤いジャケットの画像があり、チャットボットは商品を識別して説明すると同時に、リクエストに応じてより詳しいコンテキスト情報を提供することができました。
しかし、チャットボットはジャケットが Amazon で入手可能であることを認識していましたが、別のタブで画像を開いたにもかかわらず、実際の商品ページにいないことを認識せず、商品ページの情報を提供できませんでした。
Copilot Visionでできることのもう一つは、画像からテキストを抽出することです。以前は、オペレーティングシステムが画像からテキストを検出して抽出することはできませんでしたが、今ではこのタスクを実行する方法が数多くあります。
たとえば、PowerToys、Snipping Tool、Click to Do を通じてテキスト抽出機能が利用可能になりましたが、今では Copilot Vision も使用できるようになりました。
このテキストテストでは、設定アプリのゲームモードページを開き、テキストを抽出できるかどうかを尋ねました。チャットボットはページ上のすべての内容を読み上げることができました。
唯一の難点は、Click to Doのように抽出したテキストをクリップボードにコピーしたり、テキストを選択したりできないことです。ただし、チャットボットはCopilotアプリ内のすべてをチャット履歴の一部として書き起こしました。
ライティングテキストテスト
画面上のあらゆるものについて、技術的にはどんな質問でもできます。ファイルを開いていれば、AIにグラフやその他のデータを分析するよう指示することもできます。
シーンやイメージを説明したり、ランドマークや場所を特定したり、想像できるほぼすべてのことを尋ねることができます。
テキストに取り組んでいる場合は、テキストを読んでもらい、改善するためのアイデアを提案してもらえます。
最終テストでは、メモ帳にテキストをいくつか入力し、チャットボットにテキストを長くするように依頼したところ、代替バージョンを提案してもらえました。
アシスタントが画面上のテキストを理解して代替バージョンを共有できたのは印象的でしたが、その後のアクションを理解する点ではそれほど正確ではありませんでした。
テキストをコピーして提案に置き換えることはできないことはわかっていましたが、テキストの代替バージョンをコピーして貼り付けることはできるかどうか尋ねたところ、代わりに挿入を行うためのファイル内のセクションが示されました。
ここでの秘訣は、Copilot Vision を開いて閉じ、Copilot インターフェースからチャット履歴からテキストを選択してコピーすることです。
最後に
長年ガイドを書いてきた者から見ると、画面上のコンテンツを理解し、支援を提供するこのテクノロジーは印象的です。
ただし、間違いが多く発生するため、実行したいアクションについてある程度理解していない場合は、あまり役に立たない可能性があります。
また、知っているかのように振る舞いますが、それは依然としてオンラインですでに利用可能なコンテンツを繰り返す AI です。
時々、Copilot Vision を使用すると、電話でテクニカル サポートと話しているような感じになります。チャットボットは画面を見ることはできますが、テクニカル サポート エージェントがサポートするようにガイドし、通常はタスクが完了したかどうかを理解しないからです。
さらに、ほとんどの場合、指示は非常に具体的で、実行したいアクションの具体的な内容まで明確に伝える必要があります。これは、ユーザーの意図を自然に理解するはずのAIの目的を本質的に損なうことになります。この機能は主に技術に詳しくないユーザー向けに設計されており、技術に精通したユーザーはこの機能に頼る可能性が低いことを覚えておくことが重要です。
全体的に見て、Visionはパーソナルアシスタントとしての可能性を秘めているものの、より深い文脈認識と精度にはさらなる改良が必要です。画面上のコンテンツの現状を積極的に観察して反応するというよりは、コマンドに基づいて「推測」しているような印象でした。
最後に、このガイドで使用した具体的な質問は本題とは関係がないため、ここでは記載しません。チャットボットの目的は、まるで人間と話しているかのように、通常の会話をすることです。
また、この機能はユーザーに代わってアクションを起こすことはできません。画面上のコンテンツを分析することしかできません。アクションを起こすにはAIがエージェントとして動作する必要がありますが、現在、この機能はCopilot+搭載PCのみで、設定アプリから限定的に利用できます。
最後に、この機能は無料ですが、制限があります。例えば、私はMicrosoft 365のサブスクリプションを所有しているのですが、アプリを数回操作した後、Copilot Proへのアップグレードを促すメッセージが表示されました。
したがって、問題のトラブルシューティングを行っている最中の場合は、AI アシスタントに問題の解決を完了させるために料金を請求される可能性があります。
その他のリソース
Windows 11 と 10 を最大限に活用するための、より詳しいハウツーガイド、トラブルシューティングのアドバイス、重要なヒントをご覧ください。こちらからご覧ください。
- Windows CentralのWindows 11 — 知っておくべきことすべて
- Windows Central の Windows 10 — 知っておくべきことすべて
Mauro Huculakは、WindowsCentral.comのWindows How-To Expertとして10年近く寄稿しており、ITおよびテクニカルライティングの分野で合計22年以上の経験を有しています。Microsoft、Cisco、VMware、CompTIAなどから様々な専門資格を取得しており、長年にわたりMicrosoft MVPとして認められています。