マイクロソフトは、Windows 11の新機能AI Recallとアプリを統合する方法を詳しく説明しています。

知っておくべきこと

• Microsoft は、Build 2024 で新しい Windows Copilot Runtime と Semantic Index テクノロジの詳細を説明しました。
• これらのテクノロジは、Recall など、昨日 Windows 11 向けに発表された多くの新しい AI エクスペリエンスの基盤となっています。
• Windows Recall は、デバイス上の AI モデルを使用して機能する注目の AI 機能です。
• アプリ開発者は Windows Recall を活用して、Recall が保存した内容に基づいてユーザーがアプリに戻れるようにすることができます。

Microsoftは本日、新たに発表されたWindows Recall機能が、Windows Semantic IndexとWindows Copilot Runtimeを活用し、Copilot+搭載PCでどのように動作するかについて詳しく説明しました。また、アプリ開発者がWindows Recallとの連携を強化するための方法についても詳しく説明しました。Recallで取得したスナップショットとサードパーティ製アプリ間のよりシームレスな連携を実現するためのサポートも含まれています。

新しいWindows Copilotライブラリには、40以上のデバイス内AIモデルとアルゴリズムを活用したAPIセットが含まれており、Windowsに直接組み込まれています。このライブラリは、Windows Studioエフェクト、ライブキャプション、Snipping ToolのOCR、そして新たに追加されたWindows Recall機能など、Windowsの多くの新しいAI機能の基盤となっています。

Microsoftは、Recallは多くのアプリで自動的に動作するはずだと述べていますが、開発者はUser Activity APIを介して基盤となるベクターデータベースにコンテキスト情報を追加することで、エクスペリエンスを強化できます。これにより、RecallアプリはRecallが認識したアプリ内の同じ部分にすぐに戻ることができるようになり、よりシームレスなエクスペリエンスが実現します。

Microsoft PowerPointとTeamsは、このフローをサポートする最初のMicrosoftアプリであり、サードパーティのスケッチアプリConceptsもこれをサポートしています。さらに、MicrosoftはWindows Recall機能の実際の仕組みを以下のように説明しています。

Recallデータベースは、Windows上の検索を再定義する新しいOS機能であるWindowsセマンティックインデックスを搭載しています。Recallは、マルチモーダルSLMを含む複数の最先端AIモデルを基盤としており、OS自体に統合され、同時に実行されます。 

これらのモデルは、さまざまな種類のコンテンツを理解し、複数の言語で動作することで、Windows内のテキスト、画像、動画など、膨大な情報を整理します。これらのデータは変換され、「Windows セマンティック インデックス」と呼ばれるベクターストアに保存されます。セマンティック インデックスはユーザーのローカルデバイス上に完全に保存され、自然言語検索でアクセスできます。この緊密な統合により、データがローカルデバイスから出ることなく、プライバシーに対する独自の堅牢なアプローチが可能になります。

マイクロソフトは、この体験は完全にデバイス上で処理されるという点を強調しています。Recallが処理するデータは一切クラウドに送信されず、MicrosoftはRecallから生成されたデータを使ってAIモデルを学習することもありません。 

Windows Recall は Copilot+ PC でのみ利用可能で、最初の PC は来月から出荷が開始されます。 

ザック・ボウデンはWindows Centralのシニアエディターで、2016年からこのサイトに携わっています。Windows、Surface、そしてハードウェアの世界を独占的に取材しています。また、希少なMicrosoftのプロトタイプデバイスの熱心なコレクターでもあります。TwitterとThreadsで最新情報をお届けします。