Image:Google
Googleは年次開発者会議「Google I/O」にて、Googleフォトに画像を文脈を考慮して検索できる新機能「Ask Photos」を追加すると発表した。「今後数ヶ月のうちに」展開する予定だ。
これまでGoogleフォトで画像や動画を探すには、検索ボックスにキーワードを入力し、何十枚もの写真をスクロールして目視で見つけるしかなかった。新機能Ask Photosでは、Gemini AIが高度なリクエストを受付け、写真の文脈や被写体を理解し、欲しい画像を絞り込んで探せるようになる。
基調講演ではスンダー・ピチャイCEOが「私のナンバープレートの番号は何か？」と質問。するとGoogleフォトはナンバープレートの写真を提示しつつ、指定されたナンバーをテキストで答えていた。
Image:Google
さらに「想い出の検索」も実演。いつ子どもが水泳を習っていたか？と尋ねると、写真とともに時期や場所を説明するテキストも出力している。そうした何十枚もの写真を、時系列ごとに並べてもいるようだ。
こうしたAsk Photosの仕組みを、Googleは次のように説明している。
- ユーザーの質問を理解する：場所、人物、日付などの関連キーワードだけでなく、「テーマ別の誕生日パーティー」のような自然言語の概念も特定
- 回答の作成：検索結果を検討し、どれが最も関連性があり、どれが探しているものかを見極める。Geminiのマルチモーダル機能により、それぞれの写真で起こっていることを理解し、画像内のテキストも読み取る。
- 安全性の確保と修正の記憶：Ask Photosはテスト段階だが、何重ものセーフガードとAIモデルを採用。またユーザーによる回答の訂正や追加情報を記憶する
またGoogleは動画でも、Ask Photos利用可能になると予告。もっとも、実際に動画を対象にしたデモや例は示していない。
