筆者は今、薄暗く照らされたカフェにいる。少し離れたテーブル席にも2人いて、コーヒーかワインかカクテルか、と注文を決めようとしているところだ。Googleの従業員が1人、見たことのない装置を持って入ってくる。装置には2台のスマートフォン、「Pixel 8 Pro」と「Pixel 7 Pro」が取り付けられている。2人が座っているテーブルは、キャンドルとストリングライトで照らされており、装置を持った従業員はそのテーブルに近づいていくと、2台を同時に使って撮影を始めた。
残念ながら、カフェといっても実際にはカプチーノもカクテルも出てこない。ここは、Googleが同社の「Pixel」シリーズのカメラをテストするために作った精巧な環境の一角だ。「Real World Testing Lab」と呼ばれるこの施設に、Pixelカメラチームが米CNETのLexy Savvides記者と筆者を招待してくれた。同社のフラッグシップモデルであるPixelの動画撮影機能をどのようにして進化させているか、その一端を披露する目的だ。この施設に入室を許可されたのは、メディアでは筆者らが初めてとなる。
大きな校正用チャートや産業用機械があるわけではなく、白衣を着た従業員もいない。代わりに、リビングルームのセットや前述のカフェのセットがあり、従業員はレトロな「ジョーダン」スニーカーを履いている。テストルームというより、IKEAの家具が展示されたルームセットといったところだ。ここ以外の非公開エリアもあるが、そちらへの立ち入りは許可されなかった。
カフェの天井には各種の照明器具が取り付けられていて、いくぶんテレビスタジオのような印象もある。照明はそれぞれ、色温度と照度が調整できるので、エンジニアはテストの内容に応じて望みの雰囲気を作り出すことが可能だ。この照明とリアルなセット（本物のペットの代わりに、おもちゃの犬まで置いてある）を使うと、深夜の光に照らされたリビングルームとか、窓から日の出の光が差し込むカフェなど、さまざまな場面を再現できる。
「実際のユーザーも、リビングルームやカフェのような場所で写真を撮っている」と、GoogleのPixelカメラ担当グループプロダクトマネージャーを務めるIsaac Reynolds氏が話してくれた。
先ほどカフェの客としてテーブル席で撮影されていたのは、Googleの従業員であるKenny Sulaimon氏とKevin Fu氏で、ともにPixelカメラ担当のプロダクトマネージャーを務めている。両氏は、Pixel 8 Proと1世代前のPixel 7 Proとで撮影した動画の違いを示すために、低照度での動画撮影テストを実演してくれていたのだ。記事内の動画をご覧いただければ、2台の比較動画だけでなく、このテスト施設の様子も見ることができる。薄暗い照明環境で行ったこのときのテストでも、Pixel 8 Proで撮影した動画の方が優れているのは、一目瞭然だ。
「われわれには、毎日いつでもカメラをテストできる環境が必要だ」。Reynolds氏がこう説明する。「朝でも晩でも、いつでも新機能をテストしなければならないが、自宅のリビングルームはいつでも使えるとは限らず、照明の条件も一定ではない」
ラボの制御自在の環境であれば、Pixelの写真が常に一定の出来栄えになるように、技術者が同じシナリオを何度でもテストすることができる。Googleキャンパスのカフェでテストしても、同じようにはいかないだろう。光の具合は日によって変わるし、同じ場所に陣取って全く同じ条件でテストを繰り返せるとも限らないからだ。
カメラチームがこのラボで行う作業はすべて、Pixelの動画撮影機能の向上が目的だ。長い間、Pixelの写真はトップクラスだったが、動画となるとそこまでではなかったため、これは難しいタスクだ。
スマートフォンのカメラは、今やわれわれの生活に不可欠になっている。一人ひとりの大切な瞬間をとらえ、これから何十年も思い出を振り返らせてくれる。歴史や最新の出来事を記録するという重要な役割も果たしており、それはここ数年の間に何度も動画で見せられたとおりだ。George Floydさんの逮捕と死亡を記録した映像もその1つで、その瞬間をスマートフォンに収めたDarnella Frazierさんは、2021年にピューリッツァー賞を受賞している。
Googleは大きな影響力を持つテクノロジー企業なので、同社が下す選択には重みがあり、作っている製品以上の反響を呼ぶ。Pixelのカメラも、このラボのように、現実世界の条件を忠実に再現した環境でテストすることが重要だ。そうすることで、Googleスマートフォンのユーザーは写真でも動画でも、身の回りを確実に記録できると分かる。
Reynolds氏とチームの一行は、Pixelのカメラをいかに容赦なくテストしているか、そして画質も音質も向上するように動画撮影の質をどう改善したかについて、いろいろと案内してくれた。ラボで聞いた話の中でも特に印象的だったのは、動画の理想形について、Googleが科学的な目標を追求しているのではないということだ。Pixelカメラチームにとっては、精度に劣らず、感覚も重要なのだという。
「ただ数値的に正しい画像ができあがったとしても、それが適切な画像だとは限らない。ある瞬間をどう記憶しているかと、どう記憶したいかは常に違うもので、おそらくはカラーチャートで示される結果とも違う。それらのバランスという問題もある」、とReynolds氏は言う。
「動画ブースト」と「夜景モード」
照明の暗い場所、例えばレストランなどで写真を撮ったり、動画を撮影したりしたことはあるだろうか。写真の方は、特に夜景モードを使えば素晴らしい出来になるが、動画は写真と比べると、合格点程度にしかならない。これはGoogleに限ったことではなく、あらゆるスマートフォンメーカーが抱えている問題だ。何年も前から、写真の見栄えを良くするコンピュテーショナルフォトグラフィーのアルゴリズムが、動画には通用しなかった。
Pixelシリーズで採用されている「夜景」モードは、複数の画像から取得したデータを組み合わせて1枚の写真を生成する。明るくなってディテールも上がり、ノイズはほぼ、あるいは全くなくなる。ところが、動画に対して同じ処理をするとなると、段違いのスケールが必要になるのだ。
突きつめると、12と200という2つの数字に行き着くとReynolds氏は言う。
「最初に夜景モード機能を導入したのは何年も前のことで、目的は極めて照度の低い場所で写真を撮れるようにすることだったが、その機能を動画でも使えるようにするために、これまでずっと苦労してきた。原因は、処理対象が12メガピクセルの写真を数枚か、1秒あたり200メガピクセルの動画か、という差にある」
低照度で撮影した1分間の動画を処理するのは、1800枚（毎秒30フレーム×60秒）の写真を処理するのに等しい。
2023年秋、GoogleはPixel 8 Proに採用される新機能として、「動画ブースト」を発表した。撮影した動画のコピーを「Googleフォト」にアップロードし、クラウド上で処理するという機能だ。動画ブーストは、写真で使われているのと同じ「HDR+」アルゴリズムを使用して露出を調整し、シャドウを明るくして、色とディテールも引き上げる。明るい場所で撮影した動画でも暗い場所で撮影した動画でも機能する（Googleはこれを「ビデオ夜景モード」と呼んでいる）。
筆者の経験でも動画ブーストは、特に低照度の状況で威力を発揮する。注意が必要なのは、処理がすべて後から、スマートフォンから離れて行われるということで、結果を見られるまでに少し時間もかかる。夜景モード写真ほど手軽でないのは明らかだ。写真の場合、HDR+アルゴリズムはデバイス上で、数秒のうちに適用される。
カフェを使った別の撮影では、2人の従業員が、キャンドルの灯りのもとで「モノポリー」をプレイする。卓上には、ゲーム盤の横にカラーチャート、「眠っている」ネコのぬいぐるみ、麦わらでできたボールも載っている。照明が乏しいと、どんなカメラでも、画質がとたんに下がる。色が正確に再現されていないように見えたり、テクスチャー（今回なら、ぬいぐるみの毛、ボールのわら、ゲーム盤の文字などだ）もぼやっと甘くなって見えたりしてしまうことがある。
卓上のカラーチャートは校正済みなので、照明の条件を変えて撮影したときに色がどう見えるべきかを、チームメンバーは把握している。だが、それもプロセスの半分にすぎない。感心するのは、Reynolds氏とそのチームが、ある場面の適切な雰囲気をどう追求しているかという点だ。自分の目で見たものと一致しているかどうか、後からその瞬間を思い出したものと一致しているかどうか。スマートフォン上の各種ツールで次々と、アルゴリズム、機械学習、人工知能（AI）が利用されるようになった今、このプロセスがいかに人間的で主観的か、新鮮に感じられる。
この記事は海外Red Ventures発の記事を朝日インタラクティブが日本向けに編集したものです。
