NHK放送技術研究所が最新の研究開発成果を一般公開するイベント「技研公開2024」が、5月30日から6月2日まで開催される。これに先立ち、5月28日にプレス向け公開がおこなわれ、様々な技術研究が披露された。本稿では、事前にも告知された伸縮可能なフルカラーディスプレイや、自然光でのホログラフィー撮影技術のほか「フロンティアサイエンス」領域の展示内容を紹介する。
■伸縮するディスプレイで映像に“包み込まれる”体験を
「自由に変形できるディフォーマブルディスプレイ」として展示されていたのが、ゴム基板上に伸縮可能な配線とLEDを形成したディスプレイデバイス。あらゆる場所へ柔軟に設置できるディスプレイとして、2030年までの実用化を目指しているという。
2023年時に「イマーシブコンテンツ体験に向けたディスプレイ技術」として展示された際は発色が緑のみだったが、2024年はフルカラーとなって展示された。
ディスプレイの伸縮性自体は基板として用いられているアクリル性ゴム素材によるもの。この基板の上に、縦横に伸縮させても断線しない金属配線を形成したことが展示の白眉となる。
この伸縮可能な配線は、ガリウム合金などを調合した液体金属をインクのように用い、従来の印刷技術によってゴム基板に定着させることで形成されている。その際、液体金属の粘性・流動性を制御することで、解像度の向上につながる細い配線パターンの形成を実現したという。
より細かな配線が可能になり、画素間の接続が容易になったことで、赤・緑・青のLEDを搭載したフルカラー表示にも対応。洋服やデジタルウォッチなどウェアラブル用品のほか、映像に包み込まれるような体験ができる球状のドーム型ディスプレイや、車の内側などより複雑な形状にもフィットさせられるデバイスとして開発を続けるとのこと。
ブースでは、発光素子に約2mmのミニLEDを使用した画素数20×20（5mmピッチ）のディスプレイや、約20μmのマイクロLEDを使用した32×32（2mmピッチ）のディスプレイなどが、映像コンテンツを表示している状態で曲げたり伸ばしたりできるデモがおこなわれたほか、ドーム型ディスプレイの利用イメージとして、半球状に形成された64×64（1.5mmピッチ）のディスプレイや、空間そのものをディスプレイにできるイマーシブ映像コンテンツが楽しめる車載イメージが展示されている。
■現在のカメラとの代替を目指すホログラフィー撮影技術
「自然光でのホログラフィー撮影技術」では、平面に加えて、奥行きといった3次元情報も取得できる撮影技術を披露。一般的な撮影機器とは平面の情報のみを取得する機能を備えており、また一般的なホログラフィーはレーザー光を用いるため、撮影できる場所や被写体に制限がある。
本技術は、これらの課題を解消することを目指したもの。自然光やLED照明といった光環境においても、一般的なカメラと変わらない使用方法で、奥行きを含むX/Y/Z軸の3次元情報を撮影できる技術として開発が進められている。
3次元情報を1台のカメラ撮影できる利点は大きく2点。まず、撮影後のフォーカス調整が可能になる。フォーカスが合っていない、だけでなく、どの程度ずれているかまで検知するため、ぼやけてしまっている部分にフォーカスを合わせることはもちろん、合っているところを後天的にぼやかして、制作意図を付与することができる。
もう一つは、取得した3次元情報から立体映像を表示できること。情報を像に起こす方法は改めて確立が必要とのことだが、撮影した映像は立体映像として再構成することが可能。
展示スタッフによると、3次元情報の記録に必要なのは、同じ大きさだが位相条件が異なる（明暗のパターンが異なる）円状の4つのホログラム。円状であることで、被写体の縦・横・斜めの成分をすべて保持しているという。これらを取得した上で計算をおこなうと、下画像のように破綻のない正確な像を再形成できる。
今回、反射型液晶デバイスに代わって、入射光の減衰が少ない透過型液晶デバイスを採用することで、入光率を4倍に向上させた。入光率が向上すると、比例して信号の情報量が増加する。これによって、再生像からノイズを減らしたり、被写体の照明光の光量を落としたりできるほか、1枚の画を撮るスピードが短縮できるため、フレームレートを以前の1fpsから5fpsへと向上させることができたという。
最終的には、2次元を撮影する現在の一般的なカメラの代替として流通できることを目指しているとのこと。
■小型かつ広視野角を実現する湾曲できる撮像デバイス
「薄くて曲げられるシリコン撮像デバイス」は、小型でゆがみの少ない広視野カメラの実現を目指して研究が進められている。デバイスの支持基板を、機能に支障を来たさない薄さまで削り、酸化膜を挿入した構造を用いて、アルミ箔と同程度である0.01mmの薄型かつ、フレキシブルに曲げられる撮像デバイスの形成を実現したという。
現在流通している一般的なカメラには、CMOSに代表される撮像デバイスが搭載されている。シリコンを主な素材とする撮像デバイスは、厚くて硬く、人の力で加圧するだけで砕けてしまうもの。本項は、これを曲げられるように加工し、あらかじめ湾曲させた状態で撮像デバイスを搭載することで、レンズの特性により発生するズレや歪みなどを抑制し、画像／映像のぼやけや歪みを改善しようとする技術。
人間の目の形状をイメージするとわかりやすいが、より広い視野を得るには湾曲した形状が有利となる。撮像デバイスも湾曲率が高いほど広い視野角を得られるため、カメラ本体に曲げられる撮像デバイスを搭載することで、さらなる広視野角化を期待できるという。
また現在のカメラは平面の撮像デバイスを搭載した上で、複数枚のレンズを組み合わせる構造によって、歪みの少なさと視野角を両立させているイメージ。撮像デバイスの湾曲によって広角が得られると、そもそものレンズ収差も軽減される可能性が高いため、本体の軽量化も図ることができるという。
理想は縦横に補正をおこなう球面型とのことだが、今回は円筒型による試作が展示される。ブースでは、同じレンズ・基板・距離にある被写体に対し、デバイスの違いによる出力映像の比較が体験できる。主に横方向の補正が実現するとしているが、完全な平面と比較すると縦方向の歪みも軽減されていた。
また撮影デバイスであるCOMSはセンサーとしてPCやウェアラブルデバイスにも採用されているため、フレキシブルなデバイスとしてさまざまなハードの小型化、軽量化に寄与できるという。
■HMD製品開発のため“実世界の見え方”を検証＆スペック化
「周辺視野の知覚感度特性」は、イマーシブメディアを楽しむ手段として代表的なデバイスの一つである、HMD（ヘッドマウントディスプレイ）に求められるスペックの解明に向けておこなわれた実験結果が展示されている。
360°方向、実世界と同じように見えるのが理想的だとされるHMD。とはいえ安定した駆動と製品の製造を目指すとき、単純な表示範囲の拡大だけでは現時点で実現が難しいのも事実という。
そこで、人が感知できる視野の範囲や解像度を、より具体的に数値化することで、HMDの性能を必要以上には上げずコストの効率化に努め、しかしユーザーがより没入感のあるイマーシブ体験を得られるよう、製品の開発を助力するというのが本項。
実験の方法は、被験者を取り囲むように4Kディスプレイを配置し、被験者の顔の向きを検出、視野周辺の映像を非表示にしたり、ぼかしたりすることで、どこまで見えているのか、どのくらい精細に捉えているのか、などを検証している。
実験の結果、必要となる水平の表示視野は約240°で、さらに水平120°より外側は、解像度を視野角1°あたり4画素まで減らせることがわかったという。なお、縦方向の実験は未完了とのこと。
2027年頃までに、解像度や色に対する周辺視野の近く感度特性について測定を進め、理想的なHMD設計のほか、テーマパークなど包囲状にディスプレイが展開される場での応用に対して、設計における理想的なスペックを明らかにして、規格化していく予定。
■多様なアプローチによって音楽視聴と近い感覚の可視化を目指す
「音楽の可視化による新しいコンテンツ表現」では、実際の演奏コンテンツに可視化映像が付与されたデモ映像が展示されている。子どもから高齢者、聴覚障害者といったあらゆるユーザーに音楽をより楽しんでもらうため、音楽の可視化技術と、その技術を利用して制作した新しい音楽コンテンツを生み出していくという。
可視化は、楽曲の音程、リズム、主旋律や伴奏といった楽曲の音符構成や音楽理論・技法からなる「構造情報」と、フレーズから想起される「情感情報」からビジュアルが付与される。デザインは絵本の画風を取り入れた表現となっており、音楽を映像に変換したときに、音楽を聴いたときと近い感覚が得られることを目指しているという。
ブースでは、本技術に基づいて開発された音楽可視化ソフトウェアを活用して生成したピアノソナタの可視化映像を、演奏映像と合成することにより、音楽可視化コンテンツを試作、展示している。
