東京大学のグループにより、リアルタイムで高品質な仮想試着ができるシステムが開発された。本技術を活かせば、オンラインショッピングにおいて様々なサイズやデザインの衣服を試着室で鏡を見ているような感覚で試着したり、ビデオ会議において仮想的に好きな衣服を着る（合成表示する）ことなどが可能となる。
今回の技術では、顧客が計測用の衣服を着てカメラの前に立つと、商品の衣服を着た画像がリアルタイムで生成される。従来の仮想的な試着の実現手法では、多種の衣服に対して汎用的に一つの深層学習モデルを構築するのが一般的だったが、これでは、スムーズかつ高品質な試着画像のリアルタイム生成が難しい。そこで、本グループは、特定の衣服の画像の生成に対象を絞って深層学習モデルを構築することで、様々な体形や姿勢変化にも対応した試着画像の生成を可能にした。
本技術を実現する画像変換ネットワークの訓練には、膨大な量の入力画像（計測服を着た人間の画像）と出力画像（試着対象の衣服を着た人間の画像）が必要だったため、研究グループは体形や姿勢を数値的に制御できる訓練データ撮影専用のロボットマネキンも開発した。ロボットマネキンを利用して体形と姿勢を変えながら大量の画像を取得して学習させることで、高品質な画像を生成する深層学習モデルが出来上がった。
オンラインでの購買や会議が加速度的に普及する中、本研究で開発したシステムは、様々なポーズや衣服のサイズに応じた詳細な衣服の変形の様子までをリアルタイムで生成でき、多様な目的での活用が期待できる。研究グループは実用化に向け、今後さらなる最適化や自由度の向上を目指すとしている。
論文情報：
【ACM UIST 2021】Per Garment Capture and Synthesis for Real-time Virtual Try-on
