株式会社stuは、株式会社アネックスデジタルジャパンと共同で、AIマスク生成システム「MaskPilot AI」を開発した。様々なユースケースでの検証を経て同システムの一定の有効性を実証し、特撮TVドラマ「仮面ライダーシリーズ」のマスキング作業での実運用を開始したという。
stuは、近年のAIの発展により様々な業界において効率化や革新が進んでいるという時流の中で、AIを活用した映像制作のプロダクション工程のDX化や、新しい体験の提供を目指しているという。
その一環として、2023年11月、映像制作のワークフローを綿密に検証し、映像制作の現場におけるニーズに応えるAIマスク生成技術「Scene Tracking Mask」を開発した。
関連リンク：stuはAIによる自動マスク生成技術『Scene Tracking Mask』を開発 前田敦子・工藤阿須加出演のショートフィルム「トノムラ」に技術提供 | 株式会社stuのプレスリリース
今回、新たに日本の映像制作業界において、数多くのマスキング業務を担当する株式会社アネックスデジタルジャパンが同プロジェクトへ加わり、プロユース向けの AI マスク生成システム「MaskPilot AI」を共同開発した。
近年のAIマスク技術の課題と「MaskPilot AI」
マスキング業務の経験が豊富なアネックスデジタルジャパンとの共同開発の中であがったAIマスク技術の課題として、最も大きな課題はデータの取り扱いだったという。近年台頭した強力なAIツールの多くはデータの取り扱いポリシーが曖昧あるいは提示されていないサーバー上で動作しており、未公開データや守秘性の高い知的財産権を持つデータを扱う際に、多くの懸念事項が存在したという。そのため、現場においてAIの技術をマスキングに活かしきれていなかったという。
それらの事情を考慮し、「MaskPilot AI」はデータの利用面の安全性を担保しつつ、近年の先進的なAIツールと比肩するシステムを目指して開発された。
- オンプレサーバー対応によるデータ利用面での安全性担保
「MaskPilot AI」はローカルのオンプレミスサーバー（※）で動作するようにシステムを構築。データ利用面での安全性を担保しつつ、AIを最大限活用。
※クラウドサービスを使用しないローカルサーバーのことを指す - 直感的な操作でラフマスクを自動生成
「MaskPilot AI」は、直感的なUI操作でマスク対象となるオブジェクトを選択し、ラフマスクを自動生成。複数のオブジェクト選択機能・選択したオブジェクトの自動トラッキング機能と組み合わせることで、ラフマスキングの手間を大幅に削減することを目指す。
同システムの有効性を検証するため、様々なケースで手作業の場合・同システムを使用した場合・他のAIツールを使用した場合、の合計作業時間を比較。比較検証の結果、全て手作業で行うマスキングに比べて、同システムを使用する場合は平均40％、他のAIツールを使用する場合は平均38％、合計作業時間が短縮されたという。オンプレサーバー構成でありながら、既存の強力なAIツールと比べても遜色のない効果が得られたことで、その有効性が実証された。
「MaskPilot AI」の今後の展望
検証によってその一定の有効性が確認された「MaskPilot AI」は、今後運用フェーズに入るという。特撮TVドラマ「仮面ライダーシリーズ」におけるマスキング作業に導入し、システムの使いやすさ・ラフマスク生成の性能のさらなる向上を目指すという。また、現在はラフマスクの自動生成のみだが、将来的には手作業でしか実現できなかった高精細なマスクの自動生成を視野に入れつつ、引き続きstuとアネックスデジタルジャパンで共同開発を続ける予定だという。
