Adobe、Premiere Proの生成AI機能を先行公開。OpenAI SoraやRunwayのモデルも統合、物体の追加・削除やフレーム生成など

NAB Show 2024にあわせて、Adobeが動画編集アプリ Premiere Pro に追加予定の生成AI機能を先行公開しました。

Adobeが公開したデモは、実写動画から不要な物体や部分を1クリックで選択して削除したり、AI生成で被写体を追加、衣装など部分を変更、クリップの長さを延長など。

動画生成にはAdobeが独自に開発中の Firefly 動画モデルに加えて、OpenAI Sora や Runway、Pika Labs といったサードパーティのモデルもPremiere Pro内から直接利用できるようにし、クリエーターが各モデルを必要に応じて選べるようになります。

Adobeが先行公開した機能は、

Generative Extend (生成拡張)

すでにある映像から新たなフレームを生成して尺を伸ばす。トランジション効果の追加など編集の都合であと少し長さが欲しいときに。

Object Addition ＆ Removal (オブジェクトの追加と削除)

Photoshopで進化してきた被写体選択と生成塗りつぶしの動画版。開発中の動画版 Firefly を使い、背景の一部や人物、物体などを指定して、生成AIで消した部分を埋める。

応用として物体の追加や入れ替えも。映り込んだ邪魔な物体を消すほか、他社の権利侵害になりかねない表示や背景の削除変更、役者の衣装の一部を変更など。

Text to Video (テキストから動画生成)

Premiere Pro内で直接、テキストや参照画像から動画を生成。

こうした機能の基盤となる生成AIモデルは、Adobe独自のFireflyを動画に拡張したモデルを開発中であるほか、将来的にはOpenAI の Sora や Runway、Pika Labsなど他社のモデルも、プラグインのように追加して選べるようになる計画です。

生成AIの悪用が懸念されるフェイク動画や、動画の真正性の問題については、生成AIで作成したアセットに出自や内容を示すコンテンツクレデンシャルを付与します。

コンテンツクレデンシャルを確認することで、AIを使って生成した動画なのか、どのモデルを使用したか等を確認できる仕組みです。

Premiere Proへの生成AIビデオツール追加は年内の予定。