アドビは、クリエイターの祭典であるAdobe MAX 2023の「Sneaks」セッションにおいて、生成AIを使用して画像編集を進化させる強力なオブジェクト認識編集エンジン「Project Stardust」や写真やビデオ、オーディオ、3D、デザイン、ファッションなど複数のクリエイティブ領域をまたぎ、生成AIと3Dテクノロジーを駆使した開発中の新技術の数々を発表した。
「Project Stardust」は、複雑な形状の対象物の選択、編集、削除を簡素化し、あらゆるユーザーが直感的かつ手軽そしてスピーディーに画像編集を行えるようにしたもの。例えば、写真の中の人物を選択し、構図内の別の場所に移動させ、その人物がいた位置の背景を塗りつぶすといったことが可能。また、人物の服の色や立っている位置などの要素を変更することもでき、レイヤーを持つファイルのように、あらゆる画像編集ができるようになるという。
アドビの研究開発部門 Adobe Research バイスプレジデント兼フェロー ギャビン ミラー（Gavin Miller）氏は次のようにコメントしている。
Adobe Sneaksは、毎年MAXで見逃すことのできない人気セッションですが、これには理由があります。将来のアドビ製品を支えるかもしれない最先端技術を、優秀な従業員が実演してくれることほど刺激的なことはないからです。
一つひとつのプレゼンテーションに私たちのクリエイターへの情熱が込められ、今年のショーケース全体としては、生成 AI と 3D テクノロジーを駆使してクリエイティブな表現をさらに加速させ、アドビのツールの可能性を再解釈するエキサイティングな新しいアプローチが示されるでしょう。
今年のSneaksで紹介するイノベーションには、ビデオ＆オーディオ、アニメーション、モーショングラフィックスのワークフローを再構築してくれる生成AIや、インスピレーションの探索やアイデア出しのプロセスを加速したり、映像制作などのポストプロダクションにかかる時間を数日から数分に短縮したりできるような強力なプロジェクトが含まれているという。
（以下、プレスリリースより引用）
■写真
- Project Stardust：画像編集に革命をもたらす強力なオブジェクト認識型画像編集エンジンで、オブジェクトのクリックだけで移動、削除を実現します。ユーザーは、任意の画像内の複雑な要素を簡単に選択、編集、削除できます。これにより、写真の中の人物を選択し、構図内の別の場所に移動させ、その人物が居た位置の背景を塗りつぶすといったことができます。また、人物の服の色や立っている位置などの要素を変更することもでき、レイヤーを持つファイルのように、あらゆる画像編集が可能です。
- Project See Through：写真から反射の映り込みを簡単に除去するAI 搭載ツールです。ガラスの映り込みは、それがかぶると被写体が見えづらくなり、写真を台無しにしてしまうという問題があります。既存のソフトウェアでこれを除去するのは不可能に近い難しさですが、このツールはそのプロセスを劇的にシンプルなものにします。
■ビデオ＆オーディオ
- Project Fast Fill：Adobe Fireflyの生成AI のパワーが初めてビデオにもたらされます。シンプルなテキストプロンプト入力だけで画像コンテンツの追加、削除、拡張を行う生成AI 機能「生成塗りつぶし」はAdobe Photoshop にすでに搭載済みですが、このプロジェクトはAdobe Premiere Pro やAdobe After Effectsなどのビデオ編集ツールにプロンプト入力に対応した生成AI が搭載されたらどうなるかを示すプロトタイプです。
- Project Dub Dub Dub：動画の多言語吹き替えプロセスを自動化するプロジェクトで、これまで労力とコストがかかっていたプロセスをワンクリックで終わらせることができます。AIを活用して、動画のオーディオトラックを自動的にすべての対応言語に翻訳し、セリフのタイミングもオリジナルトラックと同期するように調整するため、追加の編集を加えずにそのまま配信することを可能にします。
- Project Scene Change：動画エディターのためのプロジェクトで、異なるカメラ軌道で別々に撮影された被写体と背景シーンの2つの動画素材からオブジェクトとシーンを抽出し、カメラモーションが同期した1 つのシーンとして合成します。
- Project Res Up：革新的な拡散ベースのアップサンプリング技術を使って、ビデオを低解像度から高解像度に簡単に変換します。
■3D＆デザイン
- Project Poseable：AI ベースの画像生成モデルにおけるブレークスルーで、人物写真から抽出したポーズなどの大きな3D オブジェクトをシームレスかつ容易に編集できるようにします。今回のプロトタイプは、テキスト入力から3D レンダリングを作成し、奥行きと遠近法の整合性がとれた状態でオブジェクトをシーンに配置できるPoseableテクノロジーと統合されています。従来のポーズ制御システムによる3Dシーンの作成は技術的に複雑で時間がかかるものでしたが、このプロジェクトは、創造的なビジョンを広げてくれる使いやすい代替手段を提供します。
- Project Neo：3D 作成ツールの知識がなくても2D デザインに3D シェイプを組み込めるようにします。インフォグラフィックスやポスター、ロゴなどの2D デザインを手がけるクリエイターにとって、3D要素を取り入れるには複雑なワークフローと長年の経験が必要とされますが、このプロジェクトは使い慣れた2D ツールと手法を用いて簡素化された3D をデザインに取り入れることを可能にします。
- Project Primrose：衣服をクリエイティブなキャンバスに変身させ、技術とファッションの境界を融合する可能性を秘めた柔軟なテキスタイルディスプレイです。このインタラクティブなドレスは、Adobe Firefly 、After Effects 、Adobe Stock 、AdobeIllustrator で作成されたコンテンツを表示することで、無限のスタイルの可能性を提供できます。
- Project Glyph Ease：グリフ（各文字の具体的なデザインや形状）のデザインに伴う面倒なプロセスを合理化し、カスタマイズされたレタリングをより手軽に作成できるようにします。紙面上のタイポグラフィの文字のサンプルや手描きイメージのスキャンを出発点に、AI を使って入力されたレタリングスタイルに一致するグリフ一式を自動的に生成します。生成されたグリフは、Adobe Illustratorで簡単に編集することができます。
- Project Draw & Delight：生成AIツール一式を提供し、最初のアイデア（多くの場合、ラフな落書きや走り書きとして表現される）を洗練されたスケッチに変換し、カラーパレット、スタイルバリエーション、さまざまな背景を試すことから、誰もが創作を 進められるよう支援します。
