サイバーエージェント ゲーム・エンターテイメント事業部が3月7日に開催した、エンジニア・クリエイター向けの技術カンファレンス「CyberAgent Game Conference 2024」。「プロジェクトセカイ カラフルステージ！ feat. 初音ミク」～3Dバーチャルライブの体験を支えるクリエイティブ～のレポートをお届けする。

藤本誠人氏（Colorful Palette アニメーションディレクター）、伊東勇輔氏（Colorful Palette エフェクトアーティスト）が登壇した本セッションは、「プロジェクトセカイ カラフルステージ！ feat. 初音ミク（以下、プロセカ）」内で配信されている3Dバーチャルライブ「コネクトライブ」において、より魅力的なライブ体験を提供するためにクリエイティブとしてどのような工夫をしてきたかを紹介するものとなっていた。

なお、これまでのコネクトライブにおける取り組みについては、以下の記事を確認してもらえるとより理解しやすくなるかと思うので、ぜひ参照いただきたい。

■「コネクトライブ」とは？

コネクトライブを簡単に説明すると、「プロセカ」のゲーム内で、フルバージョンの楽曲のダンスやキャラクターによるトークを、リアルタイムで配信してくれるものとなっている。ユーザーのコールやメッセージにキャラクターがその場で反応してくれるといった、ライブ体験をほかのユーザーと一緒にゲーム上で楽しめる点が魅力となっている。

配信時にはモーションキャプチャースタジオにてアクターによるモーション収録を行い、リアルタイムでキャプチャーしている。

2023年には3月から10月の約8ヶ月の期間、各ユニットの単独ライブ4回、そして3周年ライブ1回の計5回におよぶライブが実施された。それぞれのライブはユニットの特徴やコンセプトを活かすためにさまざまな工夫がなされており、本セッションでは各公演における体験の向上においてクリエイティブとして重視した、「新しい体験の提供」「エラーで体験を落とさない」の2つにフォーカスして紹介していった。

■新しい体験の提供

1つ目の「新しい体験の提供」に関しては、ライブ企画チームの考えるライブ体験を1つでも多く実現するため、クリエイティブやエンジニアが行う技術面のサポートを紹介。限られた期間の中でどのようなアプローチをとればより効果的に表現できるのか、そして実現が難しい場合には何を優先して実装していくのかを公演ごとに議論していったそう。

コネクトライブでは、Unityのタイムライン機能を活用してライブシーンを制作。ベースとなるタイムラインの構成は「楽曲パートのタイムライン」と「MCパートのタイムライン」の大きく2つになっており、ライブの進行に合わせてモーションキャプチャースタジオ内のオペレーション制御で出し分けを行っている。

楽曲タイムラインは楽曲の尺に合わせて1曲毎に用意され、ステージおよびキャラクターの照明やモニター映像、エフェクトなどが一括で制御されている。一方、MCタイムラインではリアルタイムという性質から尺が固定できないため、基本的にループする作りで制作され、本番の進行に合わせて切り替えを行う。

このように、構造をシンプルかつ汎用性の高いものにすることで、都度開発をすることなくさまざまな表現ができるようになっている。

実際の事例として、「MORE MORE JUMP！ 1st JUMPIN！」では、中央にモニター型のオブジェクトを配置して、タイミングに合わせて切り替えることで、違和感なく楽曲中にキャラクターを登場させる演出を行ったり、完全暗転を行わずに前後楽曲の状態をMCタイムラインに設定することで、曲繋ぎをシームレスにつないだりといった取り組みが行われたそう。

「Leo/need 1st SPARKLE」では、自己紹介時に楽器を使ったり、MC中に楽器を置くといった動作を入れるため、MCタイムライン中にスタンドオブジェクトを表示し、モーションキャプチャースタジオ内の同位置に実物のスタンドを置いたりして、ユニットの特徴でもある楽器を使ったパフォーマンスを表現。また、MC中のコーナーとして用意されていた楽曲当てクイズは、楽器による音と動作を合わせるのが難しいため、この部分だけ楽曲タイムラインに切り替えることで実現したという。

「25時、ナイトコードで。 1st moment」においては、物語に合わせた感情の起伏をステージの鮮やかさで表現する手法が取られたが、こちらは遷移アニメーションを入れたMCタイムラインを用意し、シームレスに切り替えるというアプローチで表現。また、バーチャルライブという空間を活かして、現実にはできない文字などの演出を入れることで、より印象的なカットを制作した。

ストーリー仕立ての演出が印象的だった「ワンダーランズ×ショウタイム 1st STORIES」においては、遊園地が復興していくシナリオを遊園地の3Dモデルに変化を加えることで表現。通常時とは異なるモデルをMCタイムラインに組み込み、シナリオの進行に応じて切り替えていった。また、当初は入れる予定になかったというネネロボの存在については、社内のメンバーがモデリングからアニメーションまでを有志で行って実装に至ったそう。楽曲タイムライン内でモデルの呼び出しとアニメーションの制御を行っており、これに伴いリハーサル時にキャラクターの振り付けにも調整が入っている。

そして、最後に行われた「コネクトライブ 3rd ANNIVERSARY Memorial Stage」では、ステージサイズを従来の倍程度に拡大するとともに、センターステージから正面ステージへと変更し、ライトやモニターの配置も正面ステージ用に変えている。360度から見えるという従来のメリットは無くなるものの、エフェクトによる演出など正面から見ることができるからこその表現も多くあったという。2階席を配置するといった、遊び心のある仕様変更も行われている。

さらに、コール＆レスポンスをできるボタンの配置、タイムライン側の負荷対策や精度の高いキャラクター切り替えをできる機能による、フル尺楽曲よりも長いメドレー楽曲の実現、キャラクターをモニターに映す機能の実装といった、さらなる体験の提供が行われた。

既存の機能を多数活用することで最低限の機能でもさまざまな表現を実現できたことがわかる反面、一部力技で実現をしている箇所もあり、そちらについてはクリエイティブ側で配慮する必要があったそうで、相互のバランスによって成り立っていることが良く分かる説明となっていた。

■エラーで体験を落とさない

2つ目の「エラーで体験を落とさない」については、どれだけ良いライブを作ったとしても大きなエラーが起きるだけで現実に戻されてしまうことから、少しでもエラーを減らすための取り組みを紹介。特に「コネクトライブ」はリアルタイムという性質上、エラーの影響が大きいため、より意識して取り組んでいるという。

コネクトライブにおいて気をつけた点は大きく3つ。まずはタイムライン周りの配慮として、楽曲タイムラインとMCタイムラインの繋ぎ目を正しく用意する必要があると説明。ただし、現場での対応を考えると、いかにシンプルに作るかも大事だという。また、タイムラインの切り替え時に数値の変更を行うにあたり、意図しない挙動をしないように切り替わる際に数値を初期化するリセットアニメーションを用意している。

リアルタイムで進行する特性上から、現場オペレーションでの柔軟な対応についても言及。問題の究明をしやすくするためにゲーム内や現場の構造を理解しておく必要性があること、そして多くのタイムラインを扱う上でステータスの把握や管理も重要になることから、オペレーション台本と呼ばれるシートを用意していることが紹介された。

最後に触れたのが、経験値を貯めて公演毎にブラッシュアップしていくということ。ある意味当たり前のことではあるのだが、公演中の意図しないエラーは避けられないため、起きてしまった場合の対処を重視し、次は起こさないようにチームとして取り組んでいくという。そうした取り組みの甲斐もあり、新たな挑戦を盛り込みながらもここ数回のコネクトライブは無事故で完走できているとのこと。

上記を踏まえてのまとめで語られたのは、有限のリソースを用いて最大の効果を出すため、いかにコスパよく良いものを作れるかを考える必要があるという点。今回語られた過程を実際の体験と照らし合わせてみると、とても納得感のある内容だったとともに、今後のコネクトライブにおいても期待を抱かせるものだった。

配信アーカイブ
https://www.youtube.com/watch?v=GZzY_EREA7Q

(C) SEGA / (C) Colorful Palette Inc. / (C) Crypton Future Media, INC. www.piapro.net All rights reserved.