ライブエンタメ産業におけるUnityの活用と未来

2.1K Views

October 26, 22

スライド概要

stuが目指す、ライブエンタテイメント業界のDX化に向け取り組んできた実績と、思い描く未来について、Unityを用いたテクノロジーをベースに解説いたします。

こんな人におすすめ:
・ライブエンタテインメントに興味があるUnityエンジニア/デザイナーの方
・産業分野でのUnityの活用に興味のある方
・次世代の制作ワークフローに興味のある方

受講者が得られる知見:
・ライブエンタテインメント業界がどのように成り立っているのか
・ライブエンタテインメントの将来の形がどのように変化していくのか
・Unityがライブエンタテインメントにどのようにインテグレートされていくのか

出演:
高尾 航大 (株式会社stu)
青木 雄斗 (株式会社stu)

--
初出: SYNC 2022 #UnitySYNC
https://events.unity3d.jp/sync/

profile-image

リアルタイム3Dコンテンツを制作・運用するための世界的にリードするプラットフォームである「Unity」の日本国内における販売、サポート、コミュニティ活動、研究開発、教育支援を行っています。ゲーム開発者からアーティスト、建築家、自動車デザイナー、映画製作者など、さまざまなクリエイターがUnityを使い想像力を発揮しています。

シェア

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
1.

ライブエンタテインメント産業における Unityの活用と未来 株式会社 stu - 高尾航大 / 青木雄斗 Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

2.

登壇者紹介 高尾 航大 青木 雄斗 テクニカルプロデューサー システムエンジニア CTO-Room CTO-Room Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

3.

AGENDA ◆ 弊社の活動紹介 ◆ ライブ産業におけるUnityの活用について ◆ ライブ制作を支えるプレビズシステム ◆ メタバースライブの同期制御 ◆ 我々が目指すライブの未来について Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

4.

弊社の活動紹介 Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

5.

リアル と バーチャル の 架け橋 となる会社 R Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL V

6.

“リアル” での活動 NHK 紅白歌合戦 TWICE DOME TOUR “Dreamday” ライブ演出プロデュース・制作 Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

7.

“リアル” での活動 BE:FIRST Betrayal Game BE:FIRST Scream MVプロデュース・制作 Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

8.

“リアル” での活動 Local 5G Live Solutions 沖縄アリーナ ライブ向けLocal5Gソリューション・施設設計 Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

9.

“バーチャル” での活動 メタバース番組プラットフォーム開発 番組制作・運用支援 Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

10.

“バーチャル” での活動 バーチャルライブ企画・制作 Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

11.

弊社が掲げるビジョン Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

12.

ライブ制作を支えるプレビズ技術 Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

13.

プレビズの必要性 映像産業では一般的になっているプレビジュアライゼーション。 しかしながら、ライブ産業では未だにプレビズワークフローが 存在しません 意外かもしれませんが、2回、3回と全体リハーサルをしている現場は稀で ほとんどぶっつけ本番で演出をしているのが現状です。 クオリティの向上や、ワークフローの改善にはイテレーションが不可欠なはずですよね。 Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

14.

なぜこれらの問題が起こるのか? 人件費・機材費・会場費が莫大にかかるから 実際の物理的な会場で物事が動くので、コストが半端ではない 場所的、時間的な拘束も当然ながら多くなる 都度チームが組成されるから IT業界では一般的なSlackなどの利用もなく、LINE等でクローズドコミュニケーション CGプロダクションの黎明期 (ShotGridがなかった時代) と非常に似ていませんか? そして、この改善に取り組んできた事業者が、残念ながら居なかった。 そんな問題を我々はDXで解決したい。 Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

15.

どう解決する? まずはリハーサルをバーチャル空間で置き換えるための施策に取り組んでいます。 https://j-lodr3.jp/subsidy4/case-02/ ライブ制作におけるデジタルツインプレビズワークフローの導入 Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

16.

ライブリハーサルのデジタルツイン化 物理会場でのリハーサル開催は、多額のコストがかかる 技術リハーサル1回に 1000万円 近くかかる 技術がうまくいかなければ演出チェックもできない 現場がピリついて心理的安全性も低くなりがちです... Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

17.

ライブリハーサルのデジタルツイン化 バーチャルに置き換えれば、 ・何回でも演出チェックができる ・人がわざわざ集まらなくてもよい ・アセット化できる ・大幅なコストダウン Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

18.

どうすれば使ってもらえる? どんなに優れたツールでも、導入してもらえなければ意味が無いですよね 現場スタッフ用のツールは存在するが、マネジメントを包括したものは存在しない マネジメントサイドが導入しやすいソフトウェアにする必要がある = 操作が簡単・PCスペック不要 さらに 現場のスタッフの要求に耐えるプロフェッショナル仕様も同時に備える = 高機能・ハイエンドグラフィック どちらも置いてけぼりにしないDXが求められます Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

19.

既存ワークフローとの親和性 既存の現場オペレーションはそのまま踏襲する Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

20.

プレビズソフトウェアの全貌 Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

21.

プレビズソフトウェアの全貌 Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

22.

プレビズソフトウェアの全貌 Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

23.

各セクションの実装解説 : 照明編 Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

24.

Unityでの照明シミュレーション : LightViz Unity上で動作するライブステージのリアルタイムビジュアライゼーションシステム。 ・照明 ・セット可動 ・LEDビジョン ・特殊効果 のシミュレーションが可能 Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

25.

Unityでの照明シミュレーション : LightViz 実際のアーティストの本番の照明演出をリアルタイムに抽出した事例 Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

26.

各セクションの実装解説 : 立ち位置編 Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

27.

アーティストのデジタル化 ボリューメトリックキャプチャの活用 Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

28.

各セクションの実装解説 : 会場編 Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

29.

ライブ会場のCG化 レーザースキャン : RTC360 でキャプチャ。2分程でデータが完成する。 点群データをVFXGraphの立方体表示で十分実用に耐えた Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

30.

各セクションの実装解説 : カメラ編 Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

31.

カメラワーク Unity LiveCapture の活用 実際のカメラマンに操作 してもらう Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

32.

カメラワーク 実際のカメラのトラッキングにも対応 光学式カメラトラッキングシステム 機械式カメラトラッキングシステム https://www.youtube.com/watch?v=_Xz73QoADoQ https://www.youtube.com/watch?v=KWa-ruUbBOo Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

33.

そして大事なのは手軽さ Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

34.

クラウドレンダリング技術 チェックバックに高性能PCを使わなくてはならないのはナンセンス。 低スペック端末でも HDRPが動かせる! Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

35.

まとめ このようにして、プレビズソフトウェアを広く使ってもらえるような開発を進めています。 産業分野でのUnityの活用がもっともっと増えてくれると嬉しい限りです。 Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

36.

メタバースライブの技術的課題と解決 Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

37.

そもそもメタバースライブって? 明確な定義はありませんが、かいつまんで言うと…… ● バーチャルタレントのアバター(またはリアルタレントの映像)が歌ったり踊ったりする ● ユーザーが自宅からアバターでログインして、同じ空間でライブを楽しむ という要素が含まれることが多い。 「バーチャルライブ」と呼ばれていたものが「メタバースライブ」と呼ばれる比率が上がってい る。専用のプラットフォームを開発する場合もあれば、Fortnite のように、既存ゲームの中でイベ ント的に行う場合もある。 「バーチャルキャラクターのライブ」としては物理会場のスクリーンに投影する形式のライブもあ るため、今回はユーザーがアバターログインする形態のライブを指して「メタバースライブ」とい う言葉を使うことにする。 Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

38.

バーチャルライブの技術的課題 事前収録の技術的課題 ● 双方向性の欠如 ● 事前ダウンロードサイズの肥大化 リアルタイムの技術的課題 ● 伝送経路の異なる複数メディアの同期ずれ ● 大量ユーザーへの配信が非現実的 Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

39.

バーチャルライブの技術的課題 事前収録の技術的課題 ● 双方向性の欠如 ● 事前ダウンロードサイズの肥大化 リアルタイムの技術的課題 ● 伝送経路の異なる複数メディアの同期ずれ ● 大量ユーザーへの配信が非現実的 Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

40.

バーチャルライブの技術的課題 スタジオ 事前収録方式とは 事前に収録されたアニメーションをインター ネット経由でダウンロードし、クライアント 上で 3D モデルに反映することで再生する方 法。現存する多くのメタバースライブがこの 方式を採用する。 音声、楽曲、モーションなどをすべて事前に ダウンロードすることになる。 データ化 ユーザーPC アップロード (事前) タイムラインは概ね一本道で、クライアント は開始シグナルを受信して再生を開始する。 ダウンロードが完了してしまえば、事故が起 こりづらいという大きなメリットがある。 読み込み Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL ダウンロード (事前)

41.

バーチャルライブの技術的課題 スタジオ 事前収録の技術的課題① 双方向性の欠如 リアルタイムなパフォーマンスと異なり、 オーディエンスとの双方向性を演出に組み込 むことができない。 双方向性のある演出とは、例えばオーディエ ンスのペンライトの色を見て MC で反応した り、掛け合いをしたり、一緒にゲームをした り……等。 データ化 ユーザーPC 読み込み Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL アップロード (事前) ダウンロード (事前)

42.

バーチャルライブの技術的課題 事前収録の技術的課題② 事前ダウンロードサイズの肥大化 数時間のライブのモーションを含むデータをクライアントに事前配信する場合、アクターの人 数に応じて GB 単位のデータをクライアントにダウンロードさせる必要がある。 💦 継続的にプレイするゲームと異なり、単発の体験が多いバーチャルライブにおいては、事前に ダウンロードするデータ(要求するストレージの空き容量)は少ない方が望ましい。 読み込み Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL ダウンロード

43.

バーチャルライブの技術的課題 事前収録の技術的課題 ● 双方向性の欠如 ● 事前ダウンロードサイズの肥大化 リアルタイムの技術的課題 ● 伝送経路の異なる複数メディアの同期ずれ ● 大量ユーザーへの配信が非現実的 Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

44.

バーチャルライブの技術的課題 スタジオ リアルタイム方式とは TCP などの通信方式を用い、キャプチャーし たデータを即時インターネット経由でクライ アントにストリーミング伝送する方法。 データ化 音声とモーションをストリーミングし、楽曲 音源などは事前収録方式との組み合わせにな ることが多い。 ユーザーPC リアルタイム 伝送 リアルタイム MC としてユーザーとのコミュ ニケーションを取りながらのライブが実現で きるのが大きなメリット。 リアルタイム 伝送 Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

45.

バーチャルライブの技術的課題 リアルタイムの技術的課題① 伝送経路の異なる複数メディアの同期ずれ リアルタイム配信のバーチャルライブにおいては、「モーション」「音声」「口パク」などの 複数種のデータを同時伝送することが重要になる。 ここで「音声」を RTC などの音声配信の仕組み、「モーション」「口パク」を独自の配信機構 で送信する場合、相互にタイミングずれが発生する可能性がある。 RTC (100〜200ms) TCP (50〜1000ms) クライアントPC Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

46.

バーチャルライブの技術的課題 リアルタイムの技術的課題② 大量ユーザーへの配信が非現実的 音声や映像でないデータ、つまりモーションキャプチャーやリップシンクを含むデータをリア ルタイムに送信するためには、一般に MQTT や WebSocket、UDP や TCP 上に構築した独自 プロトコルなどが使われる。 これらのプロトコルは数万オーダーの大量接続が難しく、サーバーのスケールアウトで対応す ることが要求される。 Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

47.

マルチメディア同時伝送プロトコル MSSP Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

48.

Multimedia Simul-Streaming Protocol メディアタイプの異なる時系列データを単一のセグメントにパッケージングし、インターネット越しに配信することでメ ディアタイプ間のタイミングを保証した状態でクライアントに伝送する技術。 特徴として「事前同期」と「セグメンテーション」によって CDN 経由での大量接続を実現することができる。 VR空間 (クライアント) イベント会場 インターネット LTC DMX Movie / Sound Motion Capture Volumetric Capture Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

49.

MSSP = HLS や MPEG-DASH を参考に さまざまなメディアタイプをセグメント化する技術 ● 音声, 映像, モーションキャプチャデータ, MIDI, OSC, DMX, Alembicデータなど、 デジタルデータであれば、どのような内容でも含めることができる ● フォーマットの中身に関与しないため、含めるデータをそれぞれ 最適な圧縮アルゴリズムで圧縮することができる ● ストリームデータはセグメント(=ファイル)に分割されるため、 CDN 経由で配信することができる ● 同期が取れたデータソースを MSSP で送信することで、 受信側でも同様の状態でデータを再生することができる Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

50.

ライブで使用されるデジタル信号 一般的なライブ卓は、有線で接続されたローカルネットワークで構成されている Sound data XLR, Canon cable DMX data DMX cable Video data SDI, HDMI cable Real-time motion capture data VBH Format (LAN) OSC data OSC Protocol (LAN) これらの信号を同期を保ったままインターネットを介して配信できるようになることで、 ライブ演出をリモートで制御でき、リアルタイムのバーチャルライブを実現 Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

51.

データ送信構造 (CDN 利用) Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

52.

データセグメントの構造 Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

53.

通信データ圧縮 MSSP で扱うデータソースは、個別に異なるアルゴリズムを用いて圧縮することができる。 データが連続的に変化する場合に利用でき、圧縮率と計算量が常に固定になる ADPCM (Adaptive Differential Pulse Code Modulation) などが最適なケースもある。 ADPCM は通常、音声の圧縮に使われるアルゴリズムであるが、実は変化が連続的なデータ であれば何にでも適用可能。 ADPCM の実装方式にもよるが、検証で利用した ima-adpcm では 16bit 整数から 4 bit 整 数への固定長圧縮を行うことができる。 Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

54.

通信データ圧縮 メリットが大きかったものとして、モーションデータの ADPCM 圧縮が挙げられる。 通常、モーションデータは各ボーンの回転を Quaternion によって表すが、Quaternion に よる回転には連続的でない変化が存在するため、そのまま ADPCM で圧縮することができ ない。 そこで可動域によるポーズ表現を用いることで、モーションデータも ADPCM で圧縮する ことができるようになった。代表的なものとして、Unity が提供する Humanoid の Muscle がある。 Muscle 値 Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

55.

参考テクノロジー HLS Video streaming protocol (by Apple) The .m3u8 file contains a group of URLs of the segments stored in the CDN, and the video data of the corresponding time is acquired. MPEG-DASH Video streaming protocol (by MPEG). It uses .mpd file instead of .m3u8. MMT In addition to the similar video distribution functions as HLS/DASH, synchronized playback with multiple MMT streams is possible. Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

56.

実運用例 48kHzの音声データ(x4), モーキャプデータ(Humanoidx3)を MSSP + CDN で配信 講談社VRラボ様 バーチャルライブ ほぷ★サマ 2nd Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

57.

未来の展望 Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

58.

MSSPによるリアルとバーチャルの接続 ボリューメトリックビデオの遠隔伝送に 研究機関 対応するための開発を推し進める 現実のライブをそっくりそのままリアルタイムで バーチャル空間上へ持っていくことができるように! 産学連携しながら最先端の研究開発を推進 エンジンサポート Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL ボリューメトリック キャプチャスタジオ

59.

技術の掛け合わせによるライブ産業のDX RemoteStudio LiveStream Previz CloudStreaming Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL SyncSystem

60.

弊社が掲げるビジョン Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL

61.

ご清聴いただき、ありがとうございました。 Copyright Ⓒ2022 stu, inc All Right Reserved / CONFIDENTIAL