UEでELF-SR2を使うTips

UEでELF-SR2を使うTips とか あぶち (@abricheese)

あぶち： 「UEでELF-SR2を使うTipsとか」 #UEMConnect 自己紹介 あぶち (@abricheese) ノンゲームXRエンジニア＠鹿児島 コミュニティやってます ・XRミートアップ鹿児島 ・UE九州 サーモンとお寿司とゲームと漫画が好き 地方民でも最新技術に触れられる/学べる環境を 作りたい/増やしたい

あぶち： 「UEでELF-SR2を使うTipsとか」 #UEMConnect 宣伝 鹿児島初？のUnreal Engine/UEFN大規模イベントを開催します！ ■第2回 Unreal Engine KYUSHU LT会 in 鹿児島 日時：7/6(土) 午後 場所：鹿児島市/オンライン配信 申込ページ： https://ue-9shu.connpass.com/event/315861/ 参加者/登壇者募集中！！

あぶち： 「UEでELF-SR2を使うTipsとか」 #UEMConnect ELF-SR2とは？ ソニー製の空間再現ディスプレイ サイズ：27型（前モデルELF-SR1は15.6型） 直売価格：55万円 ディスプレイ上部のカメラで顔の位置を検出して 体験者の位置に合わせて立体映像を表示する https://www.youtube.com/watch?v=JsSt_j3YO8k より引用

• https://www.youtube.com/watch?v=JsSt_j3YO8k

あぶち： 「UEでELF-SR2を使うTipsとか」 #UEMConnect 平面の画像で 見せられても よく分からん……

あぶち： 「UEでELF-SR2を使うTipsとか」 #UEMConnect 3Dスキャンするとこんな感じ Scaniverseの3D Gaussian Splattingでスキャン https://www.youtube.com/shorts/26p3DuGD3Yg

• https://www.youtube.com/shorts/26p3DuGD3Yg

あぶち： 「UEでELF-SR2を使うTipsとか」 #UEMConnect #ELFSR2開発リレー とは？ マルチクリエイターの朱護あかね(@AkemoriAkane)ちゃんが自費で購入したELF-SR2を 様々なクリエイターに無償で貸し出してくれる神企画 \Vtuberじゃないよ！/ 朱護あかねちゃんは他にもELF開発者のDiscordコミュニティを運営したり、 ELFのコンテンツだけを集めた展示イベントを開催したりしている リレー企画の意図 空間再現ディスプレイのSDKアップデートが続くためには、ユーザー・開発者が一人でも増え て、クリエイターが何を求めているかをソニーさんに伝え続けることが大事（中略） 定期的にコミュニティで話題になることが大事だと思って、リレー企画を始めました。 （https://note.com/sonycorporation/n/n74cdfeceb8f2?sub_rt=share_pw より引用）

あぶち： 「UEでELF-SR2を使うTipsとか」 #UEMConnect UE5ぷちコンに応募したもの https://www.youtube.com/watch?v=ZnMyUvGW8aY

• https://www.youtube.com/watch?v=ZnMyUvGW8aY

あぶち： 「UEでELF-SR2を使うTipsとか」 #UEMConnect UE向け開発情報をググる ほとんど情報が出てこない……！ 私が見つけられたのは公式ドキュメントとヒストリア神のブログくらい ELFSR2開発リレーの精神に則って情報発信しなければ！

あぶち： 「UEでELF-SR2を使うTipsとか」 #UEMConnect UEでELF-SR2向けに 開発するTips 検証環境 Windows11 UE5.3.2

あぶち： 「UEでELF-SR2を使うTipsとか」 #UEMConnect プラグイン・テンプレート 導入 公式ドキュメントの通りにやればOK https://www.sony.net/Products/Developer-SpatialReality-display/jp/develop/UnrealEngine/Setup.html ELF用のテンプレートをエンジンに追加できる →→→ https://dev.epicgames.com/documentation/jajp/unreal-engine/converting-a-project-to-an-unrealengine-template?application_version=5.4

• https://www.sony.net/Products/Developer-Spatial-
• https://dev.epicgames.com/documentation/ja-

あぶち： 「UEでELF-SR2を使うTipsとか」 #UEMConnect サンプルのバグ対応 公式サンプル（https://www.sony.net/Products/Developer-Spatial-Realitydisplay/jp/develop/UnrealEngine/Samples.html）をUE5.3.2で開くとエラーが発生した 解決策： サンプルプロジェクト内にUE4向けのプラグインが同梱されているので、Pluginsフォルダ内を 使用するエンジンバージョンのプラグインに置き換える https://twitter.com/abricheese/status/1763843892141813876

• https://twitter.com/abricheese/status/1763843892141813876

あぶち： 「UEでELF-SR2を使うTipsとか」 #UEMConnect プロジェクトのELF対応 ELFへの対応方法 公式のテンプレート/サンプルを基に プロジェクト作成する 既存プロジェクトに公式プラグインを 追加し、SRDisplayManagerを 配置する（未検証） 参考記事： https://historia.co.jp/archives/17680/

• https://historia.co.jp/archives/17680/

あぶち： 「UEでELF-SR2を使うTipsとか」 #UEMConnect カメラの動かし方 SRDisplayManagerを移動/回転/拡大縮小することで、 画面に描画される映像の位置/角度/大きさを調整できる （デフォルトはSRDisplayManagerのスケールが10倍になっている） 移動するコンテンツを作りたいときはSRDisplayManagerをPawnにアタッチして動かすのが楽 ※画面から一定以上手前または奥にあるものを描画すると目に負担がかかるため、 描画しないなどの工夫が必要 （公式サンプルやヒストリア様の記事（https://historia.co.jp/archives/17680/）参照）

あぶち： 「UEでELF-SR2を使うTipsとか」 #UEMConnect https://www.youtube.com/watch?v=ZPjNTsr9rcQ カメラの挙動 ELFの画面位置にUEのカメラがあるのではなく、プレイヤーの 物理的な立ち位置に存在するカメラから見える景色が 画面上に切り抜かれている カメラの距離に応じて色が変わるマテリアルを使用している場合…… プレイヤーが後ろに下がると、ディスプレイから同じ距離のはずのメッシュの色が変わる

• https://www.youtube.com/watch?v=ZPjNTsr9rcQ

あぶち： 「UEでELF-SR2を使うTipsとか」 #UEMConnect 本体なしでのプレビュー方法 そのままプレビュー実行するとエラーが発生する Failed to detect Spatial Reality Display... 解決策： プロジェクト設定＞プラグイン＞SRDisplay＞Run Without SRDisplay ModeをTrueに ※実際の画角と異なるので注意！（見え方の確認ではなく、BPの動作確認程度には使える） Unityのマニュアルにしかこの情報載ってませんでしたソニー様……

あぶち： 「UEでELF-SR2を使うTipsとか」 #UEMConnect 壁掛けモード ELF-SR2はVESAマウント搭載でモニターアームに設置できる！ 通常45度に傾けて使用するが、垂直に立てて表示することも可能！ →より奥行き感アップ！！ 最新のUE Plugin 2.3.0でWallmount modeを公式サポート 使い方：SRDisplayManagerのEnable Wall Mout ModeをTrueに 2024/5/1時点でフラグをTrueにしてもうまく機能せず…… 対処方法： フラグをFalseにしてSRDisplayManagerの角度を45度傾ける （https://twitter.com/abricheese/status/1785576773918576826）

あぶち： 「UEでELF-SR2を使うTipsとか」 #UEMConnect デバッグ文字列表示 UE標準のPrintStringはよく見えない（OutputLogから確認は可能）→ 対処方法： プレイ中のリアルタイムログ表示はBP_SRDisplayDebugManagerを使うのがおすすめ TextRenderに文字列表示するイベントを追加した

あぶち： 「UEでELF-SR2を使うTipsとか」 #UEMConnect 3D Gaussian Splattingを 表示してみた 結論：特別な設定などは必要なく、ちゃんと立体的に表示できた！！ 使用プラグイン：XV3DGS-UEPlugin https://github.com/xverse-engine/XV3DGS-UEPlugin 使用データ： Scaniverse/LumaAIで撮影した3D Gaussian Splattingを.ply形式でダウンロードしたもの 手順： ELFのテンプレートに.plyファイルを プラグインのマニュアル通りに取り込んで配置 https://www.youtube.com/watch?v=yEoDZ2tX9KQ

• https://www.youtube.com/watch?v=yEoDZ2tX9KQ

あぶち： 「UEでELF-SR2を使うTipsとか」 #UEMConnect まとめ ELF-SR2開発楽しい！！ 開発してみたくなった方は「#ELFSR2開発リレー」に 手を挙げてみよう！！（空き枠があるかは不明） 他にもTipsあればぜひ教えてください！ 開発情報増やそう！！

あぶち： 「UEでELF-SR2を使うTipsとか」 #UEMConnect ご清聴ありがとうございました