卒業研究_第1回中間発表_プレゼン

2025年7月3日 卒業研究 登尾研究室 第1回中間報告 HT23A083 平山 隼也

1.研究背景・研究目的 2 . 3 D G a u s s i a n S p l att i n g に つ いて 3.使用機材・ソフトウェア 4.研究進捗 5.今後の研究課題 6.今後の予定

研 究 背 景 ・ 研 究 目 標

研究背景 • 現実空間をバーチャル上で再現する手法である， “ 3 D G a u s s i a n S p l a t t i n g ” を 応 用 し て， 医療看護の研修等で使用することが出来るのではないか？ ➢ 手 術 室 や 併 設 施 設 を 事 前 に 撮 影 ・ 空 間 生 成 し て お く こ と で， 患者や利用者が利用する時間や目を気にせずに研修を行える． ➢ 患者や利用者に施設の説明する手段が増える．

研究目標 • 本学の手術室（四条畷キャンパス8号館 臨床工学実習室）を 撮影し，3DVR空間上に再現する． ➢ 健 康 情 報 学 部 健 康 情 報 学 科 に 協 力 を 仰 ぎ， 撮 影 を 行 う． • 現 実 と 3 D V R 上 を 比 べ た と き に， そ れ ぞ れ で 見 え る 景 色 に 違 和 感 を感じないようにする． • Unityで3DVR空間をビルドし，VRゴーグル上で閲覧できるよう にする． • 誰 で も， ど こ で も 3 D V R 空 間 が 閲 覧 で き る 環 境 を つ く る ．

3D Gaussian Splatting に つ い て

3 D G a u s s i a n S p l att i n g に つ いて （ 1 / 2 ） • 複数の写真を解析た点群から3D物体データを生成する （3D Gaussian）。 • 3 D G a u s s i a n を シ ーン の カ メ ラ 姿 勢 に 合 わ せ て、 2D画像（視点画面）に高速描画する（Splat）。 • 3D Gaussian + Splat = 3D Gaussian Splatting （3DGS ） ➢ 同様の技術としてフォトグラメトリが挙げられるが、 3DGSの方が比較的細部表現が得意でレンダリング時間も高速。 ➢ 一 方 で、 3 D G S は メ モ リ 消 費 量 が 大 き い 。

3 D G a u s s i a n S p l att i n g に つ いて （ 2 / 2 ） • Gaussian Splatting は楕円形状の立体確率分布で3次元空間を 構成する（3Dガウス）。 • 3 D ガ ウ ス 1 つ 1 つ に 、 座 標 情 報 “ x , y, z ” 、 共 分 散 “ Σ （ シ グ マ ） ” 、 不透明度“α”、色情報が含まれる。

使 用 機 材 ・ ソ フ ト ウ ェ ア

使用機材 Insta360 ONE X2 • 手術室撮影に使用 RTX3060 搭載P C • 3DGS生成に使用 画像引用元： https://www.insta360.com/jp/product/insta360-onex2 https://nvidianews.nvidia.com/multimedia/corporate/nvidia-logos

• https://www.insta360.com/jp/product/insta360-onex2
• https://nvidianews.nvidia.com/multimedia/corporate/nvidia-logos

使用ソフトウェア ※ Insta360 STUDIO I n sta 3 6 0 製 品 で 撮 影 し た デ ー タ を 編 集 し た り， 他 形 式 で 書 き 出 しで き る ソ フ ト ． 多 角 度 か ら の 画 像 を 基 に， 深 層 学 習 を 用 いて 3 D G a u s s i a n S p l att i n g を 生 成 す る ソ フ ト ． SuperSplat Webブラウザ上で3DGSデータ を編集できるサイト． 3DGSデータをVRヘッドセット で再現するために使用した開発 環境． ※ 最新版 Postshot ではバグが多数報告されているため，過去の Ver.0.5.263 を使用した．

研 究 進 捗

研究進捗（1/8） • I n s t a 3 6 0 O N E X 2 付 属 の 自 撮 り 棒 を 本 体 に 取 り 付 け， 自撮り棒を持ちながら，手術室を一周する 360 度動画 を撮影した． ➢ 右図のように本体に自撮り棒を取り付けた． • 生 成 品 質 向 上 の た め に， 室 内 上 部 と 下 部 に 分 け て 撮 影 を行った．

実 際 に 撮 影 し て， 正 距 円 筒 図 法 に 変 換 し た 動 画 研究進捗（2/8） （室内上部を撮影）

研究進捗（3/8） • 撮影した360度動画を正距円筒図法の動画で書き出し， P y t h o n を 用 い て， 1 フ レ ー ム 毎 に 1 4 分 割 し た 画 像 に 変 換 し た ． ➢ 14分割 = 立方面方向 6 + 頂点方向 8

研究進捗（4/8） 分割画像より抜粋 （ 室 内 上 部 撮 影 ・ 1 5 フレーム目）

研究進捗（5/8） • 1 4 分 割 画 像 に 写 っ た 撮 影 者 や 過 度 な 逆 光 な ど， ノ イ ズ に な る 画像を削除・選別を行った． ➢ 4,453枚（削除前）→2,285枚（削除後） • 選別後の全画像を Postsh ot にインポートし，3 DGS の生成を 実行した． • 生 成 後 は P LY フ ァ イ ル と し て 保 存 さ れ た ．

研 究 進 捗 （ 6 / 8 ） 生成した3DGS（SuperSplat にて表示）

研究進捗（7/8） • 画 像 選 別 し ても ノ イ ズ （ も や ） が 発 生 す る た め， 手 作 業 で 除 去 する必要があった． ➢ Postsh ot や PlayC anvas でノイズを除去 ↓空中にもやが発生

研究進捗（8/8） ノイズ除去後 ↓もや除去後

今 後 の 研 究 課 題

今後の研究課題 • 生成3DGSの品質向上を目指す ➢ 撮影方法の工夫やPython のパラメータを変更 • Unityで3DGSを表示させ，VRのビルドが出来るようにする ➢ 研究中 • iOSやAndroidからのWebブラウザ上で3DGSを閲覧できるよ うにする（WebXR） ➢ 研究検討中、次スライドにて詳細

W e bX R を 用 い た 遠 隔 3 D G S ビ ュ ー ワ ー （ 仮 構 想 ） • Quest、PSVR、VisionOS、iOS、Androidなどで動作 • Webブラウザ上でXR体験が出来る PlayCanvas Engine（WebGLベー ス）で表示処理高速化の見込み WebXR API経由 で閲覧 WebXR対応ブラウザで アクセス サイトに埋め込んだ WebXRを見る • 患者等にアクセスしても らい閲覧してもらう VRデバイス 空間内移動は コントローラで行う https://immersive-web.github.io/webxr-samples/index.html （VR） https://immersive-web.github.io/webxr-samples/teleportation.html （テレポート） https://qiita.com/yushimatenjin/items/74ea9ad7ea9ad3b539e4 （playcanvas vr） 3DGS アップロード SuperSplat

• https://immersive-web.github.io/webxr-samples/index.html
• https://immersive-web.github.io/webxr-samples/teleportation.html
• https://qiita.com/yushimatenjin/items/74ea9ad7ea9ad3b539e4

今 後 の 予 定

今後の予定 7月中 VR完成 8月 WebXRの研究着手 10月16日 第2回中間報告会 11月 論文作成開始 12月15日 論文提出 12月25・26日 最終発表会