Unityを用いた医学・歯学教育用アプリの開発と運用:HMDから裸眼立体視へ

605 Views

October 25, 22

スライド概要

本講演者は、2014年よりUnityを用いた医学・歯学教育用アプリの開発を始め、手術支援や教育に実用しています。EPSON MOVERIOやMicrosoft HoloLensやMeta Questなどのスマートグラス・HMDに加え、ソニー空間再現ディスプレイやAcer SpatialLabsなどの裸眼立体視ディスプレイの活用もいち早く進めています。本講演では、今までの開発運用経験の中で明らかになった課題や、歯学部と附属病院における裸眼立体視ディスプレイ活用の最新事例について説明を行います。

こんな人におすすめ:
・XRの医学・医療分野への応用に興味がある人
・Unityで医療用アプリを作りたい人
・裸眼立体視ディスプレイに興味がある人

受講者が得られる知見:
・Unityを用いた医学・歯学教育用アプリの実例
・XRの医療分野応用における課題
・裸眼立体視ディスプレイの活用方法

出演:
板宮 朋基 (神奈川歯科大学歯学部)

--
初出: SYNC 2022 #UnitySYNC
https://events.unity3d.jp/sync/

profile-image

リアルタイム3Dコンテンツを制作・運用するための世界的にリードするプラットフォームである「Unity」の日本国内における販売、サポート、コミュニティ活動、研究開発、教育支援を行っています。ゲーム開発者からアーティスト、建築家、自動車デザイナー、映画製作者など、さまざまなクリエイターがUnityを使い想像力を発揮しています。

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
1.

ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 SYNC 2022 Unityを⽤いた医学・⻭学教育⽤アプリの 開発と運⽤︓HMDから裸眼⽴体視へ 神奈川⻭科⼤学⻭学部 総合⻭学教育学講座 教授 神奈川⻭科⼤学⼤学院 XR研究所 所⻑ 板宮 朋基 [email protected] ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 Oculus Quest⽤ビューワー Oculus Quest用医用3Dモデル操作閲覧アプリ 開発:板宮朋基 ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 HoloLensの⼿術における活⽤ by courtesy of Dr. Iwai & Dr.Sugiyama at Yokohama City University Hospital ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 本⽇の流れ •実⽤例と課題 –VR –AR •裸眼⽴体視ディスプレイの 応⽤例 •今後の展望 ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 VR180実写⽴体映像による教育研修会 専⾨医による縫合⼿技の実施例 撮影・アプリ制作︓板宮朋基 ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 AR解剖学修アプリ AR Anatomy 開発︓板宮朋基

2.

ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 神奈川⻭科⼤学⻭学部1年⽣がHoloLens 2を体験している様⼦ 神奈川⻭科⼤学⻭学部5年⽣が体験している様⼦ ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 VR HMDの利⽤の課題 • • • • • 眼の疲労、VR酔い 頭部の締め付けと重さによる不快感 顔の接触部分の⽪膚炎誘発 眼間距離の設定が必要 マスク装着時のレンズの曇り ・Wang, Y.; Zhai, G.; Chen. S.; Min, X. Assessment of eye fatigue caused by head-mounted displays using eye-tracking. Biomed Eng Online. 2019, 18(1):111. ・Hirota, M.; Kanda, H.; Endo, T.; Miyoshi, T. Comparison of visual fatigue caused by head-mounted display for virtual reality and two-dimensional display using objective and subjective evaluation. Ergonomics. 2019, 62(6):759-766. ・Chang, E.; Kim, H.; Yoo, B. Virtual Reality Sickness: A Review of Causes and Measurements. International Journal of Human Computer Interaction. 2020, Volume 36, Issue 17: 1658-1682. ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 裸眼で⽴体視が可能な空間再現ディスプレイ • • • • • ソニーが2020年10⽉に発売(55万円) ⾁眼で(裸眼で)3Dモデルの⽴体視が可能 HMDやスマートグラスの装着が不要 30cm程度の近接位置でも⽴体感が得られる 3Dモデルの表⽰サイズが精確 ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 AR スマートグラス利⽤における課題 • 85cmより近い位置に配置した3Dモデルは真に⽴体 的に⾒えていない – 近い位置に配置したモデルのサイズが実は歪んでいる (横⽅向に少し⻑い) • 装着者ごとに眼間距離(IPD)の設定が必須 →運⽤上⼿間 • ⻑時間装着は困難 →締め付け感、本体の熱さ • 衛⽣上の問題点 Itamiya T, To M, Oguchi T, Fuchida S, Matsuo M, Hasegawa I, Kawana H, Kimoto K. A Novel Anatomy Education Method Using a Spatial Reality Display Capable of Stereoscopic Imaging with the Naked Eye. Applied Sciences. 2021; 11(16):7323. ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 裸眼⽴体視が可能な空間再現ディスプレイ • • • • • • 同時に⼀名のみ⾁眼⽴体視が可能 体験者の顔の位置を⾼速度に認識 レンチキュラーレンズを利⽤した⽴体視 市販アプリはまだない→⾃分で作る必要 VR/ARアプリ開発者ならアプリ開発可能 医療分野への応⽤は本学が世界初(ソニー調べ) https://www.sony.jp/spatial-reality-display/products/ELF-SR1/

3.

ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 空間再現ディスプレイ⽤解剖学教育アプリ SR Anatomy 開発︓板宮朋基 https://youtu.be/B_-BsVQ3ok4 ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 空間再現ディスプレイ⽤DICOM 3Dビューワー DICOM⽴体視ビューワー DSRView 開発︓板宮朋基 ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 空間再現ディスプレイ⽤⻭科実習シミュレーター 触覚再現対応⻭科実習⽤シミュレーター試作版 開発︓板宮朋基 本研究はJSPS科研費22K10065の助成を受けたものです。 https://youtu.be/o8qhj_PRRAE ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 空間再現ディスプレイ⽤3Dモデルビューワー STL/OBJ⽴体視ビューワー SR View 開発︓板宮朋基 https://youtu.be/tUyA-j6eWXs https://youtu.be/DBNdeJPMDmA ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 空間再現ディスプレイ⽤3Dモデルビューワー STL/OBJ⽴体視ビューワー SR View 開発︓板宮朋基 https://youtu.be/hcaax7uG6dU 空間再現ディスプレイ⽤3Dモデルビューワー STL/OBJ⽴体視ビューワー SR View 開発︓板宮朋基 OBJデータ提供 株式会社インテグラル https://www.integralcorp.jp/skin/manufacturer/canfied-scientific/

4.

ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 空間再現ディスプレイの病院での試⽤ 協⼒︓神奈川⻭科⼤学附属病院デジタル⻭科診療科 ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 解剖実習⽀援アプリ AR Anatomy 開発︓板宮朋基 協⼒︓神奈川⻭科⼤学⻭学部解剖学講座 https://youtu.be/SA4MLl3NUcI ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 空間再現ディスプレイ利⽤の感想 ⻭学部1年⽣ 解剖実習⽀援アプリ AR Anatomy 開発︓板宮朋基 協⼒︓神奈川⻭科⼤学⻭学部解剖学講座 空間再現ディスプレイを⽤いた解剖学教育 ⻭学部1年⽣ n=49 ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 空間再現ディスプレイ利⽤の感想 ⻭学部1年⽣ ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 空間再現ディスプレイ利⽤の感想 ⻭学部1年⽣ 解剖実習⽀援アプリ AR Anatomy 開発︓板宮朋基 協⼒︓神奈川⻭科⼤学⻭学部解剖学講座 空間再現ディスプレイを⽤いた解剖学教育 ⻭学部2年⽣ ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 解剖実習⽀援アプリ AR Anatomy 開発︓板宮朋基 協⼒︓神奈川⻭科⼤学⻭学部解剖学講座 n=49 n=49 解剖実習⽀援アプリ AR Anatomy 開発︓板宮朋基 協⼒︓神奈川⻭科⼤学⻭学部解剖学講座、慶應義塾⼤学医学部解剖学教室

5.

ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 空間再現ディスプレイの教育効果 ⻭学部2年⽣ 解剖実習⽀援アプリ AR Anatomy 開発︓板宮朋基 協⼒︓神奈川⻭科⼤学⻭学部解剖学講座 ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 空間再現ディスプレイを⽤いた解剖学教育 ⻭学部5年⽣ 解剖実習⽀援アプリ AR Anatomy 開発︓板宮朋基 協⼒︓神奈川⻭科⼤学⻭学部解剖学講座、慶應義塾⼤学医学部解剖学教室 ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 空間再現ディスプレイの遠隔操作共有 ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 空間再現ディスプレイの教育効果 ⻭学部2年⽣ 解剖実習⽀援アプリ AR Anatomy 開発︓板宮朋基 協⼒︓神奈川⻭科⼤学⻭学部解剖学講座 ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 空間再現ディスプレイの遠隔操作共有 遠隔実習⽤3Dモデル操作同期アプリ試作版 開発︓板宮朋基 空間再現ディスプレイの複数接続による 遠隔実習の実施 ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 1. 裸眼⽴体視で3Dモデル が⽬の前に実在するか のように⾒えます 2. インターネット経由で 教員と学⽣の操作を共 有し記録します 教員 学⽣(⾃宅) 学⽣(⾃宅) アシスタント 遠隔実習⽤3Dモデル操作同期アプリ試作版 開発︓板宮朋基、中野亜希⼈ 本研究はJSPS科研費22K10065の助成を受けたものです。 https://youtu.be/duBF_uA86p4

6.

ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 空間再現ディスプレイ⽤VR180ビューワー ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 今後は裸眼⽴体視が主流に︖ キヤノンVRシステム 8K解像度でVR180⽴体 映像を撮影可能 →裸眼⽴体視化 VR180立体映像裸眼立体視表示アプリ 開発:板宮朋基 Looking Glass Portrait⽤ STL/OBJ表⽰アプリ開発︓板宮朋基 ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 今後は裸眼⽴体視が主流に︖ Acer SpatialLabs⽤ビューワーの利⽤例 ⾼精細裸眼⽴体視ディスプレイ内臓ノートパソコン Acer SpatialLabs https://www.acer.com/ac/ja/JP/content/conceptd-spatiallabs-3d-solutions ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布 Acer SpatialLabs⽤ビューワーの表⽰例 協⼒︓神奈川⻭科⼤学附属病院デジタル⻭科診療科 Acer SpatialLabs⽤ STL/OBJ表⽰アプリ開発︓板宮朋基 まとめ • VR HMDは⻑時間利⽤時の課題がある – 眼の疲労、VR酔い – 頭部の締め付けと重さによる不快感 – 顔の接触部分の⽪膚炎誘発 – マスク装着時のレンズの曇り • 裸眼⽴体視は⻑時間利⽤・多⼈数利⽤に有⽤ – 3D-CG、実写フォトグラメトリ、実写⽴体映像を表⽰可能 – ハードウェアの調達費⽤がまだ⾼価(1セットあたり約60〜80万円) Acer SpatialLabs用 STL/OBJ表示アプリ開発:板宮朋基 →普及に伴い低価格化される ⓒ2022 ITAMIYA Tomoki 禁無断複製・再配布