raw-rings

134 Views

February 03, 26

#ウェアラブルデバイス #センシング #表面弾性波 #材質認識 #コントローラー

スライド概要

profile-image
スライド一覧

Docswellを使いましょう

（ダウンロード不可）

関連スライド

slide-thumbnail

猫でも分かるUnreal Engineの学び方 - 超初心者向け編 - 2023 v1.0
ue4 ue5 ue-beginner
user-img エピック ゲームズ ジャパン 1.7M
slide-thumbnail

Unreal Engine5 Lumenの仕組みと肝心なところ
ue5 ue-rendering ue-lumen
user-img エピック ゲームズ ジャパン 1.4M
slide-thumbnail

UE5レンダリングフロー総おさらい(2024) 基礎編！[CEDEC+KYUSHU 2024]
ue5 unreal engine ue-rendering
user-img エピック ゲームズ ジャパン 1.2M
slide-thumbnail

Meta XR SDK(V66-74)でQuestアプリを開発
spatial anchor unity quest pro shaperecognizeractivatestate oculus integration transformfeaturestateprovider building blocks transformrecognizeractivestate ovrsemanticclassification jointdeltaprovider ovrscenemanager jointvelocityactivestate オクルージョン sequenceactivestate scene manager ambisonic depth api metaxraudiosource playerlocomotor meta xr sdk quest3 ovrplayercontroller マルチモーダル meta haptics studio direct touch ui meta xr haptics sdk ovrspatialanchor ovrtrackedkeyboard hapticclipplayer fingerfeaturestateprovider hapticclip ワイドモーションモード wmm mruk mr utility kit voice sdk jointrotationactivestate meta horizon os ui set asw application spacewarp ovr metrics tool unityscene manager colocation discovery コロケーション mx ink passthrough camera api hand tracking microgestures webcamtexturemanager passthroughcamerautils cameraviewermanager hand pose selector recorder
user-img あうぜん 1.2M
slide-thumbnail

猫でも分かる UE5.0, 5.1 におけるアニメーションの新機能について【CEDEC+KYUSHU 2022】
ue5 cedec+kyushu ue-animation ue-optimize ue-bp ue-physics ue-sequencer
user-img エピック ゲームズ ジャパン 1M
slide-thumbnail

最新の6.0で学ぶ！初めてのひとのためのSpring Security
java spring security
user-img tada 1M
各ページのテキスト
1.

福 岡 未 踏 的 人 材 発 掘 ・ 育 成 コ ン ソ ー シ ア ム 2 02 5 SAW-Ring 表面弾性波 (SAW) センシングを活用したテクスチャ駆動リング型デバイス 2025年度 PRO 平岡 滉司 成果報告会

2.

自己紹介 名前 平岡 滉司 所属 九州大学 博士課程1年 専門 ウェアラブルコンピューティング 一人称視点映像のプライバシー保護

3.

本プロダクトについて 動機 体 一 つ で 完 結 す る コン ト ローラ ー を作りた い ウ ェ ア ラ ブ ル に し たい 。 特殊 な デバイ スを持ち運びた くない ス マ ー ト リ ン グ は 生体 情 報のモ ニ タリング が主流 デ ー タ を 取 る だ け じゃ も ったい な い 体 の 中 で も 材 質 が 安定 し ている 皮 膚を使おう！

4.

本プロダクトについて

5.

本プロダクトについて 体(皮膚)をコントローラーにするには・・？ ジェスチャー認識 加速度センサ等、指の動作をトラッキ ングするシステムはたくさんある 課題 皮膚に触れていることを認識するには カメラや皮膚側に 特殊なデバイス を装 着する必要がある

6.

本プロダクトのアイデア 体(皮膚)をコントローラーにするには・・？ 指で直感的に操作したい 指がモノに接触した時の接触音(ざらざら具合)をセンシングして材質特定 センサとして VPU (Voice Pick Up) を採用 特徴 表面弾性波(SAW) をセンシングできる 環境音は拾わない めっちゃ小型で低消費電力 VPUセンサ

7.

福岡未踏での成果 1 . ハードウェア開発 a . デバイスやセンサの選定 b . PCB基板等の設計・実装 2 . ソフトウェア開発 a . 通信プログラム b . データロガー，データ可視化ツールの実装 3 . 概念実証 a . データ収集 b . 機械学習モデル実装，識別精度の評価 4. 皮膚認識アプリケーションの開発

8.

福岡未踏での成果 (ハードウェア) ハードウェア実装 デバイス設計 MCU：Seeed Studio XIAO ESP32S3 電源：LiPoバッテリー (3.7V, 85mAh) 自作PCB基板 高感度な骨伝導センサをPCB表面実装し，皮膚振動を直接センシング デバイス外観 プリント基板 装着時

9.

福岡未踏での成果 (ソフトウェア開発) ソフトウェア実装 通信プロトコル 通信方式：WiFi UDP Unicast センシング仕様 サンプリング周波数：24kHz 量子化ビット数：16bit データ形式：非圧縮PCM データ収集ツール 受信環境 PC 開発言語：Python 機能：データ受信・可視化 データロガーの開発 可視化アプリ

10.

福岡未踏での成果 (概念検証) 指から伝わる音で表面の状態を理解することができるのか？ 概念実証 1 . データセットの構築 2. テクスチャ認識のための機械学習モデルの実装・評価

11.

福岡未踏での成果 (概念検証) 1 . データセットの構築 被験者数：N=26 収録環境：日常生活環境下 識別対象：日常生活で触れるモノ7種 (木材・ガラス・綿・金属・段ボ ール・プラスチック・紙)+皮膚 データセット ：9490サンプル (約2.6時間分のスワイプ音響データ)

12.

福岡未踏での成果 (概念検証) 2. テクスチャ認識のための機械学習モデルの実装・評価 前処理/特徴量 データ拡張 Log-Mel MFCC 音声特化モデル PCEN 対ノイズ, ゲイン調整 モデル 2D-CNN (4層) ResNet18 画像認識用モデルを流用 PANNs 学習済み音声認識モデル 検証方法 K-Fold 基礎評価 Leave-One-PersonOut (LOPO) 未知ユーザ検証

13.

福岡未踏での成果 (概念検証) 学習データに対象ユーザーのデータが 含まれている とき 特徴量抽出：PCEN モデル：ResNet18 全体精度(Accuracy)：93.6% 皮膚認識精度(Recall) ： 97.3% 学習データに対象ユーザがいれば うまく動かせそう 皮膚認識精度

14.

福岡未踏での成果 (皮膚認識アプリケーション)

15.

福岡未踏での成果 (デモ)

16.

福岡未踏での成果 (まとめ) 成果1: 表面弾性波センシングウェアラブルデバイスの開発 補聴器やイヤホンで使われていたVPUセンサを応用 成果2: タッチする指側で皮膚に触れたことを認識できるアプリを開発 これからの活動 皮膚認識の精度向上に向けたシステム改善 ジェスチャー認識との統合 デバイスの小型化

17.

福 岡 未 踏 的 人 材 発 掘 ・ 育 成 コ ン ソ ー シ ア ム 2 02 5 SAW-Ring 表面弾性波 (SAW) センシングを活用したテクスチャ駆動リング型デバイス 2025年度 PRO 平岡 滉司 成果報告会