earcon _ 耳の動きで手足を使わない操作を可能にするコントローラ

福岡未踏 2025年度 中間報告合宿 earcon : 耳の動きで手足を使わない 操作を可能にするコントローラ 石橋 龍馬 九州大学工学部電気情報工学科4年 PM： 大島 聡史 井上 創造

目次 n イントロダクション l 耳の動作とは何か？ n 提案内容のまとめ l 提案内容と目的 l デバイスの使用シーンと可能になること l 開発目標と達成すべき要件 n 9月までの成果 l 使用するセンサ種類とデバイス形状の決定 l 試作センサデバイスについて

目次 n イントロダクション l 耳の動作とは何か？ n 提案内容のまとめ l 提案内容と目的 l デバイスの使用シーンと可能になること l 開発目標と達成すべき要件 n 9月までの成果 l 使用するセンサ種類とデバイス形状の決定 l 試作センサデバイスについて

耳の動作とは何か？ n 耳の動作 l 主に後耳介筋の収縮に よって起こる耳の動き ► 後天的に習得できる可能性 を示す論文が存在する ► 反復練習によって操作精度 や操作の種類を 向上させようとする研究も ある [1]真狩 弘夫, 村上 肇, 渡辺 高志, 星宮 望, 半田 康延:機能的電 気刺激 (FES) システムの制御命令としての耳介動作の検討, 32-2, 121-128 (1994) [2] Siwaphorn Chanthaphun, Sandy L. Heck, Carolee J. Winstein, Lucinda Baker : Development of a training paradigm for voluntary control of the peri-auricular muscles: a feasibility study, Journal of NeuroEngineering and Rehabilitation, 16-75 (2019) https://drive.google.com/file /d/1MiE9ceWIf9ZPLXzuBGG3 GCOSSNGooWPb/view?usp= drive_link

• https://drive.google.com/file/d/1MiE9ceWIf9ZPLXzuBGG3GCOSSNGooWPb/view?usp=drive_link

耳の動作とは何か？ n 耳の動作 l 主に後耳介筋の収縮に よって起こる耳の動き ► 後天的に習得できる可能性 を示す論文が存在する ► 反復練習によって操作精度 や操作の種類を 向上させようとする研究も ある [1]真狩 弘夫, 村上 肇, 渡辺 高志, 星宮 望, 半田 康延:機能的電 気刺激 (FES) システムの制御命令としての耳介動作の検討, 32-2, 121-128 (1994) [2] Siwaphorn Chanthaphun, Sandy L. Heck, Carolee J. Winstein, Lucinda Baker : Development of a training paradigm for voluntary control of the peri-auricular muscles: a feasibility study, Journal of NeuroEngineering and Rehabilitation, 16-75 (2019) https://drive.google.com/file /d/1IUl8x9_6r99KIedkh6yrIt p_LCkhQKM/view?usp=drive_l ink

• https://drive.google.com/file/d/1IUl8x9_6r99KIedkh6yrItp-_LCkhQKM/view?usp=drive_link

目次 n イントロダクション l 耳の動作とは何か？ n 提案内容のまとめ l 提案内容と目的 l デバイスの使用シーンと可能になること l 開発目標と達成すべき要件 n 9月までの成果 l 使用するセンサ種類とデバイス形状の決定 l 試作センサデバイスについて

提案内容と目的 n 目的 l ”耳を動かせること”が活きるようなデバイスを作りたい l 入力ポートとしての耳のポテンシャルを伝えたい n 提案内容 l 耳の動きで既存のボタン入力を代替できるイヤホン ► Bluetoothイヤホンとして機能する ► 歩行等のノイズの中でも耳の動きを検出できる ► 検出した後、スマホ等の再生機器に対してHID信号を発信する

デバイスの使用シーンと可能になること n 使用シーン l 自転車を漕ぎながら音楽再生の操作 を行う l 調理中に検索しているレシピのペー ジ送り等を手を洗わずに行える l プレゼン中に、一見何も操作してい ないかのようにスライド送りができ る

デバイスの使用シーンと可能になること n 何が可能になるか l 耳の動きを使ったコントローラであり、音楽再生 以外にも「進める、戻る」といった簡単な操作な ら行える l デバイスは耳に触れるように装着するので、指を 触れた状態からスイッチを押すように即座の入力 が行える 手の離せない状況下で、遅延なく対応入力が可能

開発目標と達成すべき要件 n 開発目標 l 開発期間目標 ► 既存のBluetoothイヤホンと連携して動くコントローラ部分の作成 ► 1つの動作クリック (両耳同時1回動作) について、 F 値およそ0.9の精度で識別可能 ► 1つのモデルで複数人の動作を認識可能 ► 着席中および歩行中のノイズ下で使用可能 l 追加目標 ► 識別できる動作の種類の追加 ex) ダブルクリック、左右片方のみの動作、ホールド（動作途中の状態の保持） ► イヤホンとしての音声再生機能を本体に組み込む ► 運動時などの対ノイズ強度の向上

開発目標と達成すべき要件 n 開発目標 l 開発期間目標 ► 既存のBluetoothイヤホンと連携して動くコントローラ部分の作成 ► 1つの動作クリック (両耳同時1回動作) について、 F 値およそ0.9の精度で識別可能 ► 1つのモデルで複数人の動作を認識可能 ► 着席中および歩行中のノイズ下で使用可能 l 追加目標 ► 識別できる動作の種類の追加 ex) ダブルクリック、左右片方のみの動作、ホールド（動作途中の状態の保持） ► イヤホンとしての音声再生機能を本体に組み込む ► 運動時などの対ノイズ強度の向上

目次 n イントロダクション l 耳の動作とは何か？ n 提案内容のまとめ l 提案内容と目的 l デバイスの使用シーンと可能になること l 開発目標と達成すべき要件 n 9月までの成果 l 使用するセンサ種類とデバイス形状の決定 l 試作センサデバイスについて

使用するセンサ種類とデバイス形状の決定 n ブースト会議時点での試作品 l xyz3軸方向の加速度センサのみ l 動画中央の液晶が動作検出時に紫色へ変化 https://drive.google.com/file /d/1-wqpO0M-MtNXmyCwzgyWulxs1upjeJ4/view?usp=dri ve_link

• https://drive.google.com/file/d/1-wqpO0M-MtNXmyCwzg-yWulxs1upjeJ4/view?usp=drive_link

使用するセンサ種類とデバイス形状の決定 n ブースト会議時点での試作品 l 加速度センサのみでも静止下であれば検出できる しかし l 単一センサではノイズに弱い ► 特に“首を振る動作”、“小走り”のノイズで耳が動いたと誤認識してしまう センサの種類を追加してデータの次元を上げよう ブースト会議での調査映像をもとに検討

使用するセンサ種類とデバイス形状の決定 n ブースト会議時点での試作品 l 加速度センサのみでもノイズがなければ検出できる しかし l 単一センサではノイズに弱い ► 特に“首を振る動作”、“歩行”のノイズで耳が動いたと誤認識してしまう センサの種類を追加してデータの次元を上げよう ブースト会議での調査映像をもとに検討

使用するセンサ種類とデバイス形状の決定 n 使用するセンサ種類の追加 l 光距離センサ ► センサから光を発し、跳ね返ってくる光の強さで物体との距離を測る ► 耳を動かした際の皮膚や筋肉の盛り上がりを計測する 光センサ 光センサ 受光部 皮膚 発光部 センサ値変化！ 受光部 皮膚 発光部

使用するセンサ種類とデバイス形状の決定 n デバイス形状の決定 l 耳にかける左右一体型の形状 ► 耳と接触する“つる”の部分が皮膚の盛り上がり位置に重なる ► 左右の耳の2点でしっかり固定でき、耳の動きがデバイス本体によく伝わ る l センサ位置 光センサ 盛り上がりの大きい位置（耳頂部）と 小さい位置（耳たぶ裏）に対応する 位置 加速度センサ デバイスの耳掛け部分に直接固定され 動きの伝わる位置

試作センサデバイスについて n 特徴 l ボード ► 光距離センサ 加速度センサ ESP32-DevKitC (v5) l センサ ► 光距離センサ QRE1113 ► 6軸加速度センサ MPU6886 l PCとUSB接続 ► 給電とシリアル通信 n 機能 l センサ値のリアルタイム取得 装着部外観

試作センサデバイスについて n 特徴 l ボード ► 光距離センサ 加速度センサ ESP32-DevKitC (v5) l センサ ► 光距離センサ QRE1113 ► 6軸加速度センサ MPU6886 l PCとUSB接続 ► 給電とシリアル通信 n 機能 l センサ値のリアルタイム取得 装着部外観

まとめ n イントロダクション l 耳の動作とは何か？ n 提案内容のまとめ l 提案内容と目的 l デバイスの使用シーンと可能になること l 開発目標と達成すべき要件 n 9月までの成果 l 使用するセンサ種類とデバイス形状の決定 l 試作センサデバイスについて

中間発表合宿以降 n 試作センサデバイスでの動作検出 l 静止下での検出精度 l ノイズ下での使用に向けた対策 n センサデバイスVer.2の製作 l 構成について l 製作状況

試作センサデバイスでの動作検出 n 静止下での動作検出 l 図中の 四角 部分が1つの耳の動作 （ダブルクリック） l 検出率は８割強 l 動作していない時の誤検出は少ない l 歩行や首振り等のノイズ下では、 動作したのに検出しないことがある

試作センサデバイスでの動作検出 n ノイズの原因 l マイコン、PCとの 接続部 ► 光距離センサ 加速度センサ 歩行等によってこの コードから揺れが伝わる 装着部外観 n 対策 l デバイスの無線化 ► バッテリー駆動 ► データ送信の無線化 ► データ保存メモリの追加

センサデバイスVer.2の製作 n 特徴 l ボード ► 〜鋭意製作中〜 Arduino nano BLE l センサ ► 光距離センサ QRE1113/NJL5901AR ► 6軸加速度センサ l 電源 ► 200mAhリポバッテリ ► USB-C充電可能 l データ送受信 ► microSDにデータ保存 ► PCとBLE通信 ADXL345