モーションキャプチャの話をしよう
1.6K Views
December 22, 22
スライド概要
可視化技術や人間計測/空間計測技術を活用した問題解決に関する研究開発。 ARコンテンツ作成勉強会(AR_Fukuoka)を主催。
関連スライド
各ページのテキスト
モーションキャプチャの話をしよう AR Fukuoka 忘年会2022
⾃⼰紹介 ⽒名︓吉永崇(Takashi Yoshinaga) 専⾨︓ARを⽤いたR&D(特に医療⽀援) Volumetric Video モーションキャプチャ技術開発 コミュニティ︓ARコンテンツ作成勉強会
⾃⼰紹介 ⽒名︓吉永崇(Takashi Yoshinaga) 専⾨︓ARを⽤いたR&D(特に医療⽀援) 今⽇はこの話 Volumetric Video モーションキャプチャ技術開発 コミュニティ︓ARコンテンツ作成勉強会
モーションキャプチャ measurement visualization p センサで計測した⼈間の動きを数値化し、コンピュータに取り込む技術 p 各種運動の解析やCGを⽤いた視覚情報の可視化に多く使⽤されている p ⾚外線カメラ等で対象の特徴を追跡する光学式センサが多く活躍
光学式モーションキャプチャ の特徴 p 画像処理によるマーカや特徴点の座標を計測 p 複数マーカの使⽤により全⾝の⾻格の動きの様⼦を容易に取得 p Kinectの登場により安価で簡便(マーカレス)に計測。 IR Camera Kinect Sensor Marker VICON
光学式モーションキャプチャの難点 p カメラ視野内に計測範囲が限定されるため広範囲計測が困難 p 計測範囲内であってもマーカや⾝体部位の隠れに弱い → Kinectでのモーションキャプチャで実感している⼈も多いのでは︖ ⾃由に動き回る⼈間の計測にはカメラ不要なモーションキャプチャ技術が欲しい
慣性センサ(IMU)式モーションキャプチャ p センサを体に装着してダイレクトに⼈の運動を計測 → 隠れを⼼配する必要がない(vs光学式) & 素早い動きに強い︕ p 計測するデータは加速度・⾓速度と、製品によっては地磁気も → 技術的には座標を直接得られる訳ではないので推定処理が必要 Perception Neuron mocopi
慣性センサ(IMU)式モーションキャプチャの基本 p IMUの各種計測データを⽤いてセンサの姿勢を推定 p ⾓速度の積分(⾓度変化の⾜し合わせ)がベースの技術 p ただしノイズ等による誤差の蓄積があるので加速度や地磁気で補正 姿勢推定⼿法の例 Zo 【相補フィルタ】 Zs Yo Ys Xs ωy ωx Xo •⾓速度の積分 •加速度及び地磁気の 値を⽤いて適宜補正 N ⾓速度 加速度 地磁気 積分 ＋ － 補正値 推定 姿勢推定 https://youtu.be/njS6IDV0oH8
慣性センサ(IMU)式モーションキャプチャの動作 p 姿勢を推定したい部位にセンサを装着 p 起点となる部位の姿勢とサイズをもとに関節の座標を推定 p センサの向きが装着部位と⼀致している必要がある (要キャリブレーション) センサの軸と 装着部位の軸を 一致させて装着 https://youtu.be/2Ax-EM88Eq8
今話題のmocopiは何が良さげ︖ p オシャレ・⼩型・⻑時間動作︕ 単純な姿勢推定 だけではない︕ 機械学習︖ p 少ないセンサ(たった6個)かつ地磁気なしでフルボディトラッキング。 p ある程度は移動も計測されていそう。(IMU式は移動計測が苦⼿)
動作の様⼦ いい感じに追従 位置は次第にずれる︖ https://twitter.com/panoravr/status/1597447995133689857
移動も計測できる⾃作モーションキャプチャ まだまだ負けてない︕ https://twitter.com/Taka_Yoshinaga/status/1111178615767457792 https://twitter.com/Taka_Yoshinaga/status/976386284842201088
まとめ 以前は10数万〜数百万していたIMU式モーションキャプチャ も精度次第だが数万円程度で利⽤できるようになってきた。 もちろんハイエンド機と⽐べて課題はあるとは思うが 2023年以降の活⽤事例がとても楽しみ︕