4.6K Views
November 21, 24
スライド概要
株式会社サイバーエージェントで取り組んでいる Visual Relocalization のご紹介です。
データセットはパートナーであるサツドラホールディングス株式会社様の EZOHUB TOKYO で取得しています。
第48回ロボティクス勉強会 Visual Relocalization CyberAgent AI Lab 石田岳志
石田 岳志 Takeshi Ishita ● 所属: ○ CyberAgent AI Lab ● 出身: ○ 山梨県笛吹市 ○ 桃がたくさん採れる 写真 ● 学歴: ○ 東京高専 専攻科 (学士) ● 専門: ○ Visual SLAM, Visual Localization ○ LiDAR SLAM (ちょっと)
目指すもの 学術貢献 事業貢献 自己位置推定 3次元復元 環境理解
手軽に導入可能な位置推定 LiDAR… まだちょっと値段が高い カメラ... 物体認識にも使えるし安い 今回は地図に対するカメラの位置推定をご紹介
Visual Relocalization 地図上でカメラがどこにあるのかを推定する問題
2つのステップ:地図復元と位置推定 COLMAP での地図復元 RGB画像 COLMAP 画像特徴つき 点群地図 位置推定 RGB画像 画像特徴つき 点群地図 6DoF カメラ 姿勢
今回は位置推定を解説 COLMAP での地図復元 RGB画像 COLMAP 画像特徴つき 点群地図 位置推定 RGB画像 画像特徴つき 点群地図 6DoF カメラ 姿勢
実際に位置推定してみる 8
画像から地図を作る:データの収集 パートナーである サツドラホールディングス株式会社様の EZOHUB TOKYO でデータ取得 RealSense D455 の RGB カメラを利用 ● 視野角が広い ● キャリブレーションパラメータが わかりやすい
画像から地図を作る:COLMAPによる地図復元 画像の情報が埋め込まれている → 姿勢推定に利用できる 赤いものはカメラ姿勢
入力画像と地図をマッチングし、位置推定 緑枠:推定成功 赤枠:推定失敗 動画は4倍速 https://www.youtube.com/watch?v=OBBnJqUkoQg パートナーであるサツドラホールディングス株式会社様のご協力のもと EZOHUB TOKYO でデータを取得しました
動作の仕組み 12
3ステップで位置推定 1. 画像検索 入力画像と特徴点マッチングできる画像を地図から探す 2. マッチング 入力画像の特徴点と地図内の3次元点を結びつける 3. 姿勢推定 2次元点と3次元点の対応からカメラ姿勢を求める
前提:カメラの表現 カメラはどのように物体を見ている? 3次元点を2次元点に投影する
前提:地図の表現 地図は 2次元点と3次元点の対応で 表現される
姿勢推定の手順:画像フレームを入力する 姿勢推定したい画像フレームを 入力する
姿勢推定の手順:画像検索 入力フレームと 特徴点マッチング可能な画像を 地図フレームの中から探す
姿勢推定の手順:画像検索 特徴点マッチングするフレームを 指定する
姿勢推定の手順:マッチング 地図内のフレームに対して 特徴点マッチングを行う 入力画像の2次元点と 地図内の3次元点の 対応関係が得られる
姿勢推定の手順 得られた対応関係を使って カメラの姿勢を推定する PnP問題という よく知られた問題に落とし込めるので 簡単にカメラ姿勢推定できる
カメラによる姿勢推定の利点・欠点 利点 ● 安価なセンサで位置推定可能 ● 省スペース、省電力 欠点 ● 地図作成に時間がかかる ● 地図と特徴点マッチングできない画像の姿勢は推定できない ● 入力画像ごとに地図を全探索しているため、遅い ○ オドメトリ推定と組み合わせることで改善可能
Relocalizationのコードとデータを公開しています!! リポジトリURL: github.com/CyberAgentAILab/visual-relocalization-colmap データセットURL: huggingface.co/datasets/cyberagent/in-store-visual-localization パートナーであるサツドラホールディングス株式会社様のご協力のもと EZOHUB TOKYO でデータを取得しました
今後の予定 地図環境の理解 ● 何がどこに写っているのか ● 店舗で使う場合、商品の種類や位置を知りたい オドメトリと組み合わせて高速化 ● 高速で滑らかな動作を目指す