画像処理技術に基づく遠隔操作インタフェース
>100 Views
September 22, 25
スライド概要
IEEJ2017_symposium
東北大学大学院工学研究科ロボティクス専攻 田村研究室
関連スライド
各ページのテキスト
画像処理技術に基づく 遠隔操作インタフェース 田村 雄介 東京大学 [email protected] 平成29年電気学会全国大会 シンポジウム「原子力における計測制御技術の現状と将来動向」, March 17, 2017.
福島第一事故対応/廃止措置における ロボットへのニーズ 作業員の放射線被曝リスク低減 • 瓦礫除去（建屋内外） • 除染 • 調査 - 放射線量（分布） - 内部構造物/瓦礫の状況 - 漏洩箇所 - 燃料デブリの状況 • サンプリング • 燃料デブリ取り出し 2
これまでに活用されたロボット（の一部） LED 500m Talon (QinetiQ) Brokk-90 (Brokk) Bob Cat (QinetiQ) Brokk-330 (Brokk) 50m LED 3
これまでに活用されたロボット（の一部） LED 500m Talon (QinetiQ) Brokk-90 (Brokk) Bob Cat (QinetiQ) Brokk-330 (Brokk) 自律ではなく遠隔操作によるもの 50m LED 3
遠隔操作における技術的課題 1. 操作入力 3. 動作 2. コマンド送信 6. 情報提示 4. センシング 5. センサデータ • 操作入力インタフェース • 通信 • 情報提示インタフェース 4
遠隔操作における技術的課題 1. 操作入力 3. 動作 2. コマンド送信 6. 情報提示 4. センシング 5. センサデータ • 操作入力インタフェース • 通信 • 情報提示インタフェース 4
状況認識 フィードバック 状況認識 環境の状態 状況知覚 状況理解 将来予測 意思決定 行動 NDM (Naturalistic Decision Making) model [Endsley 2000] 適切な意思決定・行動のためには 適切な状況認識が必要不可欠 5
遠隔操作における状況認識 ロボット及び作業対象を直接視認できない カメラ映像等 操作者にどのような視点を提示するか？ 6
ロボット搭載カメラによる映像提示 狭隘環境での遠隔操作 ロボットに搭載されたカメラ による映像 ロボット自身と周囲環境との位置関係の把握が困難 7
ロボット搭載カメラによる映像提示 狭隘環境での遠隔操作 ロボットに搭載されたカメラ による映像 ロボット自身と周囲環境との位置関係の把握が困難 7
ロボット搭載カメラによる映像提示 狭隘環境での遠隔操作 ロボットに搭載されたカメラ による映像 ロボット自身と周囲環境との位置関係の把握が困難 7
環境との位置関係の把握を容易にする 一人称視点 三人称視点 三人称視点映像を提示するのが有効 三人称視点の提示 - 環境中にカメラを設置して、その映像を提示 予めカメラが設置されているか、カメラ車等を利用する 8
環境との位置関係の把握を容易にする 一人称視点 三人称視点 三人称視点映像を提示するのが有効 三人称視点の提示 - 環境中にカメラを設置して、その映像を提示 予めカメラが設置されているか、カメラ車等を利用する 8
環境との位置関係の把握を容易にする 一人称視点 三人称視点 三人称視点映像を提示するのが有効 三人称視点の提示 - 環境中にカメラを設置して、その映像を提示 予めカメラが設置されているか、カメラ車等を利用する 8
搭載カメラからの三人称視点提示 ロボット上部に俯瞰用カメラを設置 http://photo.tepco.co.jp/date/2012/201204-j/120417-01j.html サーベイランナー（TOPY） http://photo.tepco.co.jp/date/ 2012/201204-j/120419-01j.html 上部カメラからの俯瞰映像 9
搭載カメラからの三人称視点提示 ロボット上部に俯瞰用カメラを設置 http://photo.tepco.co.jp/date/2012/201204-j/120417-01j.html サーベイランナー（TOPY） http://photo.tepco.co.jp/date/ 2012/201204-j/120419-01j.html 上部カメラからの俯瞰映像 9
遠隔操作における映像提示 移動時の映像提示 - 俯瞰映像提示システム - 任意視点映像提示システム 作業時の映像提示 - 透視（半隠消）映像提示システム - 任意視点透視映像提示システム 10
遠隔操作における映像提示 移動時の映像提示 - 俯瞰映像提示システム - 任意視点映像提示システム 作業時の映像提示 - 透視（半隠消）映像提示システム - 任意視点透視映像提示システム 10
魚眼カメラによる擬似俯瞰映像提示 ロボットの全周囲を撮影可能なように、前後左右に魚眼カメラ を設置し、それらの映像から擬似的な俯瞰映像を生成する 魚眼カメラ 移動ロボット 得られた魚眼映像 T. Sato, et al.: Spatio-Temporal Bird’s-Eye View Images Using Multiple Fish-eye Cameras, Proceedings of the 2013 IEEE/SICE International Symposium on System Integration, pp.753-758, 2013. 11
俯瞰映像生成の流れ 魚眼映像 歪み補正 俯瞰映像統合 俯瞰視点化 最終的な俯瞰映像 12
生成された俯瞰映像 13
生成された俯瞰映像 13
俯瞰映像提示システムの課題 1. 故障に対するロバスト性 放射線等によるカメラ故障時の視野欠損 2. 上空の障害物の検出が困難 高さのある障害物との位置関係が不正確に提示されてしまう 画 描 に こ こ き されるべ 高さのある障害物が前方にある状況 提示される俯瞰映像 14
俯瞰映像提示システムの課題 1. 故障に対するロバスト性 放射線等によるカメラ故障時の視野欠損 2. 上空の障害物の検出が困難 高さのある障害物との位置関係が不正確に提示されてしまう 画 描 に こ こ き されるべ 高さのある障害物が前方にある状況 提示される俯瞰映像 14
ガンマ線照射試験 線源 ：60Co密封線源 カメラ：魚眼カメラ（M3007-PV, AXIS） x 4台 50 ! 500 mm 800 mm 600 mm 照射前 $%Co 600 mm 照射中(501 Gy/h) 15
ガンマ線照射試験 線源 ：60Co密封線源 カメラ：魚眼カメラ（M3007-PV, AXIS） x 4台 50 ! 500 mm 800 mm 600 mm 照射前 $%Co 600 mm 照射中(501 Gy/h) 15
照射試験の結果 ! $%Co 空間線量率 故障までの時間 積算線量 カメラID [Gy/h] [min] [Gy] 800 mm 600 mm 600 mm 1 501 23 192 2 157 54 141 3 104 94 163 4 164 82 224 平均 180 cf.) 現在の福島第一2号機PCV内部の線量率（2017年2月調査時） CRDレール上：210 Sv/h - 通常のカメラで遮蔽を施さない場合、1時間以内に壊れる - 耐放射線対策をしたもので2kGy程度まで→10時間程度 R. Komatsu, et al.: Bird’s-eye View Image Generation with Camera Malfunction in Irradiation Environment, Proceedings of the 6th International Conference on Advanced Mechatronics, pp.177-178, 2015. 16
冗長性を利用した視野欠損への対応 従来のカメラ配置 撮影可能な領域（上面図） 小松, 他: カメラ配置設計による故障時に備えたロボット遠隔操作のための 俯瞰映像提示システムの開発, 精密工学会誌, Vol.81, No.12, pp.12061212, 2015. 17
冗長性を利用した視野欠損への対応 0 1 従来のカメラ配置 撮影可能な領域（上面図） 小松, 他: カメラ配置設計による故障時に備えたロボット遠隔操作のための 俯瞰映像提示システムの開発, 精密工学会誌, Vol.81, No.12, pp.12061212, 2015. 17
冗長性を利用した視野欠損への対応 1 2 従来のカメラ配置 0 0 1 1 撮影可能な領域（上面図） 小松, 他: カメラ配置設計による故障時に備えたロボット遠隔操作のための 俯瞰映像提示システムの開発, 精密工学会誌, Vol.81, No.12, pp.12061212, 2015. 17
冗長性を利用した視野欠損への対応 従来のカメラ配置 2 1 1 0 1 2 0 2 1 1 2 1 撮影可能な領域（上面図） 小松, 他: カメラ配置設計による故障時に備えたロボット遠隔操作のための 俯瞰映像提示システムの開発, 精密工学会誌, Vol.81, No.12, pp.12061212, 2015. 17
冗長性を利用した視野欠損への対応 従来のカメラ配置 2 1 1 0 1 2 0 2 1 1 2 1 撮影可能な領域（上面図） 小松, 他: カメラ配置設計による故障時に備えたロボット遠隔操作のための 俯瞰映像提示システムの開発, 精密工学会誌, Vol.81, No.12, pp.12061212, 2015. 17
冗長性を利用した視野欠損への対応 従来のカメラ配置 2 1 1 1 0 2 0 1 1 2 1 1 2 撮影可能な領域（上面図） 小松, 他: カメラ配置設計による故障時に備えたロボット遠隔操作のための 俯瞰映像提示システムの開発, 精密工学会誌, Vol.81, No.12, pp.12061212, 2015. 17
冗長性を利用した視野欠損への対応 従来のカメラ配置 新しいカメラ配置 2 1 1 1 0 2 0 1 1 2 1 1 2 撮影可能な領域（上面図） 撮影可能な領域（上面図） 小松, 他: カメラ配置設計による故障時に備えたロボット遠隔操作のための 俯瞰映像提示システムの開発, 精密工学会誌, Vol.81, No.12, pp.12061212, 2015. 17
冗長性を利用した視野欠損への対応 従来のカメラ配置 2 1 1 1 0 2 0 1 1 2 1 1 2 撮影可能な領域（上面図） 0 1 新しいカメラ配置 撮影可能な領域（上面図） 小松, 他: カメラ配置設計による故障時に備えたロボット遠隔操作のための 俯瞰映像提示システムの開発, 精密工学会誌, Vol.81, No.12, pp.12061212, 2015. 17
冗長性を利用した視野欠損への対応 従来のカメラ配置 新しいカメラ配置 2 1 1 1 0 2 0 1 1 2 1 1 2 撮影可能な領域（上面図） 2 0 1 11 2 撮影可能な領域（上面図） 小松, 他: カメラ配置設計による故障時に備えたロボット遠隔操作のための 俯瞰映像提示システムの開発, 精密工学会誌, Vol.81, No.12, pp.12061212, 2015. 17
冗長性を利用した視野欠損への対応 従来のカメラ配置 2 1 1 1 0 2 1 1 2 撮影可能な領域（上面図） 2 3 2 2 11 3 新しいカメラ配置 2 0 1 1 03 1 2 2 2 3 撮影可能な領域（上面図） 小松, 他: カメラ配置設計による故障時に備えたロボット遠隔操作のための 俯瞰映像提示システムの開発, 精密工学会誌, Vol.81, No.12, pp.12061212, 2015. 17
冗長性を利用した視野欠損への対応 従来のカメラ配置 2 1 1 1 0 2 1 1 2 撮影可能な領域（上面図） 2 3 2 2 11 3 新しいカメラ配置 2 0 1 1 03 1 2 2 2 3 撮影可能な領域（上面図） 小松, 他: カメラ配置設計による故障時に備えたロボット遠隔操作のための 俯瞰映像提示システムの開発, 精密工学会誌, Vol.81, No.12, pp.12061212, 2015. 17
冗長性を利用した視野欠損への対応 従来のカメラ配置 2 1 1 1 0 2 1 1 2 撮影可能な領域（上面図） 2 3 2 1 2 2 11 3 新しいカメラ配置 2 0 1 1 3 02 1 2 1 22 2 3 撮影可能な領域（上面図） 小松, 他: カメラ配置設計による故障時に備えたロボット遠隔操作のための 俯瞰映像提示システムの開発, 精密工学会誌, Vol.81, No.12, pp.12061212, 2015. 17
冗長性を利用した視野欠損への対応 従来のカメラ配置 2 1 1 1 0 2 0 1 1 2 1 1 2 撮影可能な領域（上面図） 2 3 2 1 3 02 1 2 2 最低2台のカメラで俯瞰映像を生成可能 2 1 11 3 新しいカメラ配置 22 2 3 撮影可能な領域（上面図） 小松, 他: カメラ配置設計による故障時に備えたロボット遠隔操作のための 俯瞰映像提示システムの開発, 精密工学会誌, Vol.81, No.12, pp.12061212, 2015. 17
テクスチャのずれの最小化 魚眼カメラ映像の広角側では、歪みが大きい 4台正常時 2台故障時 18
テクスチャのずれの最小化 魚眼カメラ映像の広角側では、歪みが大きい 4台正常時 2台故障時 カメラ故障のパターンに応じて、 テクスチャのずれを最小化する パラメータを予め導出 18
テクスチャのずれの最小化 魚眼カメラ映像の広角側では、歪みが大きい 4台正常時 2台故障時 カメラ故障のパターンに応じて、 テクスチャのずれを最小化する パラメータを予め導出 2台故障時 18
radiation source Before irradiation 4 cameras 3 cameras 1 camera 19
radiation source Before irradiation 4 cameras 3 cameras 1 camera 19
radiation source Before irradiation 4 cameras 3 cameras 1 camera 19
radiation source Before irradiation 4 cameras 3 cameras 1 camera 19
radiation source Before irradiation 4 cameras 3 cameras 1 camera 19
移動ロボットによる実験 20
移動ロボットによる実験 20
俯瞰映像提示システムの課題 1. 故障に対するロバスト性 放射線等によるカメラ故障時の視野欠損 2. 上空の障害物の検出が困難 高さのある障害物との位置関係が不正確に提示されてしまう 画 描 に こ こ き されるべ 高さのある障害物が前方にある状況 提示される俯瞰映像 21
俯瞰映像提示システムの課題 1. 故障に対するロバスト性 放射線等によるカメラ故障時の視野欠損 2. 上空の障害物の検出が困難 高さのある障害物との位置関係が不正確に提示されてしまう 画 描 に こ こ き されるべ 高さのある障害物が前方にある状況 提示される俯瞰映像 21
高さのある障害物と遮蔽領域の可視化 遮蔽領域 障害物 ロボット 高さのある障害物が 前方にある状況 [小松2015]で提示 される俯瞰映像 目指すべき提示映像 のイメージ 3次元測域センサ（LIDAR）と魚眼カメラの 情報を統合する Y. Awashima, et al.: Visualization of Obstacles on Bird’s-eye View Using Depth Sensor for Remote Controlled Robot, Proceedings of the IWAIT2017, 2017. 22
可視化の方法 色情報付与と床面への投影 魚眼カメラ画像 zw 遮蔽領域の可視化 uf 魚眼カメラ vf LIDAR yw 色情報 障害物の 点群の正射影 正射影 ロボット 座標系 ロボット 床面 床面 xw LIDAR 23
可視化の方法 色情報付与と床面への投影 魚眼カメラ画像 zw 遮蔽領域の可視化 遮蔽領域 uf 魚眼カメラ vf LIDAR yw 色情報 障害物の 点群の正射影 正射影 ロボット 座標系 ロボット 床面 床面 xw LIDAR 23
提示映像の比較 実験状況（従来研究） 提示映像（従来研究） 実験状況（提案手法） 提示映像（提案手法） 24
提示映像の比較 実験状況（従来研究） 提示映像（従来研究） 実験状況（提案手法） 提示映像（提案手法） 24
提示映像の比較 実験状況（従来研究） 提示映像（従来研究） 実験状況（提案手法） 提示映像（提案手法） 24
遠隔操作における映像提示 移動時の映像提示 - 俯瞰映像提示システム - 任意視点映像提示システム 作業時の映像提示 - 透視（半隠消）映像提示システム - 任意視点透視映像提示システム 25
任意視点映像 仮想カメラ 俯瞰映像 26
任意視点映像 仮想カメラ 俯瞰映像 26
任意視点映像 仮想カメラ 俯瞰映像 ABC 任意視点映像 26
任意視点映像提示のアプローチ ロボット周囲の環境をCGモデルとして構築する 形状、位置姿勢、色の情報があれば、幾何学的な計算により 任意視点映像生成が可能 形状・位置姿勢 色情報 ロボット 既知 既知 周囲環境 測域センサ カメラ 小松, 他: 複数台のカメラとレーザ測域センサによる人工物の幾何情報を考慮した任意視点映像生成, 第17回計測自動制御学会システムインテグ レーション部門講演会講演論文集, pp.2536-2540, 2016. 27
任意視点映像提示のアプローチ ロボット周囲の環境をCGモデルとして構築する 形状、位置姿勢、色の情報があれば、幾何学的な計算により 任意視点映像生成が可能 形状・位置姿勢 色情報 ロボット 既知 既知 周囲環境 測域センサ カメラ 処理の高速化のための仮定 - 環境は床面と壁面で構成 - 床面は平面であり、ロボットは常に接地 - 壁面は床面に対して垂直 小松, 他: 複数台のカメラとレーザ測域センサによる人工物の幾何情報を考慮した任意視点映像生成, 第17回計測自動制御学会システムインテグ レーション部門講演会講演論文集, pp.2536-2540, 2016. 27
周囲環境CGモデルの構築 測域センサによる壁面検出 カメラによる色情報の取得 28
周囲環境CGモデルの構築 測域センサによる壁面検出 カメラによる色情報の取得 28
周囲環境CGモデルの構築 測域センサによる壁面検出 カメラによる色情報の取得 28
t ]a 実験システム o p Ø( S Ø V L/ : Sf Xys[h -0 : 32. M - vm w ) i c e p Ø n S 4 F 1 .U F r P : G V Sup T Rol 7 c e -0 o r P 29
任意視点映像提示 30
任意視点映像提示 30
遠隔操作における映像提示 移動時の映像提示 - 俯瞰映像提示システム - 任意視点映像提示システム 作業時の映像提示 - 透視（半隠消）映像提示システム - 任意視点透視映像提示システム 31
アームを用いた遠隔作業 ロボットアーム カメラ映像 ロボットアームが作業対象物を遮蔽してしまう 従来 複数カメラ/モニタによる多視点映像の提示 → オペレータは熟練したスキル & 集中力が必要 32
透視（半隠消）映像 視野を遮蔽する物体（アーム）が透視可能な映像 従来映像 透視（半隠消）映像 藤井, 他: 遠隔操作ロボットのための複数RGB-Dセンサを用いた半隠消映像のオンライン生成, 精密工学会誌, Vol.81, No.12, pp.1185-1192, 2015. 33
映像生成（1） RGB-Dセンサによる3次元計測 - RGB + 距離情報 - 複数センサを視差が 得られるように配置 RGB アーム領域の計算 - ロボットアームを直方体近似 - 関節角度から計算された直方体の 頂点座標を透視投影変換により センサ映像上に投影 アーム領域 Depth ロボットアーム 作業対象物 warm (xarm, yarm, zarm) 左センサ P 背景情報 中央センサ mc (uc , vc) 右センサ 34
映像生成（2） 背景情報の取得 色情報を、左右の映像 or 過去映像のいずれかより探索 35
映像生成（2） 背景情報の取得 色情報を、左右の映像 or 過去映像のいずれかより探索 アルファブレンディング 透視（半隠消）映像 Iarm Ibg Ioutput = ↵Iarm + (1 ↵)Ibg 35
背景情報の取得方法
wback (xback, yback, zback)
warm (xarm, yarm, zarm)
1. 左センサからの探索
- 左センサ映像を幾何変換
中央センサと光軸の高さ・向きを揃える
- 三角測量の原理を用いた探索
ml (ul , vl)
/"# 0
!"# $ = &'()*, - −
12, - − 1)
評価値が最小となる画素が背景情報となる
mc (uc , vc)
2. 死角位置の判別
A 左センサに投影される
B 左センサに投影されない（死角位置）
:
B
A
B
W
J(i)
J(i)
:
u [pixel]
A
36
背景情報の取得方法
wback (xback, yback, zback)
warm (xarm, yarm, zarm)
1. 左センサからの探索
- 左センサ映像を幾何変換
中央センサと光軸の高さ・向きを揃える
- 三角測量の原理を用いた探索
ml (ul , vl)
/"# 0
!"# $ = &'()*, - −
12, - − 1)
評価値が最小となる画素が背景情報となる
mc (uc , vc)
2. 死角位置の判別
A 左センサに投影される
B 左センサに投影されない（死角位置）
:
B
A
C
W
J(i)
J(i)
:
u [pixel]
C 左右どちらのセンサにも投影されない
過去映像を用いて補完
A
36
透視（半隠消）映像 元映像（中央センサ） 透視（半隠消）映像 37
透視（半隠消）映像 元映像（中央センサ） 透視（半隠消）映像 37
遠隔操作における映像提示 移動時の映像提示 - 俯瞰映像提示システム - 任意視点映像提示システム 作業時の映像提示 - 透視（半隠消）映像提示システム - 任意視点透視映像提示システム 38
透視映像生成システムの課題 1.死角の発生 センサの位置姿勢が固定である ため、死角が発生し透視不可能 な場合がある 2.奥行方向の把握 2016/2/2 視点の位置姿勢が固定であるた め、奥行方向の把握が困難な場 合がある RGB-D 39
任意視点透視映像生成 3D 3D 3D 3D 3D 3D 2D 2D 橘高, 他: 移動可能なRGB-Dセンサを用いた任意視点からの遮蔽物透視システム, 精密工学会誌, Vol.83, No.3, pp.235-244, 2017. 40
任意視点透視映像 1,000 mm 41
任意視点透視映像 1,000 mm 41
まとめ 画像処理に基づく遠隔操作インタフェース ○ 移動時の映像提示 - 俯瞰映像提示システム - 任意視点映像提示システム ○ 作業時の映像提示 - 透視（半隠消）映像提示システム - 任意視点透視映像提示システム 42