近接覚センサ解説
13.7K Views
April 16, 22
スライド概要
“近接覚の役割・原理＆開発・利用例”
1. 近接覚センサの概要と基本構成
①近接覚センサとは何か
②近接覚センサの役割・利用例
2. 近接覚センサと種類と動作原理
①光反射光量方式
②静電容量（電界）方式
③三角測量方式
④光往復時間(TOF)方式
⑤渦電流方式
⑥超音波方式
3. これまで開発されてきた近接覚センサ事例紹介
①光型
②静電（電界）型
③ToF(Time of Flight)型
④触・近接覚型
4. まとめ
これまでに主に，ロボティクス・メカトロニクス研究，特にロボットハンドと触覚センシングの研究を行ってきました。現在は、機械系の学部生向けのメカトロニクス講義資料、そしてロボティクス研究者向けの触覚技術のサーベイ資料の作成などをしております。最近自作センサの解説を動画で始めました。https://www.youtube.com/user/shimojoster 電気通信大学 名誉教授
関連スライド
各ページのテキスト
近接覚センサ解説V1 “近接覚の役割・原理＆開発・利用例” 下 条 誠 電気通信大学名誉教授 https://researchmap.jp/read0072509/ The University of Electro-Communications Department of Mechanical Engineering and Intelligent System
内 1. 近接覚センサの概要と基本構成 ① ② 2. 光反射光量方式 静電容量（電界）方式 三角測量方式 光往復時間(TOF)方式 渦電流方式 超音波方式 これまで開発されてきた近接覚センサ事例紹介 ① ② ③ ④ 4. 近接覚センサとは何か 近接覚センサの役割・利用例 近接覚センサと種類と動作原理 ① ② ③ ④ ⑤ ⑥ 3. 容 光型 静電（電界）型 ToF(Time of Flight)型 触・近接覚型 まとめ 2
コメント ⚫ 例示センサの出典論文は各スライドに示しました ⚫ ビデオ(主にyoutube)がある場合はURLを示しました 下条研究室で開発したセンサ例の場合このアイ コンを表示してます。 補足説明の場合このアイコンを表示してます。 以下に示す例は，これまで開発された多数の近接覚センサの一部です。 重要な開発例および利用例が抜け落ちているかと思います。 その点は著者のサーベーイ不足，知識不足であります。 ご了承頂ければ幸いです。 3
①近接覚センサの概要 ①近接覚センサの概要 4
近接覚とは何か 触覚 近接覚 触感覚を空間的に数十cm拡張したもの （Super Tactile） 5
6 近接覚とは何か 近接領域 センサの例 光をあて，反射光を 検出する LED 光 i 非接触での検知 触覚が空間的に 拡張したイメージ Phototransistor EE-SY1200 検出素子：フォトリフレクタ
近接覚センサのメリット しかし 触覚センサは 接触が分かる Collision avoidance 衝突した後で わかる！ Object Detection 安全のためには近接覚が重要 7
視覚，触覚の問題点 問題： 物体近傍での情報の欠落 ➢ 視覚は計測誤差があり， また隠蔽や死角がある。 ➢ 触覚は接触するまで検出 できない 対策： ➢ 近接覚で，近くの物体 (近接領域）を検知する ✓ 視覚や触覚だと，安全のた め，衝突しないように物体 近傍では低速な動作となる ✓ 高速な動作が可能 ✓ 衝突回避が可能 ✓ ソフトな接触が可能 ✓ 非接触操作が可能 8
9 近接センサの利用場面の例 輪郭tracing × 高速 approaching 高速動作 ⚫ 安定操作 非破壊 辺 ⚫ 安全安心 ⚫ 高速動作 Soft Touching × 〇 角 面 安定した把持・操作 Proximity Servoing 接近面形状の検知 輪郭・追従 面/辺/角など 衝突事前検知 非接触操作 Touchless Operation
10 近接覚からの情報と利用 種類 検出情報の種類・利用 物体面までの 近接覚 距離 ⚫ 衝突回避 ⚫ 距離/方向 ⚫ ソフトな接触 ⚫ 接近速度 方向 ⚫ 衝突までの 時間 ⚫ 物体の位置 姿勢 ◼ 非接触 →非破壊 ✓ 安全性向上 ⚫ Servoing 輪郭・追従 ⚫ 接近面の形状 ⚫ 高速/安定 把持 平面/辺/角 形状 （分布） 長所 ⚫ 巧緻な把持 操作 ✓ 高速な動作 ✓ 非接触イン ターフェース への応用
11 近接覚の位置づけ ⚫ 視覚には隠蔽があり，触覚は接触まで検出できない ⚫ よって物体近傍では，衝突等を避けるため，低速な動作となる ⚫ 近接覚は視触覚をシームレスに接続し，確実で高速な動作を行わせる ⚫ 局所情報 (local area) ⚫ 大局情報 (wide area) ⚫ 推定 (predict) 視覚 近接覚 触覚 Vision Proximity Tactile ⚫ 接触まで未検出 ⚫ 隠蔽・死角 (Occlusion/blin d spot) 視覚 (vision) ⚫ 確定 (confirm) 非接触 接触 (non-contact) (contact) Proximity connects vision and tactile seamlessly 近接覚 (proximity) ✓ 視・触覚のシームレスな接続 (Not detected until contact) 触覚 (tactile)
近接覚センサの計測例 近接覚センサ出力 12 ©shimojo 近接覚センサ出力 近接覚センサ(16×16Array) https://www.youtube.com/watch?v=ILmK0DinkYM 近接覚センサとしてフォトリフレクタを使用して16×16に配置した。センサ出力をカラー で表示した。この例では，距離に応じて出力像が変化する
近接覚のロボットへの導入例 13 近接覚センサ avoiding 近接覚センサ 近接覚センサ Tracking 高速な物体表面追従を実現 Robot finger traces a surface using proximity array sensor ⚫ 指先に近接覚センサを配置 ⚫ センサ出力と指駆動モータを一対一接続 （Reactive contol） 追跡と回避動作の実現 Tracking and avoiding ⚫ ARM先端に近接覚センサを配置 ⚫ 先端トップの近接覚で追跡 ⚫ 先端サイドの近接覚で回避 https://www.youtube.com/watch?v=gaxcQPKM9C8 https://www.youtube.com/watch?v=M0QYP-V7qB8 https://www.youtube.com/watch?v=Bi0o-ai6-yM&feature=emb_logo https://www.youtube.com/watch?v=sCgZdzQL0GQ&t=35s K. Koyama, H. Hasegawa, Y. Suzuki, A. Ming, M. Shimojo,Pre-Shaping for Various Objects by the Robot Hand Equipped with Resistor Network Structure Proximity Sensor,Int. Conf. on Intelligent Robots and Systems(IROS) 4027-4033,2013 M. Shimojo, T. Araki, S. Teshigawara, A. Ming, M. Ishikawa,A Net-Structure Tactile Sensor Covering Free-form Surface and Ensuring High-Speed Response, Int. Conf. on Intelligent Robots and Systems(IROS 2007), 670-675, 2007
②近接覚センサの原理 ②近接覚センサの原理 14
近接覚センサの検出原理 1. 2. 3. 4. 5. 6. 光反射光量方式 静電容量（電界）方式 三角測量方式 光往復時間(TOF)方式 渦電流方式 超音波方式 15
（１） 光反射光量方式(フォトリフレクタ) 16 反射光強度は物体の距離に応じて変化 することから，近接距離情報を検出する EE-SY1200 3.2mmx1.9mm 利点： ➢ 応答速度速い ➢ 空間分解能高くできる ➢ 小型軽量廉価，種類豊富 欠点： ➢ 対象物の反射率，表面粗さ， 色等の影響を受ける ➢ 外乱光の影響がある
17 光反射光量方式例1 ① センサ素子は円周方向に60分割 ② 接近物体の方向と距離を検出 ③ 接近物体が複数の場合，接近物 体の方向と距離，および数を示す https://www.youtube.com/watch?v=Cfngzj1IFjU https://www.youtube.com/watch?v=XB3GhOs7UTk https://www.youtube.com/watch?v=r-n7wJWbeRQ Terada, K.; Suzuki, Y.; Hasegawa, H.; Sone, S.; Ming, A.; Ishikawa, M.; Shimojo, M.. Development of Omni-directional and Fast-responsive Net-structure Proximity Sensor, 2011 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2011) pp. 1954-1961, 2011. 17
（２） 静電容量(電界）方式 18 ① 自己容量 方式 ： 電極 間の電界内に誘電体 の 侵入による 静 電 容 量変化から検出 ② 相互容量 方式： 送受 信電極間の電界に物 体の侵入による電流 変化から検出 利点： ➢ 光方式と比べ汚れ等に強い ➢ 形状の自由度大（大小軽薄型など） ➢ 接近距離に強い ➢ 広範囲の検出が可能 欠点： ➢ 物体の形状，材質などで 特性が異なる ➢ 空間分解能が低い ➢ 指向性低い
静電方式の一寸詳しい説明（その１） 19 静電容量方式の 回路モデル 通常数100pF以下 静電容量(電界）方式は，接触，近接，変位計測に利用される。 1. 2. 3. 4. 5. 静電容量は，導体間（金属，人体など）に存在する 導体間に電位差があれば，その間に電界が発生する 導体間の電位差が変化すると，変位電流（the displacement current )が流れる 交流電源でその電位差を変化させ，流れる変位電流を測定する 変位電流の変化を検出することで，接触，接近などを検出する Tobias Grosse-Puppendahl,Christian Holz,Gabe, Raphael Wimmer, Oskar Bechtold, Steve Hodges, Matthew S Reynolds, Joshua R Smith,"Finding Common Ground: A Survey of Capacitive Sensing in Human-Computer Interaction,"Proceedings of the 2017 CHI Conference on Human Factors in Computing SystemsMay 2017 Pages 3293–3315
静電方式の検出モード分類（その2） Loading Mode Active Capcitance sensing 能動型 Passive Capcitance sensing 受動型 ⚫ 能動型：交流電源で電界を変化させる ⚫ 受動型：存在する電界を利用する 負荷モード 自己容量方式(self-capacitance sensing) Transmit Mode Shunt Mode 一般的検出法 Receive Mode 20 電界を遮るモード 相互容量方式(mutual-capacitance sensing) (𝐶𝑇𝑅 ≅ 𝐶𝑇𝐵 ≅ 𝐶𝑅𝐵 ) 送信側に物体を配置するモード (𝐶𝑇𝐵 ≫ 𝐶𝑅𝐵 , 𝐶𝑇𝐵 ≫ 𝐶𝑇𝑅 ) 受信側に物体を配置するモード (𝐶𝑅𝐵 ≫ 𝐶𝑇𝐵 , 𝐶𝑅𝐵 ≫ 𝐶𝑇𝑅 )
21 （３） 三角測量方式 三角測量にて距離を計測する。受光素子とし てPSD等の位置検出素子を用いる。 sharp 型番 GP2Y0A710 範囲 100〜550cm GP2Y0A02 20〜150cm GP2Y0A710 100〜550cm https://jp.sharp/products/device/lineup/selection/opto/haca/diagram.html 利点： ➢ 反射率等の影響を受けない ➢ 信号処理回路を一体化 ➢ 種類豊富 欠点： ➢ 最小検出距離数センチ ➢ 応答性十数ms程度(I2C接続）
22 （４） 光往復時間（TOF）方式 光の往復時間TOF(Time of Flight) から対象物までの距離を測る方式 Δｔ＝往復時間 L=10mmならば， → Δｔ＝67ｐｓ 計測Timerの周波数 f は SPAD(Single-Photon Avalanche Diode) 𝒇= 𝟏 ∆𝒕 𝒇 = 𝟏𝟓𝟎𝑮𝑯𝒛 C: 光速 利点： ➢ 対象物の反射率，表面粗さ， 色等の影響が無い ➢ 集積化可能，小型，軽量 欠点： ➢ 計測精度？ →数ミリの誤差がある ➢ 高速応答性？
近接覚（TOF方式）例１ 23 STMicroelectronics VL6180X ✓ レンジ：0mm-100mm, ✓ 誤差：2～３mm程度 I2C接続 ✓ 応答：15ms（67Hz） 4.8 x 2.8 x 1.0 mm STMicroelectronics Vl6180X 距離計測特性 Δｔは多数試行からの統計処理 →応答速度と精度はトレードオフ https://www.st.com/content/st_com/en/products/imaging-andphotonics-solutions/proximity-sensors/vl6180x.html
（５） 渦電流方式 24 電磁誘導での渦電流による磁気損失を検出 ✓ 渦電流(eddy current)が導体に流れると導体内 部の電気抵抗により消費され渦電流損失となる。 https://www.keyence.co.jp/ss/products/sensor/sensorbasics/ed_info.jsp 利点： ➢ 耐環境性に優れる ✓水や油などの環境下 ✓広い温度範囲 欠点： ➢ 導体である金属に限られる ➢ 物体の材質等の違いで特性 が変化
25 （６） 超音波方式 音の往復時間TOF(Time of Flight) から対象物までの距離を測る方式 Δｔ＝往復時間 1 𝐿 = 𝑣∆𝑡 2 𝑣: 音速 レンジ： 20-4000mm 応答性： 60ms(max) サイズ：45×20×15mm ＨＣ－ＳＲ０４ 利点： 欠点： ➢ 多少の埃，汚れでも検出可能 ➢ 近接距離の検出困難(振動子残響などの為） (20mm～） ➢ 透明体の検出が可能 ➢ 多くの種類がある ➢ 高速応答は困難(30ms以上） ➢ 多重反射などで誤動作
近接覚センサ検出方法および製品 種類 製品 光反射光量 強度 ROHM RPR-220 OMRON EE-SY1200 光三角測量 SHARP GP2Y0E03 寸法[mm] 応答速度[ms] レンジ[mm] 4.9 × 6.4 × 6.5 1.9 × 3.2 × 1.1 0.01 0.03 5 ~12 1 ~4 16.7 × 11.5 × 5.2 4.0 × 2.1 × 1.25 ~40.0 ~50.0 40 ~500 25 ~1450 VL6180X VL53L0X Tactile proximity sensor 4.8 × 2.8 × 1.0 4.4 × 2.4 × 1.0 40 × 40 × - ~100 ~2000 0 ~100 OMRON E2K-C25M φ34x82 7.5~ ~20 (Min.) ~100.0 (48 elements) 14.3 渦電流 KEYENCE EX-422V φ22×35 0.075 (Min.) 0 ~10 超音波反射 時間 レーザ三角 SainSmart HC-SR04 OMRON E4C-DS30 45 × 20 × 15 φ18x50.2 0.1~23.2 30 20 ~4000 60ｰ275 KEYENCE IL-030 48.5×37.9×22.6 0.33 (Min.) 20 ~45 光飛行時間 （TOF) GP2AP002S30F STMicroelectronics 静電容量 測量 3～25 26
③これまで開発されてきた触覚センサ事例紹介 27 ③これまで開発されてきた 近接覚センサの事例紹介 近接覚センサの開発例は最近増加してきた。ここではその中で実用・実装されたセンサを何例か示す。これ以外にも多くの特徴的な センサがある。また，自らの例が多いのは記述し易いこともあり，お許し願いたい。
光型近接覚 •光型近接覚 の開発例 28
近接覚による自律的追従・把持（１） proximity sensor 29 高速な近接センシングに基づく，Reactive制御 を用いた、多自由度HandとArmの統合制御 ✓ 各指先の近接覚センサは、抵抗回路網型マト リクス状の構成である ✓ センサは，物体までの距離とその中心位置と に関係する値を高速(<1ms)に検出する ✓ センサ出力により、ハンド指面を物体形状に 倣わせ，同時に適切なアームの位置・姿勢に なるようReactive制御を行う ✓ 位置と姿勢は非接触で制御されるため、物体 やロボットを損傷する危険性はない Structure of a high-speed proximity sensor (An example m × n matrix of detectors where m = 3 and n = 3) K. Koyama, M. Shimojo, A. Ming, M. Ishikawa,"Integrated control of a multiple-degree-offreedom hand and arm using a reactive architecture based on high-speed proximity sensing,"The International Journal of Robotics Research, 38(14). 1717 - 1750, 201
近接覚による自律的追従・把持（２） 指先と物体面とが平 行となるように制御 近接センサ出力と関節 モータとの一対一接続に よるReactive制御 指先腹部位で物体を 把持するように制御 近接センサ出力（中心位置の値） https://www.youtube.com/watch?time_conti nue=3&v=gaxcQPKM9C8&feature=emb_logo 近接覚出力に基づく，多自由度HandとArmの制御 https://www.youtube.com/watch?v= tHsrXsEreCY https://doi.org/10.1177/0278364919875811 30
近接アレイによる物体検知・把持 手にひらに 実装 指先に 配置 ✓ 近接覚センサをハンド掌(5x6)と指 先に実装している ✓ 近接覚センサアレイで，テーブル上 のブロックを検出し，指先の近接覚 も用いて把持と配置を行う ✓ 視覚センサは使っていない •Sha Ye, Kenji Suzuki, Yosuke Suzuki, Masatoshi Ishikawa, Makoto Shimojo: Robust Robotic Grasping Using IR Net-Structure Proximity Sensor to Handle Objects with Unknown Position and Attitude,2013 IEEE International Conference on Robotics and Automation (ICRA), pp.3271-3278, Karlsruhe, 2013.5 https://www.youtube.com/watch?v=ef3yN1m_lCk 31
分布型近接覚 32 フォトリフレクタをアレイ状に配し，対象物面までの距離 （高速応答）と，距離パターン（低速応答）を計測する。 ✓ フォトリフレクタ，抵抗ネットワークで接続して中心位 置を検出する方式に，各フォトリフレクタの出力（電 流）を計測して距離パターンを検出する方式を合わ せたセンサ ✓ 中心位置の検出は１ｋｚ，距離パターンは100Hz，の サンプリング速度 ✓ 左図は，球と円柱の距離パターン計測例を示す。 （パラメータとしてセンサと物体の距離を変化） Y. Hirai, Y. Suzuki, T. Tsuji and T. Watanabe: High-speed and Intelligent Pre-grasp Motion by a Robotic Hand Equipped with Hierarchical Proximity Sensors, IEEE/RSJ Int. Conf. on Intelligent Robots and Systems, pp.7424-7431, 2018.
33 触・近接センサを指全周配置 A B 内部 リフレクタ型 近接覚 • トップ：4個 • ４側面：８個 計36個 袋の中から取り出す動作 ✓ 指周囲の物体を検出 ✓ 物体を避けること， ✓ 物体表面と平行にすること， ✓ エッジを検出すること， などが実行可能 触近接センサ構成： ✓ 近接センサをシリコンゴムに埋め 込む ✓ 近接距離：物体からの反射光+ ゴム面反射（B) ✓ 接触距離：ゴム面反射増大（A) N. Yamaguchi, S. Hasegawa, K. Okada and M. Inaba, "A Gripper for Object Search and Grasp Through Proximity Sensing," 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Madrid, 2018, pp. 1-9.
光導波板と複眼カメラを組合わせた触近接覚 34 hand ✓ 触覚：光導波板(Acrylic)を用いた 拡散光検出→赤外光検知用カメラ ✓ 近接覚：光導波板(Acrylic)からの 透過光→可視光用カメラ（2台）か らの視差から計測 複眼カメラ（9units） フィルタを挿入 近接出力 触覚出力 上段： 可視光カット 中下段： 赤外光カット K. Shimonomura, H. Nakashima and K. Nozu, "Robotic grasp control with high-resolution combined tactile and proximity sensing," 2016 IEEE International Conference on Robotics and Automation (ICRA), 2016, pp. 138-143.
35 光の遮断による物体検知 Tissue grasping 1. 2. 3. 4. Kinect:Preliminary work point cloud Trace the edge Find the corner Grasp it エッジ追跡で角を検出 Four beams of IR light 赤外光の遮断による物体検知 Center detection 1. Gripper rotates around the x-axisfor 180 degrees 2. Records the sensing information ハンドを回転 して物体中心 位置を検出 Kinectでの前処理と光遮断法による検出 Di Guo, P. Lancaster, L. Jiang, Fuchun Sun and J. R. Smith, "Transmissive optical pretouch sensing for robotic grasping," 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), pp. 5891-5897.
協調動作空間での接触を予測検知 36 人間とのロボットの協調動作空間での接 触検知を近接覚センサで予測検知する 時の，最適な近接覚センサの配置の位 置と個数をシミュレーションによって評価 ✓ 搭載センサ方式は，開発およびキャリ ブレションの容易性，オクルージョン排 除の優位性の利点 20個配置 ✓ 産業用ロボット（ ABB IRB140 ）での 最適化方法の結果として，センサ配 置数20個使用した場合に、人間の検 出確率のほぼ90％を保証 ✓ ロボットの回避制御として，センサ情 報に基づく、安全性を高める回避アク ションを行うリアクティブ制御が提案 GP2Y0A02YK (Sharp ) 20-150cm G. Buizza Avanzini, N. M. Ceriani, A. M. Zanchettin, P. Rocco and L. Bascetta, "Safety Control of Industrial Robots Based on a Distributed Distance Sensor," in IEEE Transactions on Control Systems Technology, vol. 22, no. 6, pp. 2127-2140, Nov. 2014.
近接センサアレイによる分布計測 37 短冊形状のフレキシブルプリン ト基板上に赤外線LEDセンサー をアレイ状に配置 ✓ 検出範囲：0～300mm ✓ 応答性：５００Hz ✓ インターフェース：CAN (日本精工株式会社) https://www.nsk.com/jp/company/news/2015/press1201b.html
近接覚によるジェスチャーセンサ 38 画面から離れた位置で手の動きを検知す るジェスチャーセンサ ✓ タッチパネルなどにセンサに手をかざす ことで，手の移動方向を検出 sharp http://www.sharp.co.jp/corporate/rd/n38/pdf/201310topics2.pdf
静電（電界）型近接覚 •静電（電界）型 近接覚の開発 例 39
静電（電界）型近接覚 40 電界(Electric Field )変化による近接物体 の検知。バレットハンド指先に左図センサを 取付け把持を行う Left Receive short-range Mid-Range Transmit Short Range Rightelectrodes Receive attached to Finger bottom of sensor board. Transmit センサ出力変化 （相対比） B. Mayton, L. LeGrand, and J.R. Smith,"An Electric Field Pretouch System for Grasping and Co-Manipulation," 2010 IEEE Int. Conf. on Robotics and Automation https://www.youtube.com/watch?v=tMk0WKjqrk0 Mid-range
静電型センサProximity servoing 41 裏 ✓ 力モード ： Layer AとB間の静電容量で計測 ✓ 近接モード： Layer Bと対象物間の静電容量で計測 ✓ ハンド両面の近接センサから物体 の位置姿勢を計測 ✓ Proximity servoingを行う S.E. Navarro, M. Schonert, B. Hein, H. Wörn,"6D proximity servoing for preshaping and haptic exploration using capacitive tactile proximity sensors,"2014 IEEE/RSJ International Conference on Intelligent Robots and Systems https://www.youtube.com/watch?v=nwH9GfzTek8
42 衝突回避（静電容量型） 変位電流 送信：transmitter 変位電流 受信 receiver T. Schlegl, T. Kröger, A. Gaschler, O. Khatib, H. Zangl,"Virtual Whiskers — Highly Responsive Robot Collision Avoidance," 2013 IEEE/RSJ Int. Conf. on Intelligent Robots and Systems https://www.youtube.com/watch?v=v7C_SHweCxM
操作中物体の内部特性を計測 43 S1:測定切り替え Electrodes 静電容量センシング：電極の励 起モードを切り替え，操作中物 体の内部特性を計測する 電極の配列に対して，シングルエンド 測定（電極とグランド間容量）と差動 測定（電極間容量）を実行、空のボト ルと空でないボトルを分類する 物体による電界の変化シミュレーション S. Mühlbacher-Karrer, A. Gaschler and H. Zangl, "Responsive fingers — capacitive sensing during object manipulation," 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Hamburg, 2015, pp. 4394-4401. https://www.youtube.com/watch?v=htc3lj8Los0&feature=youtu.be
ToF型近接覚 •ToF型近接覚 の開発例 44
45 ToF+静電の複合型 VL53L0X 1. ToF型近接： ✓ 中距離計測 2. 静電容量型： ✓ 近接距離 ✓ 非接触材質判別 材質判別：静電型電極を用いた インピーダンス計測 Real part Imaginary part Cooling Pad, Coated Steel, ESD Foam(帯電防止剤）, Pork ,Humanを0.2 ｍｍの距離から計測したインピーダンス インピーダンス計測例 実線：実部，点線：虚部 ToFの役割は位置決めか？ Y. Ding, H. Zhang and U. Thomas, "Capacitive Proximity Sensor Skin for Contactless Material Detection," 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Madrid, 2018, pp. 7179-7184.
46 ToF+静電の複合型 ToF: VL6180X 27x27mm/ cell 拡大 役割分担 ✓ 遠距離：ToF 静電容量 ✓ 近距離：静電型 センサ構成 拡大 ✓ ToF(VL6180X)+静電型 のモジュール構成 ✓ 24モジュールがI2Cで接続 ToFと静電容量型センサの計測結果 測定物体(100×100mm)：導体とAcrylic， 白と黒の紙を貼る ✓ 全計測速度は58ms（計測 +伝送） S. Tsuji and T. Kohama, “Proximity and Contact Sensor for Human Cooperative Robot by Combining Time-of-Flight and Self-Capacitance Sensors,” in IEEE Sensors Journal，2020.
近接覚モジュールによるProximity servoing 47 人間とロボットの協調作業のため， ロボットにリング状配置した近接モ ジュールを備えたマニピュレーター ✓ 近接モジュール：静電容量，ToFセンサの近 距離情報の組み合わせ ✓ ロボットは変化する環境で，反射動作(reflex motions )のように衝突回避を実行 Proximity sensor cuff (PSC) 12 elements/PSC ✓ 衝突回避経路として、直交運動で障害物の 周りを移動する近接サーボ方法を提案する ✓ 回避運動は、衝突回避運動が許可する限り、 タスク運動を維持する capacitive electrodes ✓ 3D深度カメラと比較して、関連するワークス ペース領域のほとんどを最小限のポイントで カバーできるとする TOF RGB LED front back ✓ 一方、ToFセンシングの狭いレーザービーム の狭い視界を、広域静電容量センシングと の組み合わせによりカバーする Y. Ding, F. Wilhelm, L. Faulhammer, and U. Thomas, “With proximity servoing towards safe human-robot-interaction,” in 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2019, pp. 4907–4912.
フォトリフレクタアレイとTOFの複合型 48 近接センサを使用して、手と 対象物の間、および手と支持 面の間の相対的な姿勢と位 置に基づく把持を実現する PhotRef( SY1200) fingernail ToF(VL6180X) 近接センサ 指先： ✓ フォトリフレクタを抵抗回路 網で構成したもの。中心位 置と距離を検出 爪先： ✓ フォトリフレクタ。物体との 位置姿勢を計測 ✓ ToF:反射率に関係なく支 持面まで距離を計測 K. Sasaki, K. Koyama, A. Ming, M. Shimojo, R. Plateaux and J. Choley, "Robotic Grasping Using Proximity Sensors for Detecting both Target Object and Support Surface," 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Madrid, 2018, pp. 2925-2932.
49 テレオペレーションへの利用 ① ② ① ガイダンス力 (引力) ② 禁止領域力 (斥力) ③ 近接倣い力 ③ 利点：スペースの制約、アクセシビリティ、またはオクルー ジョンのためにカメラや長距離センサーでは十分に観察で きない動的なオブジェクトや領域を探索できる VL6180X 計 6個配置 未知の幾何学的構造にロボットが接触することによる負の 結果を招くことなく、ターゲットとのインターラクションが可能 ✓ ターゲットの損傷または不要な変位を生じない ✓ 操作者は，より積極的に探索に集中可能 ✓ ハプティックフィードバックは、非ハプティックフィードバック と比較し衝突は半分以下。ユーザーは一貫して関心のあ るオブジェクトに近づくことができた K. Huang, P. Lancaster, J. R. Smith and H. J. Chizeck, "Visionless Tele-Exploration of 3D Moving Objects," 2018 IEEE International Conference on Robotics and Biomimetics (ROBIO), Kuala Lumpur, Malaysia, 2018, pp. 2238-2244.
触・近接覚型 •触・近接覚型 の開発例 50
HEX-O-SKIN（１） 51 （力，近接，温度，加速度） HEX-O-SKIN 感圧機構：力，近接,温度,加速度センサの複合型 センサ（六角形構造） 特徴： ✓ 六角形はポートで隣接六角形に接続され計 測データを伝送 ✓ 近接(GP2S60)，加速度(BMA150)，温度 (PCS1.132)，静電容量型力センサ （MEMS) ✓ 柔軟性は低い Philipp Mittendorfer, Gordon Cheng,Integrating Discrete Force Cells into Multi-modal Artificial Skin,Humanoid Robots (Humanoids), 2012 12th IEEE-RAS International Conference on GP2S60 sharp
HEX-O-SKIN（２） （力，近接，温度，加速度） 52 https://www.youtube.com/watch?v=M-Y2HW6JcGI G. Cheng, E. Dean-Leon, F. Bergner, J. Rogelio Guadarrama Olvera, Q. Leboutet and P. Mittendorfer, "A Comprehensive Realization of Robot Skin: Sensors, Sensing, Control, and Applications," in Proceedings of the IEEE, vol. 107, no. 10, pp. 2034-2051, Oct. 2019.
触・近接センサ 53 (Univ.Colorado) VNCL40101 proximity sensors PDMS 1. 近接：対象物の接近は，反射光 強度より検出 2. 力：接触後の力は，PDMSの変形 透明度の高いPDMS層の下にフォトリフレ クタ(VNCL40101)を配置する。 VNCL40101: proximity sensor detecting objects a distance up to 20 cm. reliable detection: atdistance up to 6–7 cm 量を反射光強度から検出，力を推 定する Dana Hughes, John Lammie,and Nikolaus Correll，A Robotic Skin for Collision Avoidance and Affective Touch Recognition, IEEE ROBOTICS AND AUTOMATION LETTERS, VOL.3, NO.3, pp.1386-1393, 2018
触・近接覚（１）(Univ. Tokyo) 54 対象物面までの距離と傾きを，反射率の 影響を受けず，高速・高精度に計測する。 ✓ フォトリフレクタの配置間隔，点滅位相を工夫 することで，対象物表面の反射率の影響を受 けない ✓ 応答時間：1ms以下，計測精度：50mm以下 1)近接覚 ✓ 対象物までの距離ゼロを接触と見なすことで 高感度な接触検知可能 ✓ 高精度位置計測が可能たため，指先柔軟体 に接触後の変位計測より接触力を計測可能。 elastomer LEDs Phot.Diode 2)触覚 elastomer Koyama, K; Shimojo, M; Senoo, T; Ishikawa, M: High-Speed High-Precision Proximity Sensor for Detection of Tilt, Distance, and Contact, Koyama, IEEE Robotics and Automation Letters 3(4) pp.3224-3231, 2018.
触・近接覚（２）(Univ. Tokyo) Distance mode https://www.youtube.com/watch?v=v0jTcjZWz88 https://www.youtube.com/watch?v=UVMg2qdhdYs 55
近接覚（静電容量方式） 56 ✓ PDMS(Polydimethylsiloxane) 上に16×16 個 の電極マトリクスを形成した静電容量型触覚・近 接覚複合センサ ✓ 接触力の変形による静電容量の変化による触覚 センシング 近接覚 動作 触 覚 動作 ✓ 電極-物体間に生じる静電結合により近接覚セ ンシング ✓ 検出部は22mm 角 HK Lee, SI Chang, E Yoon, Dual-Mode Capacitive Proximity Sensor for Robot Application: Implementation of Tactile and Proximity Sensing Capability on a Single Polymer Platform Using Shared Electrodes, IEEE Sensors Journal, 9,12, 1748 - 1755, 2009
まとめ ④近接覚センサの まとめ 57
近接覚とは触覚の拡張である ⚫ 空間的拡張：Telexistenceなど ⚫ 時間的拡張：時間軸の伸縮・シフト処理 ⚫ モダリティ：異種感覚間の相互変換・提示 今回の近接覚とは ➢ 触感覚を空間的に数十cm 拡張する（Super Tactile） ➢ 接触前情報を用いた、新た な制御/操作方式への応用 58
近接覚まとめ１ 59 従来の触覚の問題点として，主に以下のことがあると考 える。 1. 接触しないと情報が取れない。このためアプローチ動作では対 象物に衝突させないため、低速度での動作となる 2. 対象物への接触は難しい。センサの柔軟性が低いと均一な接 触が難しく面情報は取りにくい 3. なぞり動作は難しい。探索動作での接触を保ちながらの動作 は制御が難しい。 4. 触覚センサは、伸び，縮み，擦り，打撃などに対する物理的耐 久性と水，油，薬品などに対する化学的耐久性が必要である 5. 表面を被覆する場合，多くの検出素子を分散配置する必要が あり，その配線処理が難しい（近接は少ないセンサ数で可）
近接覚まとめ２ 60 このように触覚の難しさは，ほとんどが接触に関わる。 では接触が真に必要なことは何であるだろう。 1. 触覚は、力や硬さの計測等が主となる。それ以外の形状 認識，エッジ検出などは触覚を使わず，非接触で計測する 視覚や近接覚に委ねればよい 2. 触覚は、離れると検出できない。たとえば把持操作中に接 触が僅かでもなくなると制御が格段に難しくなる。これは 把持操作では大きな欠点であり，この点，接触が離れても 連続して計測できる近接覚を利用する方が合理的である。 すなわち，触覚サーボより近接覚サーボの方が技術的に容 易と思われる 3. 触覚機能を内包する近接覚の開発。接触力検出機能を有 する近接覚の開発と近接覚サーボへの応用が興味深い
近接覚制御方式のロボットハンド 61 近接覚制御方式のロボットハンドには次のような利点がある。 1. 2. 3. 4. 5. 6. ハンドを近づけると自動的に物体の形に倣って把持を行う 各種物体毎のソフトウェアが不要である センサ制御系一体型のハンドのためコンパクトである 視覚が必要ない。もしくはごく簡便な視覚（kinectなど）でよい 高速な把持動作が可能 物体が少々動いたりしても把持可能（自動追従把持） 近接覚制御方式は，視覚の隠蔽による情報欠落を補完し，かつ 接触前数cmの範囲を確実・高速に計測・制御可能なため，従来 の視覚フィードバック制御方式と組合わせ発展する可能性もある https://doi.org/10.1177/0278364919875811
お わ り 62
近接覚の利用 皮膚感覚の 空間的拡張 その工学的応用 ハンド・遠隔操作 障害物回避 63
64 近接と触覚センサを用いた身障者用支援ロボット GP2D120 The iArm 静電型触覚(iCub) TCND5000 NN学習：近接センサ出力と触覚センサ出力とにより学習を行い，衝突が発生 する前に障害物の方向への動きを制限する。 近接覚中距離用 Detecter Emitter 近接覚近距離用 GP2D120 (sharp) 44.5 x 18.9 x 15.5mm 40-400mm TCND5000(Vishay) 6-40mm 6 x 4.3 x 3.75mm M. F. Stoelen, V. F. Tejada, J. G. Victores, A. J. Huete, F. Bonsignorio and C. Balaguer, "Adaptive collision-limitation behavior for an assistive manipulator," 2013 IEEE/RSJ International Conference on Intelligent Robots and Systems, Tokyo, 2013, pp. 1143-1148.
パルスエコー超音波を用いた近接距離の計測 65 レーザパルス照射によって発 生するパルスエコー超音波か ら近接距離を求める ✓ 5mmの作業距離内で、最大偏差 が0.23 mm未満の距離測定を実 行でる ✓ 多孔質、金属、硬質プラスチッ ク、ゴム材料を区別できる ✓ 現在使用中のトランスデューサ は，中空でも透明でもないため、 材料認識と近距離測距は別々に 実行さる。 現在は利用可能性検証のた めの実験機 C. Fang, D. Wang, D. Song and J. Zou, "Toward Fingertip Non-Contact Material Recognition and Near-Distance Ranging for Robotic Grasping," 2019 International Conference on Robotics and Automation (ICRA), Montreal, QC, Canada, 2019, pp. 4967-4974.
近接覚（TOF方式）製品 SONY:画像センサ「IMX456QL」 ✓ レンジ：300mm-10000mm, ✓ 誤差：誤差6mm（１ｍ測距時） ✓ 速度：120fps SONY:画像センサ「IMX456QL」 https://www.sony.co.jp/SonyInfo/News/P ress/201712/17-114/ Simblee™ IoT 3D ToF Sensor Module RFD77402 ✓ Range: 100 mm to 2000 mm ✓ Accuracy: +/- 10% accuracy ✓ Maximum refresh rate: 10 Hz Simblee™ IoT 3D ToF Sensor Module （RFD77402） 4.8 x 2.8 x 1.0 (LxWxH) I2C接続 66
①光反射光量方式(フォトリフレクタ) ◼ 指先部触近接覚センサ構造 CoP Tactile Sensor フォトリフレクタ（RPR-220） Proximity Sensor 指先に1個のフォトリ フレクタを取付け，物 体の近接検知を行い， 同時把持を行うこと で物体の転倒を防ぐ •溝口善智, 多田隈建二郎, 長谷川浩章, 明愛国, 石川正俊, 下条誠: 近接・触・す べり覚を統合したインテリジェントロボットハンドの開発, 計測自動制御学会論文集, Vol.46, No.10, pp.632-640, 2010 67
触覚：これからの研究課題１ 68 1. 柔軟性，大面積，伸縮性を備えた印刷技術などで製造した安 価なセンサの利用が進むかも知れない。構造体と一体になった 作成も興味深い。但し，耐久性など各種特性については現状 ではまだ未知な点がある。 2. カメラモジュールを用いた高空間分解能型の触覚センサは視 覚情報処理技術との相性もよく，操り制御等への利用が進む かもしれない。 3. 近接覚を基礎とした，触近接覚センサは，一つの発展の方向 性を示すものと思う。 4. 機械学習のロボット技術への応用が急速に進歩している。組 立などハンドを用いた巧緻作業の実現は，社会に大きな革新 をもたらす。特に多指ハンドによる巧緻作業での制御アルゴリ ズムの構築では機械学習が新たなフレームワークとツール提供 するであろう。
触覚：これからの研究課題２ 69 5. 多指ハンドの制御では，視覚ベースの機械学習で操りが可能 となってきた。但し，視覚と触覚の協調により，ロバストな，より 高性能な操りが可能となる。操りが可能から，より巧みに出来 るためには視覚，触覚など多角的情報による制御が必要にな るだろう。 6. 巧緻作業を行うハンドは，繊細な動作可能なハンドと，高速高 精度なセンサが統合的に設計されたセンサ一体型ハンドが必 要かと思える。 7. 触覚センサの開発は，目的に応じた機構と情報処理アルゴリ ズムとが一体となったシステムとして作り込むことが必要である と考える。 8. 視覚と触覚，どれを，どのように使うかは，利用可能か否かで はなく，機能性，確実性，簡便性，耐久性，コストなどの観点か ら総合的に判断すべきであろう。