触近接覚v2
7.3K Views
September 20, 22
スライド概要
1. 触覚センサの概要と基本構成
①触覚センサに求められる検出機能と特性・種類
②触覚センサの基本構成
2. 触覚センサと種類と動作原理（センサ例含む）
①触覚
②すべり覚
③近接覚
3. これまで開発されてきた触覚センサ事例紹介
①触覚・すべり覚・近接覚とロボットへの応用を中心に紹介
②下条研で開発してきた主なセンサとハンド実装・制御
4. E-skin & E-textileについて簡単な紹介
5. まとめ
⚫ 旧VersionV2’です。リクエストにより掲載します。
⚫ 最新VersionはV3です。
⚫ V2’は、V3で削除した内容を多く含みます。
これまでに主に，ロボティクス・メカトロニクス研究，特にロボットハンドと触覚センシングの研究を行ってきました。現在は、機械系の学部生向けのメカトロニクス講義資料、そしてロボティクス研究者向けの触覚技術のサーベイ資料の作成などをしております。最近自作センサの解説を動画で始めました。https://www.youtube.com/user/shimojoster 電気通信大学 名誉教授
関連スライド
各ページのテキスト
2019.6.24 触覚・近接覚センサ解説V2‘ “これからの触覚技術”補足説明資料 ⚫ 旧VersionV2’です。リクエストにより掲載します。 ⚫ 最新VersionはV3です。 ⚫ V2’は、V3で削除した内容を多く含みます。 下 条 誠 電気通信大学名誉教授 https://researchmap.jp/read0072509/ 参考資料： 触覚認識メカニズムと応用技術(増補版), 全666頁, サイエンス＆テクノロジー株式会社, 2014 The University of Electro-Communications Department of Mechanical Engineering and Intelligent System
内 1. 2. 3. 容 触覚センサの概要と基本構成 ① 触覚センサに求められる検出機能と特性・種類 ② 触覚センサの基本構成 触覚センサと種類と動作原理（センサ例含む） ① 触覚 ② すべり覚 ③ 近接覚 これまで開発されてきた触覚センサ事例紹介 ① 触覚・すべり覚・近接覚とロボットへの応用を中心に紹介 ② 下条研で開発してきた主なセンサとハンド実装・制御 4. E-skin & E-textileについて簡単な紹介 5. まとめ 2
コメント ⚫ 例示センサの出典論文は各スライドに示しました ⚫ ビデオ(主にyoutube)がある場合はURLを示しました 下条研究室で開発したセンサ例の場合このアイ コンを表示してます。 補足説明の場合このアイコンを表示してます。 以下に示す例は，これまで開発された多数の触覚センサの一部です。 重要な開発例および利用例が抜け落ちているかと思います。 その点は著者のサーベーイ不足，知識不足であります。 ご了承頂ければ幸いです。 3
①触覚センサの概要と基本構成 ①触覚センサの概要 と基本構成 4
触覚センサの論文・特許数の経年変化 （"tactile sensor"） 2400 2200 2000 1800 1600 1400 paper 1200 1000 patent 800 600 400 200 0 google scholarにより検索（1960～） 5 ("tactile sensor" OR "tactile sensors") AND patent
なぜ触覚か（1/3）？ 6 １．商品の差別化・高級化を図る 視覚，聴覚 と比較して 利用がまだ 未開拓 ２．より自然なインターフェース ➢ 視覚･聴覚･触覚の融合 ・見て聞いて触れる ➢ 入出力の融合 ・見て触って操作する ３．人工の手の実現 ➢ センシング機能 ・触れて検出・制御する
7 なぜ触覚か？（2/3） 触覚の特徴を利用する １．確定感覚：接触による確認 ➢ 視覚で推定 ➢ 触覚で確認 ２．接触感覚：力・硬さ・熱等の検出 ➢ 見えないもの を知覚する ３．原始感覚：心への伝達 ➢ 情動への関与 触覚の特性 識別感覚 制御 原始感覚 心
なぜ触覚か（3/3）？ 器用な動作，様々な作業を行うための触覚 人間の優れた点 ”脳”と”手” ⚫認識・創造する脳 →人工知能 ⚫実体化する手 →人工の手 機能を向上させる触覚 8
9 五感の中の触覚 注 器官 集 中 型 分 散 型 通信量 視覚：眼 107 bit/s 聴覚：耳 105 bit/s 嗅覚：鼻 103 bit/s 味覚：舌 103 bit/s 触覚：皮膚 106 bit/s 大脳での触感覚領域の広さ ［Penfield et al., 1950］ 成人では1.6〜1.8㎡の面積と，３〜５Kgの重量を有する 最大の器官である 注：山田雅弘，"各感覚における神経情報処理の共通点・相違点"．電総研調査報告，No.215, 18,1986
10 皮膚構造と機械受容器 順応時間 深さ ：浅い→I SA: slow adaptation unit ：深い→II FA: fast adaptation unit 皮膚受容器は，配置の“深さ” と，“順応” 時間のタイプから， 4種類に分けられる。 メルケル細胞 (SAI) 皮丘 皮溝 汗腺 表皮 表皮 隆起 Mr Mk 真皮 乳頭 真皮 皮下 組織 マイスナー小体(FAI) R ルフィニ終末 Pc パチニ小体 (FAII) (SAII)
11 機械受容器の周波数特性 メルケル細胞 (SAI) マイスナー小体(FAI) NP-III ( FA-I ) 振動刺激振幅（dB ：1.0μm基準） 45 (SAII) パチニ小体 (FAII) NP-II ( SA-II ) NP-I ( SA-I ) 30 ルフィニ終末 強度検出 15 速度検出 0 P ( FA-II ) -15 加速度検出 30 0 1 10 100 1000 振動刺激周波数（ Hz ：対数軸） S. J. Bolanowski, Jr. , G. A. Gescheider , R. T. Verrillo , C. M. Checkosky, Four channels mediate the mechanical aspects of touch,J. of the Acoustical Society of America 84,5, November 1988
12 触覚センサの標準デバイスは？ 触覚は，視覚，聴覚に対して開発が遅れている 標準デバイス 視覚センサ：ビデオカメラ 聴覚センサ：マイクロホン 触覚センサ：？？？ ？
触覚センサは，何が難しいのか 13 ◼接触型である ➢ 伸び，縮み，擦り，打撃などに対する物理的耐久性 ➢ 水，油などの化学的汚染に対する化学的耐久性 ◼分布型である ➢ 柔軟で薄く，広範囲の自由曲面を覆えることが必要 ➢ 多数分布する検出素子への配線処理が必要 ◼能動型である ➢ 触覚は手・指でなぞる等の何らかの意図に基づいた探索的動作が必要な感覚である． ➢ 接触・なぞり動作を行なう機構の付与が必要 ➢ アクティブタッチに関わる検出アルゴリズムが必要 ◼多角的センシングである ➢ 力／トルク（ベクトル量）の検出，滑り，振動，熱効果，接触面積の検出
触覚研究開発での初期の提案 Robotics Research 14 Skin-like Properties 薄いシート状で，柔軟で曲面 配置可能，耐久性あり. （Dippingで成形可能） 1. Space resolution: 1-2mm 2. Fingerlike Array : 10x20 elements Vol.1, No.2,1982 4. Dynamic Range: 1:1000 2400 2200 2000 1800 1600 1400 paper 1200 1000 800 600 400 3. Sensivity: 5-10g patent 1982 5. Reaction time: 1-10ms 200 0 LD Harmon, Automated Tactile Sensing, The International Journal of Robotics Research, Vol.1, No.2, pp.3-32, 1982
触覚に求められる検出機能 近接覚センサ 距離/方向 触覚センサ 物体面までの ⚫ 距離/方向 ⚫ 接触位置 ⚫ 力/トルク 力/トルク ⚫ すべり ⚫ 初期すべり 振 動 ⚫ 衝突回避 ⚫ 柔らかな接触 ⚫ 倣い，追尾 ⚫ 柔らかさ硬さ ⚫ 静摩擦/動摩擦 ⚫ すべり方向 ⚫ 力/トルクの分布 接触パターン 15 ⚫ テクスチャー ⚫ 接触面３D変形 ⚫ 接触状態 情報処理
触・近接覚からの検出情報と操作への利用 触・近接覚センサからの検出情報の種類および操作への応用，並びに新技術・新材料 などの最近のトピクッスを表す。センサ情報とセンサを実装したロボットの運動情報とを 統合処理することで，各種情報の検出と操作を行えることを示している。 16
触覚センサに求められる検出機能 さまざまな接触に関係する物理量の計測 機能（タスク） 検 出 量 接触位置 点接触位置 接触強度 法線方向力 力強度／方向 接触位置，および力ベクトル・モーメント（法線／接線方向力など） 力の分布 法線方向力分布，力ベクトル・モーメント分布 摩擦係数 静摩擦／動摩擦係数の推定 すべり 初期滑り，すべり，すべり方向 変形・変位 柔らかさ，硬さ計測 温度 温度分布，熱伝達率 表面粗さ 触運動によるテクスチャー計測 触覚イメージ 接触画像，接触面変形3D画像 17
触覚センサに求められる特性 ◆ 薄く柔らかい ✓ 物理・化学的耐久性 ◆ 伸縮性 ✓ 関節部覆える ◆ 広い曲面を覆える ◆ 多種類のセンサ（人間） ✓ 触圧，振動，伸展，温冷， 痛覚 ◆ 多数のセンサ（人間） ✓ 機械受容器（107個），温（３ ｘ104個），冷（2.5ｘ105個） ✓ 17000本の神経線維/片手 18
触覚センサに求められる特性 人間の皮膚のように薄く柔らかく多種類のセンサを実現 項 目 機 能 多数の検出素子 要 求 事 項 ・柔軟／薄型の確保，広い面積／曲面への配置 ・高密度への対応，高速動作、配線処理の問題 分布量検出 多種類の検出素子 ・接触，振動，すべり，温度などの検出 ・力ベクトル，モーメントベクトルの検出 素材特性 柔らかい ・皮膚のように薄く柔軟で伸び縮み可能 薄い ・伸び，縮み，擦り，打撃などに対する物理的耐久性 伸縮性 ・水，油，薬品などに対する化学的耐久性 広い曲面を覆える ・関節部など伸び縮みする曲面の被覆 局所情報処理 ・高速サンプリング動作 情報処理 ・触覚の局所的情報は局所的に処理する。 データ伝送 ・高速通信，省配線，耐ノイズ，耐久性 19
触覚に対するニーズと技術 ロボティクス・メカトロニクス 分野 制御用 マニピュレーション 触覚提示デバイス ・精度，時間応答速度は人 ・高い周波数応答性 ・力（ベクトル） 間を上回る ・すべり検出 インタラク ティブ用 触感覚用 ヒューマンインターフェース 分野 ロボット用皮膚 ・柔らかく，丈夫，大面積化 情報機器入力デバイス ・薄型，マルチタッチ 触感・質感センサ 触診・肌状態診断など ・多角的情報の計測 ・温度，硬さ，表面粗さ， 粘弾性， ・アクティブタッチ ・硬さ，温度，粘弾性 20
触覚に対するニーズと技術 ロボティクス分野 インタラ クティブ 利用 触感覚 利用 制御利 用 ヒューマンインターフェース分野 目的 全身触覚，触覚スーツ 情報／家電機器インターフェース 計測 接触位置・力検出 接触位置・力検出，指多点入力 特徴 大面積，曲面，柔軟，耐久性， 薄型，軽量，省電力，安価，耐久性 目的 触感覚などの検出 医療・福祉用の触覚情報検出 計測 製品の状態，食品の触感などの計測，触診への利用，肌状態計測など 特徴 表面アラサ，硬さ，摩擦，変形，温度，熱伝達率，接触面積などの計測 目的 マニピュレーション制御入力 計測 接触位置・力検出（ベクトル）， 接触位置・力検出（ベクトル量）温度 すべり 特徴 高精度，高速性(1ms) 義手用触覚，ハプティクス装置制御入力， 薄型柔軟性，伸び縮み 21
触覚センサの分類 22 ◼ 触圧覚センサ： ① 接触センサ：物体との接触をON/OFF情報として検出する ② 圧覚センサ：接触力を連続量として検出する ◼ すべり覚センサ： ✓ センサと物体との相対的なすべり変位，速度を検出する ◼ 近接覚センサ： ✓ センサの近傍にある物体の有無，もしくは位置，距離などを 検出する ◼ 温熱覚センサ，硬さ覚センサなど： ✓ 触覚は視覚と補完的な役割があり，視覚では見えない力の ほか，温熱覚，硬さなどを計測する
触覚と力覚センサの用語の違い ✓ 一般に触覚センサとは，物体とセンサ間の力学的関係を 検出するセンサで，分布圧，力とモーメント，すべり等 を検出する。 ✓ その中の，“力とモーメント”の大きさと方向を計測す るセンサを力覚センサと呼ぶ。力覚センサは指の関節や 手首に取付けられることが多い。 23
触覚センサの構成 電気量 物 理 量 - 24 電気量 + 変換器 物理 量 電気 量 検出回路 狭義の センサ 信号処理・伝送 広義の センサ
力を電気量に変える変換器 変換器： 力 変位 電気量 例） 弾性体 𝐴 𝐶=𝜖 𝑑 𝜖: 誘電率 ΔＣ： 静電容量変化 25
力を電気量に変える変換器 力を電気量に変える変換器は多くの種類がある ◆ 電気抵抗 ✓ 抵抗体の伸縮などによる抵抗値変化 ◆ 静電容量 ✓ 誘電体の圧縮による静電容量変化 ◆ 光利用 ✓ ✓ 光路長変化による光量変化 柔軟体変形の３Ｄ計測 ◆ 電荷 ✓ 圧電効果（ピエゾ効果） ◆ 磁気 ✓ 柔軟体変形による磁場変化 ◆ 超音波 ✓ ✓ 経路長変化による強度位相変化 共鳴 26
配線方式と伝送方式（配線処理問題） 27 触覚センサでは 1. 広い面積に多数の検出素子が分布することがある。 2. このとき，配線が測定の妨げにならぬよう，多数の検出素子を 繋げる配線方式が必要となる。 3. そして，測定された多数のデータをセンサから情報処理部にど のように伝送するかその方式も重要である。 4. これらは，配線処理（コード）問題と言われ難しい課題である。
配線方式と伝送方式 (a)一対一,(b)マトリクス 介護ロボット RI-MAN (a) 一対一配線方式 8ｘ８に半導体圧力センサを配置 http://rtc.nagoya.riken.jp/RI-MAN/index_jp.html (b) マトリクス状 64ｘ64マトリクス電極 http://www.rm.mce.uec.ac.jp/sjE/index.php?Tactile%20sensor 28
配線方式と伝送方式(c)階層的シリアルバス方式 29 (c)階層的シリアルバス方式 12 tactile sensor ATtiny40(8-bit ) A highly sensitive 3D-shaped tactile sensor ,Ritter, 2013 IEEE/ASME Int. Conf. Advanced Intelligent Mechatronics (AIM ) Event-based signaling for large-scale artificial robotic skin - Realization and performance evaluation,cheng,IROS2016 A real-time data acquisition and processing framework for large-scale robot skin, S. Youssefi et al. / Robotics and Autonomous Systems 68 (2015)
配線方式と伝送方式(d)ワイアレス方式 30 Tactile chip Antenna/ coil Wireless Tactile Sensing Element Using Stress-Sensitive Resonator, Shinoda, IEEE/ASME TRANS. ON MECHATRONICS, 5, 3, 2000 A Sensitive Skin Using Wireless Tactile Sensing Elements,shinoda, TECHNICAL DIGEST OF THE 18TH SENSOR SYMPOSIUM, 2001 A Capacitive Touch Interface for Passive RFID Tags,J.R. Smith,2009 IEEE International Conference on RFI
配線方式と伝送方式 (e)境界接続方式 31 (e)境界接続方式 石川正俊, 下条誠: 感圧導電性 ゴムを用いた2次元分布荷重の中 心位置の測定方法,SICE, 18, 7, 1982 A Tactile Distribution Sensor Which Enables Stable Measurement Under High and Dynamic Stretch, Nagakubo, IEEE Symp. on 3D User Interfaces 2009
②触覚センサと種類と動作原理 ②触覚センサの種類 と動作原理 32
触覚センサの種類 33 ◆ 触覚→触圧覚センサ ①接触センサ：物体との接触をON/OFF情報として検出する ②圧覚センサ：接触力を連続量として検出する ◆ すべり覚 ◆ 近接覚
触覚センサの動作原理 （１）力により変形する機械的構造体 力→変形量ε →電気量 （２）変形量を計測する方式 ①電気抵抗方式， ②静電容量方式， ③光方式， ④電荷方式， ⑤磁気方式， ⑥超音波方式 34
35 力から電気量への変換方式 方 式 原 理 触覚センサ/材料 備 考 ひずみ抵抗変化 ひずみゲージ，導体型圧力センサ（ピエゾ抵 材料の伸縮による断面積，長さ変化などによ 抗効果） る抵抗値変化 パーコレション原理 感圧導電ゴム，感圧エラストマー 接触抵抗変化 感圧インク，感圧繊維 導電体（粒体，フィーラー）の体積比率の増減 に伴う抵抗値変化 接触面積の増減に伴う抵抗値変化 電極間容量変化 弾性体，誘電体 電極間の距離変化に伴う静電容量変化 光量変化 光路変化による光量変化，光拡散，発光受光 発光/受光素子間の距離・姿勢などの相対変 化（経路長，相対位置/姿勢）散乱光変化 素子，光ファイバー 屈折率変化（全反射） 光導波型，ガラス，ポリマー 変形/変位の画像計測 ゲルフォース，ゲルサイト，光透過性弾性体 電荷 光経路遮断 圧電効果（ピエゾ電気） フォトインタラプタ 圧電ポリマー，PVDF，PZT，水晶 磁気 磁気変化 ホール素子，磁気抵抗素子，磁性体 微小磁石／磁性粒子+ホール素子/磁気抵抗 素子などの組合わせでの変位計測 強度/位相変化 弾性体，圧電体(送受信) 発振/受信素子間の距離・姿勢などの相対変 化（経路長，相対位置/姿勢） 共鳴（共振） 音響共鳴型，弾性体 空洞形状変化による共鳴周波数変化 電気抵抗 静電容量 光 超音波 光導波路の変形による光漏れ（全反射条件 の破れ） ゲル内標的の３D変形，ゲル表面変形などの 撮像系による変位計測 発光/受光素子間の光路を塞ぐ 圧力による分極に伴う表面電荷変化 E-skin 有機トランジスタ/OFETを用いたアクティブマトリックス方式を用いた触覚センサ．印刷技術による作成．伸縮可能で薄型な触覚を 実現．力を電気量に変換する原理は同じ． E-textile 導電性高分子繊維，炭素，金属等で表面修飾した繊維を用いて，編み込み，織り上げ技術を用いた布状の触覚センサ．力を電気 量変換は，繊維間の接触抵抗，静電容量などを用いる． その他 機械的方式：バネなどの機械的構造の変位，変形から接触力を検出する 触角（whisker），微小クラック（光漏れ，抵抗値）
触覚（触圧覚）センサ ⚫ ⚫ ⚫ ⚫ 電気抵抗方式（ひずみゲージ） 電気抵抗方式（感圧導電ゴム） 電気抵抗方式（接触抵抗値変化） 電気抵抗方式（圧抵抗効果方式） 36
電気抵抗方式（ひずみゲージ） 37 荷重による抵抗線の歪みによる抵抗値変化から検出する方式 共和電業社製歪ゲージ R l K = K R l K：ゲージ率 ひずみアンプ ブリッジ回路 抵抗体の種類により， ✓ 箔ひずみゲージ， ✓ 線ひずみゲージ， ✓ 半導体ひずみゲージなど
38 力覚センサへの利用（ひずみゲージ） 例） ATI 指先 （BL AUTOTEC LTD.) 手首 （PR2）
力覚センサ ちなみに，力覚センサはひずみゲージ方式だけではない 水晶圧電方式 エプソンS250シリーズ 静電容量式 ワコーテック Dynpick 39
電気抵抗方式（感圧導電ゴム） 多孔質シリコンゴム中に炭 素粒子等の導電粒子を均 一に拡散させたものである 荷重 抵抗値 利点： ➢ 薄く柔軟で加工が容易 ➢ 大面積化が容易 ➢ 衝撃などによっても破損しない ➢ 検出回路は簡単 ➢ 安価 欠点： ➢ ヒステリシス特性があり， ➢ 定量的な計測に不向き 40
電気抵抗方式（感圧導電ゴム） 感圧原理 41 パーコレション：感圧導電ゴムの導電機構を説明する一つの理論 導体密度上昇→相互接触増加→導電性発現 （力→導電体を含む柔軟物の圧縮→導体密度上昇→電気抵抗値減少） 導体：カーボン粒子，導体糸，カーボンナノチューブ（CNT)，グラフェン (graphene)等
42 電気抵抗方式（感圧導電ゴム） 縦方向に電流が流れる 横方向に電流が流れる ©shimojo （１）縦方向電流パス方式 ©shimojo （２）横方向電流パス方式
感圧導電ゴムの特性例 荷重 VS 抵抗値 周波数 VS エネルギ散逸 ひずみ VS 応力 ひずみ VS エネルギ散逸 M. Shimojo, A. Namiki, M. Ishikawa, R. Makino and K. Mabuchi: A tactile sensor sheet using pressure conductive rubber with electrical-wires stitched method, IEEE Trans. Sensors, Vol.4, No.5, pp.589-596, 2004 43
感圧導電ゴムの特性例 抵抗値時間緩和特性 44 抵抗値応答特性 M. Shimojo, A. Namiki, M. Ishikawa, R. Makino and K. Mabuchi: A tactile sensor sheet using pressure conductive rubber with electrical-wires stitched method, IEEE Trans. Sensors, Vol.4, No.5, pp.589-596, 2004
電気抵抗方式（接触抵抗値変化） 45 感圧インク表面の微小な凹凸部分の接触 面積が圧力により変化し，電極間相互の 接触抵抗が変化することから圧力を計測 利点： ➢ 薄いフィルム状（0.1mm） ➢ 印刷による形成ため自由な形状と空間 分解能が可能 欠点： ➢ 剪断力に弱い ➢ 変形するとフィルムに皺発生し，故障 ➢ ヒステリシス特性 https://www.nitta.co.jp/product/sensor/flexiforce/A201/
電気抵抗方式（接触抵抗値変化） 感圧原理 接触面積の増減による接触抵抗値の変化 荷重負荷 弾性のある 導体変形 接触面積の 増加 抵抗値の減少 https://www.nitta.co.jp/product/sensor/ 46
電気抵抗方式（接触抵抗値変化） 47 2枚のフィルム（PET）に、行・列の銀電極を配線し，感圧導電性 インクで被覆，電極の交点が検出点，圧力がかかると電気抵抗 値が変化 ✓ 薄さ：0.1mm ✓ 感度：50kPa～20MPa ✓ サンプリング：100Hz程度 https://www.nitta.co.jp/product/sensor/ https://www.youtube.com/watch?v=rzHiGQh2FNo
48 Tekscan FlexiForce™ Standard Model A201 Thickness ：0.203 mm Sensing Area: 9.53 mm diameter CoV; Components of Variance https://www.tekscan.com/products-solutions/force-sensors/a201
電気抵抗方式（圧抵抗効果方式） 49 圧抵抗効果： ✓ 半導体結晶に圧力を加えるとその電気抵抗が変化する。 ピエゾ抵抗効果(piezoresistive effect)ともいう 気圧センサ（ｂａｒｏｍｅｔｅｒ)への利用例 気圧センサ(barometer)ICはこのピエゾ抵抗式受圧素子（ダイヤフラム構造とピエゾ抵 抗を集積化したMEMS）と温度補正処理、制御回路等を含めた集積回路パケージ化
Takktile(気圧センサIC分布型触覚センサ) 50 MEMS barometric sensor chipを分布させて触覚センサを構築 I2C接続 MEMS barometric sensor (MPL115A2, Freescale Semiconductor) Load is applied through a spherical tip with diameter of 6 mm https://softroboticstoolkit.com/book/takktile-sensors
Takktile(気圧センサIC分布型触覚センサ) https://www.youtube.com/watch?v=TqMtOmw9C7Y 51
2017 ReFlex Robotic Grippers 52 https://www.youtube.com/watch?v=4Ku7Q3vEkRw
触覚センサ（静電容量方式） 53
静電容量方式 54 誘電体変形による静電容量変化から力を計測 利点： ➢ 薄型で構造がシンプル ➢ 誘電体により検出感度など の特性を変更可能 ➢ 静電容量変化検出用IC市販 https://pressureprofile.com/ 欠点： ➢ 空間分解能を上げると容量 が小さくなりS/N比が低下 ➢ 電磁ノイズ，温度の影響を 受けやすい http://wiki.icub.org/wiki/Tactile_sensors_(aka_Skin)
55 静電容量方式 C = A d : 誘電率，A：面積，d：電極間距離 荷重負荷 弾性のある 誘電体変形 電極間距離 の減少 AD7147 A Tactile Sensor for the Fingertips of the Humanoid Robot iCub,A.Schmitz, IEEE/RSJ Int. Conf. Intell. Robots Syst., 2010 静電容量Cの 増加
静電容量方式 ✓ ✓ ✓ ✓ 56 最小感度：10Pascal(0.1gf/cm2)も可能としている 薄さ: 1mm linearity : 99.8% Sample rate: 7-10KHz/element https://pressureprofile.com/ CONFORMABLE TACTARRAY SENSOR (CTS) https://www.youtube.com/watch?v=lvVJ9vG6H_k
触覚センサ（光学方式） ① 光量変化 ➢ 発光／受光素子などを対にして光量の変化か ら荷重を検出する方法 ② 光遮断方式 ➢ 発光／受光素子間の光路を遮断する光量変 化から荷重を検出する方法 ③ 光導波板方式 ➢ 荷重による白色弾性体と光導波板の接触面 積の変化をカメラ等で計測し，荷重を計測する 方式 ④ 弾性体変形/変位の画像計測 ➢ 光透過性弾性体中のマーカの荷重による位置 変化をカメラ等で計測し，荷重を計測する方式 57
光学方式①光量変化 ⚫ 発光·受光素子などを対にして配置し,力による柔軟体の変形による 受光量の変化から力を検出する。 ⚫ 弾性体は力の大きさ，方向，そして回転力によってさまざまに変形す る。この変形を計測することで力の成分を計測することができる. 58
光学方式①光量変化 59 ショッカクポット ✓ 本体底部のLED光を本体上部のセンサが検知 ✓ スポンジ表面の押し込み量(変位)を計測 ✓ スポンジ表面の複数点を計測から、表面の傾き、 上下左右方向の「つまむ」動作等の検出が可能 ✓ センササイズ、スポンジの形状、計測点数は変更 可能。 （タッチエンス株式会社） https://www.youtube.com/watch?v=b68S0d_qZpY http://www.touchence.jp/
光学方式①光量変化 60 発光素子により発砲材質 内部に照射し，力の変形 による発砲材内の散乱光 量変化による光透過性の 変化を，受光側で計測する ことで，力を計測する https://www.slideshare.net/Touchence/ss-52242522
61 光学方式①光量変化 センサ内部の光源から発した赤外光が シリコンゴムで作られた半球状外皮の内 側反射層に反射、それをディテクタで検 出することで、外皮形状の変化を検知 半球型フォースセンサ (3軸) ✓ 寸法：直径20mm ✓ 力：±20N ✓ 分解能：2mN ✓ 非直線性：2% ✓ ヒステリシス：2%以下 ✓ サンプリング：100Hz（標準）1kHz(最大) OptoForce Ltd. http://nihonbinary.co.jp/Products/Robot/OptoForce.html
光学方式②光遮断方式 62 荷重面に弾性パッドを配置 ➢ 加圧力により変位 ➢ 弾性ピッド下にある発光／受光素 子間の光路を遮断する ➢ その光量変化から荷重を検出す る方法 LTS-210 tactile array sensor (Lord Corpration) ✓ ✓ ✓ ✓ Array size: 10x16, Pixel size:1.8mm x 1.8mm Force resolution:5g Bandwith: 10Hz An Overview of Tactile Sensing, R Agrawal, R Jain - 1986 - ntrs.nasa.gov
光学方式③光導波板方式 63 ガラス，有機ポリマーな ど光を通す光導波板と 白色弾性体を用い，荷 重による白色弾性体と 光導波板の接触面積の 変化をカメラ等で観測 する方法 利点： 欠点： ➢ 空間解像度を高くできる ➢ カメラ等の撮像系のため 薄型が困難 ➢ 光源とカメラの配線のみでよい ➢ 曲面等の配置が困難
光学方式③光導波板方式 64 ① ゴムカバーに覆われた光を通 すアクリル樹脂の端面から光 を照射 ② 物体との接触でゴムカバーが アクリル樹脂接触，その部分 から光が散乱する ③ この光散乱位置を受光素子 (PSD) で検出することで接触 位置を計測する 前川，谷江，小森谷, 触覚フィードバックを用いた多 指ハンドによる未知形状物体の転がり接触を考慮した 操り制御 ，計測自動制御学会論文集, 第31巻9号, pp. 1462-1470, 1995
光学方式④弾性体変形/変位の画像計測 65 光透過性弾性体中に入れた赤, 青などのマーカの外力による位置 変化を，カメラなどで計測し，外力 を計測する方式。 荷重方向・トルクにより弾性体変 形が異なることから，外力の方向 成分，回転成分などが計測できる 利点： ➢ 外力の方向成分，回転成分が計 測できる ➢ 光源とカメラの配線のみでよい 欠点： ➢ カメラ等の撮像系のため薄型が 困難 K.Kamiyama, K. Vlack,T. Mizota, H. Kajimoto, K. Kawakami,S. Tachi, S.:Vision-based sensor for real-time measuring of surface traction fields, IEEE Computer Graphics and Applications, 25, 1, 68-75, 2005
光学方式④弾性体変形/変位の画像計測 66 Kazuto Kamiyama, Kevin Vlack, Terukazu Mizota,Hiroyuki Kajimoto, Naoki Kawakami, and Susumu Tachi,Vision-Based Sensor for Real-Time Measuring ofSurface Traction Fields,IEEE Computer Graphics and Applications ( Volume: 25, Issue: 1, Jan.-Feb. 2005 )
触覚センサ（各種方式） ⚫ 圧電効果方式 ⚫ 磁気変化方式 ⚫ 超音波方式 67
圧電効果(電荷)方式 68 圧電効果を利用して，荷重 を電荷変化から計測する． 圧電効果（ピエゾ効果）：特 定方向に力を加えると応力 に比例した電気分極(表面 電荷)が発生する現象． 利点： ➢ 高速な応答 ➢ 検出感度高い ➢ 機械・電気的特性が良い https://www.tokin.com/product/piezodevice1/piezo_tech.html 欠点： ➢ 静的な荷重は不得手 ➢ 温度変化有り（集電効 果）
圧電効果(電荷)方式 切削加工時の力測定(Kistler) 水晶圧電方式力覚センサ （セイコーエプソン） 69 圧電フィルム（ピエゾフィルム） (Measurement Specialties Inc.) 3軸加速度計 （PCB Piezotronics Inc.）
圧電効果(電荷)方式 Strain gage and PVDF 歪みゲージとPVDFを様々な 深さや方向に埋めた柔軟指 ✓ Hand: Robotiq AdaptiveGripper ✓ Sensor: 8 PVDF strips ✓ IC: AnalogDevices AD7608 ✓ Sampling: 3.125 kHz, with an antialias filter with a cutoff at 1.5 kHz. B Heyneman, MR Cutkosky, Slip classification for dynamic tactile array sensors, The International Journal of Robotics Research, March 16, 2015 多田泰徳,細田耕,浅田稔，内部に触覚受容器を持つ人間型柔軟 指，日本ロボット学会誌，23巻，4号, 2005 70
磁気変化方式 71 磁気双極子の空間的変位か ら外力を計測する。 ✓ 磁気センサ素子と微小磁 石を混合した弾性体を組 合わせ， ✓ 弾性体の変形による磁場 の変化を磁気センサ素子 で検出する方法 利点： ➢ 外力の方向成分，回転 成分が計測できる 欠点： ➢ 物体が磁性体の場合， 特性に影響与える http://techon.nikkeibp.co.jp/article/WORD/20080324/149333/?rt=nocnt
72 磁気変化方式１ fingertip model Hall-effect sensor characteristic curve. http://robonable.typepad.jp/news/2010/08/30bl-auto.html 中本裕之, 伍賀正典, 武縄悟, 貴田恭旭，磁気抵抗素子とインダクタを用いた 磁気式触覚センサ，日本機械学会論文集 C編 / 76 巻 (2010) 766 号 Lorenzo Jamone, Lorenzo Natale, Giorgio Metta, and Giulio Sandin,Highly Sensitive Soft Tactile Sensors for an Anthropomorphic Robotic Hand, IEEE SENSORS JOURNAL,15,8, 2015
磁気変化方式２ 73 The force applied is estimated detecting the position of the tip of the dome. Magnets is used to detect the position of the tip ✓ 接触力により鉄粉を含むゴムの層が磁気 センサに近づく ✓ 磁石が作る磁場が変化 ✓ この磁気の変化を磁気センサで計測 ✓ 接触力を推定 川節拓実, 堀井隆斗, 石原尚, 浅田稔,磁性・非磁性エラストマを積層した磁気式触覚 センサの基礎特性解析,日本AEM 学会誌 Vol. 24, No.3 (2016) Sensitive Robotics platforms. These robots are covered with the compliant tacitle sensors. Sina Youssefian, Nima Rahbar, and Eduardo Torres-Jara, Contact Behavior of Soft Spherical Tactile Sensors, IEEE SENSORS JOURNAL,14, 5, 2014
超音波方式 力による弾性体の変形を超音波により計測 する方式 ✓ 配置した発振器と受信機の動作モードに工夫 を凝らすことで，力による弾性体の３D 変形を 超音波の強度/位相の変化から計測 ✓ 弾性体に加わったx,y,z 軸方向力と，x,y,z 軸 周りのモーメント，計6 軸力を求める S. Ando, H. Shinoda, A. Yonenaga, and J. Terao, Ultrasonic Six-Axis Deformation Sensing, IEEE trans. on ultrasonics, ferroelectrics, and frequency control, 48, 4, 1031-1045, 2001 74
超音波方式 75 力による変形を音響共鳴現象により計測 する方式 ✓ 弾性体内の空洞の共鳴周波数から計測 ✓ 共鳴周波数の変化は共鳴空洞の形状によ り，球ならば主応力の変化に対応し，直方 体ならば３辺の長さの各方向の伸縮に対応 している． ✓ またすべり発生に伴う特有な変化を検出す ることですべり検出を行なうことも可能 空洞 滑り方向応力の変化による部分滑りの検出 吉海智晃, 但馬竜介, 加賀美聡, 篠田裕之, 稲葉雅幸, 井上博允, 音響共鳴 型テンソルセル触覚センサによる滑り予知と把持動作への応用, 日本ロボッ ト学会誌, 20, 8, 868-875, 2002
すべり覚センサについて ⚫ ⚫ ⚫ ⚫ ⚫ 変位検出方式 振動検出方式 固着・部分すべり領域画像判別 高周波検出方式 接線方向力変化検出方式 76
すべり覚センサ（すべりとは？） 法線力 接線力 参考：地震の発生 Wiki：定常すべり 77 ① 物体と物体の接触は，表面に凹 凸があるため，分散した接触領域 となる．通常，この実際の接触領 域は，Fn が大きいほど増加する． ② この接触領域は，固着領域と，固 着が剥がれた部分すべり領域から なる． ③ またFt を増加させると，この部分 すべり領域が増大し，固着領域が 減少していく． ④ そしてFt の増大による固着領域 の減少が限度を超えると Ftに抵 抗できず，すべりが発生する． 4.安定すべり領域 5.固着域 6.遷移領域 http://www.arito.jp/LecEQ17.shtml ⑤ この部分すべり領域は拡大してい るが，まだ全体すべりが起きてい ない状態のことを初期すべりと呼 ぶことがある．
すべり覚センサ すべりを計測する方式として次のようなものがある。 ① すべり変位を計測する方式として，ローラ，ボールなどを物体に接触させ，物体 が滑るときに生じる変位を検出する，または接触パターンもしくはその特徴量の 変化からすべりを検出する方式がある ② 突起等を設け，物体が滑るときに発生する振動を加速度センサなどを用いて検 出する方式，または音響放射(AE)を利用する方式 ③ 固着領域，部分すべり領域などの発生変化に伴う領域の変化，微振動等から すべりを検出する方式もある 初期すべりの検出では， ✓ 接触面の剥離に伴う内部応力の変化を歪みゲージにより検出する方法 ✓ 感圧ゴムでの特異な抵抗値変化を検出する方式 ✓ 接触面積の減少をカメラで観測する方式などがある 78
79 触覚情報処理（すべり等） 触覚のデータ種類 情報処理方法 触覚データの 応用 力 振動 接触パ ターン ZhanatKappassov,Juan-Antonio Corrales,VéroniquePerdereau,Tactile sensing in dexterous robot hands — Review, Robotics and Autonomous Systems, Volume 74, Part A, December 2015, Pages 195-220，
すべり覚センサ（変位検出方式） すべり検知として，物体と センサ間の滑りを検出する。 ➢ すべり検知方式には，ローラ，ボールなど対象物に接触させ物 体が滑るときに生じるローラ等の回転で検出する方式 ➢ 接触パターン，表面パターンの特徴量の変化からすべりを検出 例） 1） 触針検出型： ✓ 変位を触針の振動で検出 ✓ 無方向性 2） ローラ回転検出型： ✓ 変位をローラの回転で検出 ✓ 一方向性 3） ボール回転検出型： ✓ 変位を市松模様を付けたボール の回転で検出 ✓ 2方向性 R Tomović, Z Stojiljkovic, Multifunctional terminal device with adaptive grasping force, Volume 11, Issue 6, November 1975, Pages 567-570. 80
すべり覚センサ（変位検出方式） 81 例） 表面パターンの特徴量変化から，すべりを 検出 ✓ 光学マウスは，物体表面の微細パ タンの変化を検出することで移動 を検出する ✓ 光学マウス用の光学系およびICは 性能，寸法など各種あり，市販さ れている。 光学マウス用光学系とIC （avago:Optical mouse sensors) 光学系とICを取付けた指先 A. Maldonado, H. Alvarez, M. Beetz, Improving robot manipulation through fingertip perception, IEEE/RSJ Int. Conf.on Intelligent Robots and Systems, 29472954, 2012
すべり覚センサ（変位検出方式） System components (left image, clockwise): Fingertip sensor, SPI controller, FLOSS-JTAG TUM-Rosie, mobile manipulation platform 82 Fingertip for the DLR/HIT Hand ADNS-9500(Avago Technologies) Three fingertip sensors installed in the DLR/HIT hand (thumb, index and ring fingers). Fig. shows the relationship between grasping force and detected slip during a grasping action. The slip is detected early and quickly enough to avoid any large movement of the object. Sampling：50Hz-200Hz A. Maldonado, H. Alvarez, M. Beetz, Improving robot manipulation through fingertip perception, IEEE/RSJ Int. Conf.on Intelligent Robots and Systems, 29472954, 2012
すべり覚センサ（振動検出方式） 83 突起等を設け，物体が滑るときに発生する振動を加速度センサなどを用いて検出 する方式，または音響放射(AE)を利用する方式 例） ① 半円筒形内部を多孔質ゴムで満たし，突起のあ るゴム膜で覆い，その中に小型加速度計を入れ たもの（多孔質ゴムは機械系からの振動によるノイズを防ぐために用いてい る） ② 接線方向力の増加により，接触面周辺の突起が 剥がれ，その時の突起の振動の検出から，すべり を検出 ③ すべりによって発生する振動と，それ以外の振動 を，２つ加速度センサの振動の相違から検出 M. Tremblay and M. R. Cutkosky, “Estimating friction using incipient slip sensing during a manipulation task”, IEEE Int. Conf. on Robotics and Automation, 429–434, 1993
すべり覚センサ（振動検出方式） 84 ① シリコンゴムの表面に溝を作り，溝の中 の梁にPVDFフィルムを取付けた構造 ② 矢印方向に力が加わると，接触部周辺 部から梁と物体の接触が剝がれ，それ が全体に広がることですべりが発生する とした． ③ このときの梁の振動をPVDF で検出する ことで，すべりを検出する 山由陽滋，森田裕之，梅谷陽二，ロボツトハンドのための指紋を 備えた高周波微振動検出式滑り覚センサ，計測自動制御学会論文 集,ol.36, No.6, 473/480 (2000)
すべり覚センサ（固着領域，部分すべり領域） Alice V. Maceo, Qualitative Assessment of Skin Deformation:A Pilot Study,Journal of Forensic Identification, 2009 固着領域，部分すべり領域 などの発生変化に伴う領域 の変化，微振動等からすべ りを検出 Y Kurita et.al.,A Novel Pointing Device Utilizing the Deformation of the Fingertip, IROS 2003 85
すべり覚センサ（固着・部分すべり領域画像判別） 86 ① 弾性体半球を物体に接触し，カメラ で接触状態を観測 ② 接線方向力を増加させるに従い，固 着領域に対して，すべり領域が移動 A Ikeda,Y Kurita,J Ueda,Y Matsumoto,T Ogasawara,Grip Force Control for an Elastic Finger using Vision-based Incipient Slip Feedback,IROS 2004.
すべり覚センサ（固着・部分すべり領域画像判別） ビジョンによる初期滑り検出センサ ✓ カメラにより弾性体の接触面を撮影 し，接触面の摩擦係数も推定する http://robotics.naist.jp/research/naisthandhp_enadj/NAIST-Hand.htm 87
すべり覚センサ(高周波検出方式) ① 物体が滑り出す直前付近で高周波成 分が急激に増加 ② Wavelet変換を用いて，この初期滑りを 検出 S. Teshigawara, K. Tadakuma, A. Ming, M. Ishikawa, M. Shimojo, High Sensitivity Initial Slip Sensor for Dexterous Grasp, IEEE Int. Conf. on Robotics and Automation, 4867-4872, 2010 88
すべり覚センサ（高周波検出方式） 滑り→把持力強める→弱める→滑り→弱める→ 89 https://www.youtube.com/watch?time_continue=2&v=WtuDZvrZ0Gg
Tangential-force based slip detection 90 slip 𝜇 = 𝑓𝑇 Τ𝑓𝑁 Normal force and tangential force exerted by one of the fingers recorded while manipulating a deformable bottle of 300mL water. ✓ This framework consists of a tangentialforce based slip detection. ✓ Slip is detected when it happens for the first time by measuring the increasing rate of tangential force. M Kaboli, K Yao, G Cheng,Tactile-based manipulation of deformable objects with dynamic center of mass,Humanoid Robots (Humanoids), 2016 IEEE-RAS 16th International Conference on
近接覚センサについて ⚫ ⚫ ⚫ ⚫ ⚫ 光反射光量方式(フォトリフレクタ) 三角測量方式 光往復時間（TOF）方式 静電容量方式 渦電流方式 91
近接覚センサ：近くの物体を検出するセンサ 触覚センサは 接触が分かる 衝突した後で わかる！ 安全のためには近接覚が重要 92
93 近接覚とは 近接領域 例えば次のような検出方式がある LED i 非接触での検知 Phototransistor EE-SY1200 触覚が空間的に拡張した イメージ 検出素子：フォトリフレクタ
近接センサアレイの例 94 ©shimojo フォトリフレクタを16×16に配置して対象物の接近を計測・表示 https://www.youtube.com/watch?v=ILmK0DinkYM
触覚を拡張する ⚫ 空間的拡張：Telexistence ⚫ 時間的拡張：時間軸の伸縮・シフト処理 ⚫ モダリティ：異種感覚間の相互変換・提示 今回目指したもの ➢ 触感覚を空間的に数十cm 拡張する（Super Tactile） ➢ 接触と分布の見直し 95
視覚から触覚までシームレスにつなぐセンシング 視覚には隠蔽があり触覚は接触まで未定である。このため対象物近傍では 不確な情報による衝突等を避けるため低速な動作となる。近接覚は視触覚 をシームレスに接続し確実で高速な動作を行わせる 96
拡張型触覚の応用 皮膚感覚の 空間的拡張 その工学的応用 ハンド・遠隔操作 障害物回避 97
近接覚センサ検出方法および製品 製品 種類 光反射光量 強度 寸法[mm] 応答速度[ms] レンジ[mm] ROHM RPR-220 4.9 × 6.4 × 6.5 0.01 5 ~12 OMRON EE-SY1200 1.9 × 3.2 × 1.1 0.03 1 ~4 16.7 × 11.5 × 5.2 ~40.0 40 ~500 4.0 × 2.1 × 1.25 ~50.0 25 ~1450 4.8 × 2.8 × 1.0 7.5~ ~100 4.4 × 2.4 × 1.0 40 × 40 × - ~20 (Min.) ~100.0 ~2000 0 ~100 SHARP 光三角測量 光飛行時間 （TOF) GP2Y0E03 GP2AP002S30F STMicroelectronics VL6180X VL53L0X Tactile proximity sensor 静電容量 (48 elements) OMRON E2K-C25M φ34x82 14.3 3～25 渦電流 KEYENCE EX-422V φ22×35 0.075 (Min.) 0 ~10 超音波反射 SainSmart HC-SR04 45 × 20 × 15 0.1~23.2 20 ~4000 時間 レーザ三角 OMRON E4C-DS30 φ18x50.2 30 60ｰ275 KEYENCE IL-030 48.5×37.9×22.6 0.33 (Min.) 20 ~45 測量 98
光反射光量方式(フォトリフレクタ) 99 反射光強度は物体の距離に応じて変 化することから近接距離情報を検出 EE-SY1200 3.2mmx1.9mm 利点： ➢ 応答速度速い ➢ 空間分解能高くできる ➢ 小型軽量廉価，種類豊富 欠点： ➢ 対象物の反射率，表面粗さ， 色等の影響を受ける ➢ 外乱光の影響がある
光反射光量方式(フォトリフレクタ) ◼ 指先部触近接覚センサ構造 CoP Tactile Sensor フォトリフレクタ（RPR-220） Proximity Sensor 指先に1個のフォトリ フレクタを取付け，物 体の近接検知を行い， 同時把持を行うこと で物体の転倒を防ぐ •溝口善智, 多田隈建二郎, 長谷川浩章, 明愛国, 石川正俊, 下条誠: 近接・触・す べり覚を統合したインテリジェントロボットハンドの開発, 計測自動制御学会論文集, Vol.46, No.10, pp.632-640, 2010 100
101 光反射光量方式(フォトリフレクタ) ① センサ素子は円周方向に60分割 ② 接近物体の方向と距離を検出 ③ 接近物体が複数の場合，接近物 体の方向と距離，および数を示す Terada, K.; Suzuki, Y.; Hasegawa, H.; Sone, S.; Ming, A.; Ishikawa, M.; Shimojo, M.. Development of Omni-directional and Fast-responsive Net-structure Proximity Sensor, 2011 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2011) pp. 1954-1961, 2011. https://www.youtube.com/watch?v=Cfngzj1IFjU 101
近接センサアレイ例(フォトリフレクタ) 102 短冊形状のフレキシブルプリン ト基板上に赤外線LEDセンサー をアレイ状に配置 ✓ 検出範囲：0～300mm ✓ 応答性：５００Hz ✓ インターフェース：CAN (日本精工株式会社) http://monoist.atmarkit.co.jp/mn/articles/1512/16/news021.html
103 三角測量方式 図の様な三角測量にて距離を計測。受光素 子としてPSD等の位置検出素子を用いる。 sharp PSD (Position Sensitive Detector) 利点： ➢ 対象の反射率等の影響を受 けない ➢ 信号処理回路を一体化 多くの種類がある 欠点： ➢ 最小検出距離数センチ ➢ 応答性十数ms程度(I2C接続）
近接覚センサ 104 画面から離れた位置で手の動きを検知す るジェスチャーセンサ ✓ タッチパネルなどにセンサに手をかざす ことで，手の移動方向を検出 sharp http://www.sharp.co.jp/corporate/rd/n38/pdf/201310topics2.pdf
105 光往復時間（TOF）方式 光の往復時間TOF(Time of Flight) から対象物までの距離を測る方式 L=10mm→Δｔ＝67ｐｓ 𝟏 𝒇= ∆𝒕 利点： ➢ 対象物の反射率，表面粗さ， 色等の影響が無い ➢ 小型軽量 𝒇 = 𝟏𝟓𝟎𝑮𝑯𝒛 欠点： ➢ 計測時間精度？ →数ミリの誤差がある
近接覚（TOF方式） STMicroelectronics VL6180X ✓ レンジ：0mm-100mm, ✓ 誤差：2mm(Noise) I2C接続 4.8 x 2.8 x 1.0 mm ✓ 応答：15ms（67Hz） STMicroelectronics Vl6180X 距離計測特性 多数試行からの統計処理 106
近接覚（TOF方式） SONY:画像センサ「IMX456QL」 ✓ レンジ：300mm-10000mm, ✓ 誤差：誤差6mm（１ｍ測距時） ✓ 速度：120fps SONY:画像センサ「IMX456QL」 https://www.sony.co.jp/SonyInfo/News/P ress/201712/17-114/ Simblee™ IoT 3D ToF Sensor Module RFD77402 ✓ Range: 100 mm to 2000 mm ✓ Accuracy: +/- 10% accuracy ✓ Maximum refresh rate: 10 Hz Simblee™ IoT 3D ToF Sensor Module （RFD77402） 4.8 x 2.8 x 1.0 (LxWxH) I2C接続 107
静電容量方式 108 ① 自 己 容 量 方式 ： 電 極 間の電界内に誘電体 の侵入による静電容 量が変化から検出 ② 相 互 容 量 方式 ： 送 受 信電極間の電界に物 体の侵入による電界 の変化（静電容量の 減少）を検出 利点： ➢ 光方式と比べ汚れ等に強い ➢ 構造がシンプル ➢ 指向性低い 欠点： ➢ 物体の材質により特性が異 なる ➢ 空間分解能が低い
近接覚（静電容量方式） 109 ✓ PDMS(Polydimethylsiloxane) 上に16×16 個 の電極マトリクスを形成した静電容量型触覚・ 近接覚複合センサ ✓ 接触力の変形による静電容量の変化による触 覚センシング 近接覚 動作 触 覚 動作 ✓ 電極-物体間に生じる静電結合により近接覚セ ンシング ✓ 検出部は22mm 角 HK Lee, SI Chang, E Yoon, Dual-Mode Capacitive Proximity Sensor for Robot Application: Implementation of Tactile and Proximity Sensing Capability on a Single Polymer Platform Using Shared Electrodes, IEEE Sensors Journal, 9,12, 1748 - 1755, 2009
Dual-Mode Capacitive Proximity Sensor 実測 110 材質による静電容量変化 距離 VS 静電容量変化 HK Lee, SI Chang, E Yoon, Dual-Mode Capacitive Proximity Sensor for Robot Application: Implementation of Tactile and Proximity Sensing Capability on a Single Polymer Platform Using Shared Electrodes,IEEE Sensors Journal, 9,12, 1748 - 1755, 2009
渦電流方式 111 電磁誘導での渦電流による磁気損失を検出 ✓ 渦電流(eddy current)が導体に流れると導体内 部の電気抵抗により消費され渦電流損失となる。 https://www.keyence.co.jp/ss/sensor/aboutsensor/eddy_current/ 利点： ➢ 耐環境性に優れる ✓水や油などの環境下 ✓広い温度範囲 欠点： ➢ 導体である金属に限られ ➢ 物体の材質等の違いで特 性が変化
③これまで開発されてきた触覚センサ事例紹介 112 ③これまで開発されてきた 触覚センサの事例紹介 触覚センサの開発例は非常に数が多く，ここではその中で実用・実装されたセンサを何例か示す。これ以外にも多くの特徴的なセンサ がある。また，自らの例が多いのは記述し易いこともあり，お許し願いたい。
感圧導電性ゴムを使ったセンサ例 ⚫ ビデオ出力型触覚センサ ⚫ 縫込み電極型（感圧導電ゴム-ハンド実装型） ⚫ 3D-shaped tactile sensor ⚫ 感圧導電素材Weiss Roboticsを用いた例 ⚫ 触覚スーツ（接触抵抗値変化型） ⚫ 触覚センサの切り貼り実装（光量変化型） 113
ビデオ出力型触覚センサ Tactile sensor(64x64, 1mm pitch) Video signal output(1991) 感圧機構：感圧導電ゴム http://www.rm.mce.uec.ac.jp/sjE/index.php?Tactile%20sensor 特徴： ✓圧力分布をビデオ信号として出力 ✓64×64マトリクス状配置，1mmピッチの高密度 備考： ✓ 配線が128本となり，その処理が問題 ✓ 回り込み電流の防止回路の工夫が必要 114
ビデオ出力型触覚センサ 64×64＝4096点 （1mm pitch） 115 scan time: 1/30/4096=8μs/cell ビデオ信号変換のメリット：画像処理のハードとソフトが利用できる ✓ 圧力分布情報の各種情報書処理が簡単，安価で実現可能 ✓ 圧力分布の時間変化を，ビデオ録画を用いて長時間，安価に行える 但し，高速なスキャニングを行い，かつ不要な電流の回り込みをキャンセルする 必要がある。 M. Shimojo, M. Ishikawa, K. Kanaya: A Flexible High Resolution Tactile Imager with Video Signal Output, IEEE Int. Conf. Robotics and Automation (ICRA), Sacramento, pp.384-391, 1991.4
ビデオ出力型触覚センサ（電流の回り込み） 電流の回り込み 仮想接地 （e0=0V） 対策：ゼロ電位法 116
ビデオ出力型触覚センサ 64×64＝4096点 （1mm pitch） 117 ビデオ •石川正俊，下条誠，ビデオ信号出力を持つ圧力分布センサと触覚パターン処理, 計測自動制御学会論文集, Vol.24, No.7, pp.662-669, 1988 走査回路 •M. Shimojo, M. Ishikawa, K. Kanaya: A Flexible High Resolution Tactile Imager with Video Signal Output, IEEE Int. Conf. Robotics and Automation, Sacramento, pp.384-391 (1991)
弾性体カバーの空間フィルタ特性 118 空間分解能とセンサカバーの関係 ✓ 検出素子密度を高くしても，その空間分解能はセンサを保 護するカバーによって大きな影響を受ける 点荷重 P1 P2 g ( , ) 圧力分布 検出素子 圧力分布パターンが 分離 P1 弾性体 カバー センサ P2 f ( x, y ) g ( , ) filter g ( , ) s ( x, y ) 検出素子 圧力分布パターンが 重なり分解能低下 •M. Shimojo: Mechanical Filtering Effect of Elastic Cover for Tactile Sensor, IEEE Transactions on Robotics and Automation, Vol.13, No.1, pp.128-132, 1997.
弾性体カバーの空間フィルタ特性 119 f ( x, y ) 弾性体カバーは Low Passの空間周 波数フィルタである s ( x, y ) g ( , ) 点荷重によるPoint Spred Function s ( x, y ) = g ( , ) f ( x − , y − )dd カバーによる荷重 分布変化 Fourieｒ変換 S (u , v) = G (u , v) F (u , v) 空間周波数 G (u , v) 空間フィルタGain
弾性体カバーの空間フィルタ特性 カバー上 120 カバー下 カバーの薄さ M. Shimojo: Mechanical Filtering Effect of Elastic Cover for Tactile Sensor, IEEE Tran.on Robotics and Automation, Vol.13, No.1, pp.128-132 (1997)
縫込み電極型（感圧導電ゴム-ハンド実装型） 121 感圧導電ゴムに金メッキ 線を網目状に縫い込んだ 構造 ✓ 薄型柔軟 ✓ 接線方向力にも頑健 M. Shimojo, A. Namiki, M. Ishikawa, R. Makino and K. Mabuchi: A tactile sensor sheet using pressure conductive rubber with electrical-wires stitched method, IEEE Trans. Sensors,vol.4, no.5, pp.589-596 (2004)
縫込み電極型（感圧導電ゴム-ハンド実装型） 122 ✓ CyberGroveで ハンドを制御 ✓ 4指ハンド ✓ 触覚センサ： 3x16マトリクス M. Shimojo, T. Suzuki, A. Namiki, T.Saito, M. Kunimoto, R. Makino, H. Ogawa, M. Ishikawa, K..Mabuchi, Development of a System for Experiencing Tactile Sensation from a Robot Hand by Electrically Stimulating https://www.youtube.com/watch?v=Lffe73bZdlc&t=26s Sensory Nerve Fiber, IEEE ICRA pp.1264-1270,2003
3D-shaped tactile sensor 123 ✓ 12 tactile sensor regions ✓ Embedded signal acquisition electronics ✓ Capture force patterns with a frame-rate of more than 1 kHz. ✓ Conductive elastomer from Weiss Robotics. https://ni.www.techfak.uni-bielefeld.de/node/3554 Risto Kõiva; Matthias Zenker; Carsten Schürmann; Robert Haschke; Helge J. Ritter, Mechatronics (AIM), 2013 IEEE/ASME Int. Conf. on A highly sensitive 3D-shaped tactile sensor, Advanced Intelligent
✓ 寸法： 80 x 80 x 15[mm]. ✓ 分解能： 16 x 16 (5mm pitch) ✓ 感度： 0.1[g/mm2 ] ~20[g/mm2 ] ✓ Sample rate: 1800[Hz] Matthias Schoepfer ; Carsten Schuermann ; Michael Pardowitz ; Helge Ritter, Using a Piezo-Resistive Tactile Sensor for Detection of Incipient Slippage,Robotics (ISR), 2010 41st International Symposium on and 2010 6th German Conference on Robotics (ROBOTIK) Power [level] 感圧導電素材Weiss Roboticsを用いた例 124 A distinction between a slip and stick condition Frequency https://www.youtube.com/watch?v=mSq8e4PU90s The tactile sensor mounted on the Kuka LWR
感圧導電素材Weiss Roboticsを用いた例 The six tactile sensors from Weiss Robotics ✓ センサ：2個触覚センサ/指（指先，指腹） ✓ 指腹： 6 ｘ14tactiles(3.4mm pitch) ✓ 指先： 6 ｘ13 tactels Weiss Robotics :WTS 0614-34とすると ✓ 寸法：51.4 x 25.4 x 5.7 mm ✓ レンジ：2.8kPa-85kPa ✓ 応答速度：270fps J Sanchez, S Schneider, P Plöger, Safely grasping with complex dexterous hands by tactile feedback, RoboCup 2014: RoboCup 2014: Robot World Cup XVIII pp.332-344 Schunk Dexterous Hand (SDH-2) https://www.youtube.com/watch?v=4QvShViUceM 125
触覚スーツ（接触抵抗値変化型） 126 感圧機構：網目状メッシュを介しての導電布接触面積 特徴： ✓導電性の布と繊維でできているため，縫製で洋 服形状可能 ✓メッシュの直径と厚みにより感度を可変可能 （全身：160ポイント） 備考： ✓ 検出点と配線が一対一対応，検出点の増大に よる配線処理問題がある 稲葉雅幸，星野由紀子，井上博允：導電性ファブリックを用いた全身被覆型触覚センサスーツ，日本ロボット学会学会誌, vol.16, no.1,pp.80-86, 1998
触覚スーツ（接触抵抗値変化型） ネット こすりによる感圧変化実験 感圧特性例 負荷/除荷特性 湿度による耐久性実験 127
触覚スーツ（接触抵抗値変化型） 128 http://www.jsk.t.u-tokyo.ac.jp/research/sensorsuit-j.html
触覚センサの切り貼り実装（光量変化型） 感圧機構：ウレタン内の散乱光量による透過光量変化 特徴： ✓切断，または折り曲げて, エレメントごとに配置調整が可能 ✓触覚センサと通信機能をモジュール化（計測点1800以上） Y. Ohmura, Y. Kuniyoshi, A. Nagakubo, “Conformable and Scalable Tactile Sensor Skin for Curved Surfaces,” ICRA,pp.1348-1353,2006 129
触覚センサの切り貼り実装（光量変化型） 130 センサの接続方式 切断，または折り曲げて, エレメントごとに配置調整 が可能 感圧特性
下条研究室で開発したセンサ例ｰSTART次からは，下条研究室で開発した触覚センサの一部を紹介 ⚫ ⚫ ⚫ ⚫ COP型触覚の離散系への展開 すべり覚センサ 近接覚·触覚複合型センサ 近接覚センサによるロボットハンド・アームの統合制御 下条研では感圧導電ゴムを用いた触覚センサを基に，すべり覚，近接覚，ロボット制御応用へと展開してきた為，ここで紹介します。 131
132 荷重分布中心位置と総荷重検出センサ(COP) 感圧機構：感圧導電ゴムを面状抵抗体で挟む 特徴： ✓ 荷重分布の中心位置（COP）と総和を検出，すべり検出（COP：Center of Pressure） ✓ 高速応答（1ms以内），薄型シート状，省配線型（配線は4本のみ） 備考： ✓ 大面積，正則関数を用いた変換座標系可能 石川正俊,下条誠:感圧導電性ゴムを用いた２次元分布荷重の中心位置の測定方法,計測自動制御学会論文集, 18, 7, 730-735, 1982
133 CoPセンサ原理(1/2) 基本方程式 2va 2va + 2 = ri (1) 2 x y Poisson's equation 荷重分布 境界条件 電流分布i(x,y) 電圧分布 va(x,y) va va = =0 n S 2 n S 4 (va )S 1 荷重分布→電流分布→電圧分布 (va )S 3 ( 2) va S1 n dm (3) R0 va = V0 + dm (4) r S3 n R0 = V0 + r
134 CoPセンサ原理(2/2) 電流分布の一次モーメントIx は，基本方程式より 1 I x = i x dx dy = x 2 va dx dy (5) D r D グリーンの定理と境界条件より ( ) 1 2 I x = a + va S1 − va S3 (6) R0 r I 同様にIy は ( ) 1 2 I y = a + vb S 2 − vb S 4 (7) R0 r A層 電流分布中心位置はIx, Iy を電流値 I で除すことで求められる Ix Iy (xc , yc ) = , (8) I I I B層
制御では荷重分布の中心位置と総和が分かれば良い 135 ◼ CoP センサ ◼ センサの特徴 ⚫ ⚫ ⚫ ⚫ ⚫ 柔軟，薄型，軽量 曲面に配置可能 1[ms]以内の高速応答性 処理回路はアナログ回路 配線は4本 郡司大輔 荒木拓真 並木明夫 明愛国 下条誠, 触覚センサによる滑り検出に基づく多指ハンドの把持力制御,日本ロボット学会誌 Vol.25 No.6 pp.970-978 , 2007
Ishikawa lab. U.Tokyo https://www.youtube.com/watch?v=qqhL7zOLKo8 https://www.youtube.com/watch?v=xCCYxYgTTYk 136 https://www.youtube.com/watch?v=-tTN2SPeEoY https://www.youtube.com/watch?v=QH8XHmlWPlg
CoPセンサによる滑り検出実験 レーザ変位計 Slip 137 滑り変位が発生する 約0.05[s]前から荷 重出力が変化 荷重 出力 位置 出力 Gunji, D.; Mizoguchi, Y.; Teshigawara, S.; Aiguo Ming; Namiki, A.; Ishikawaand, M.; Shimojo, M.,Grasping force control of multi-fingered robot hand based on slip detection using tactile sensor, ICRA. pp. 2605-10, 2008.
Hand control using tactile/slip sensors 138 Gunji, D.; Mizoguchi, Y.; Teshigawara, S.; Aiguo Ming; Namiki, A.; Ishikawaand, M.; Shimojo, M.,Grasping force control of multi-fingered robot hand based on slip detection using tactile sensor, 2008 IEEE International Conference on Robotics and Automation. Pages: 2605-10,2008 https://www.youtube.com/watch?v=8-bGfyrYWrI
指長手方向 CoP触覚センサのJPLハンドへの実装 指円周方向 139 だいぶ以前（1986年頃）になり ますがStanford JPLハンドに装 着して動作実験をしたことがあ ります。 ビデオでは，木片をハンドリング している動作を示します。 セン サは3本指のうち１本にのみ実 装。白い指先部分がセンサで， シリコンゴムで被覆してあります。 ✓ オシロスコープがセンサ出 力を示す。 ✓ 木片と指先の接触位置の時 間変化が，指先での接触の 軌跡で示される。 ✓ オシロスコープ画面横軸が 指円周方向，縦軸が指長手 方向の接触位置を示す。 （1986年，下条，Ronald S. Fearing ） https://www.youtube.com/watch?v=bBaKCXpYeGs
すべり覚センサ(高周波検出) 140 ① 物体が滑り出す直前付近で高周波成 分が急激に増加 ② Wavelet変換を用いて，この初期滑りを 検出 S. Teshigawara, K. Tadakuma, A. Ming, M. Ishikawa, M. Shimojo, High Sensitivity Initial Slip Sensor for Dexterous Grasp, IEEE Int. Conf. on Robotics and Automation, 4867-4872, 2010
感圧導電ゴムの抵抗値変化 炭素量子 シリコンゴム Fn 電極 （１）無負荷 電気抵抗 ∞ Fn Ft （３）接線方向力：抵抗値変化 （２）法線方向力：抵抗値低下 導電粒子の 分布変化 複雑な電圧 変化 141
感圧導電ゴムの抵抗値変化 • 実験結果 滑り発生直前に生じる 静摩擦域 動摩擦域 142
6 mm すべり覚センサの開発(高周波検出) 5 mm 6 mm 5 mm ”すべり”による感圧素材の特徴的な 特性を解析し ”すべり”を検出するセンサを開発した 5 mm Pair of electrodes 143 5 mm Pressure conductive rubber ( 6 mm 6 mm, Thickness 0.5 mm) https://www.youtube.com/watch?v=ueSl7pWb8pc すべり覚センサ（ビデオ） Teshigawara, S.; Ishikawa, M.; Shimojo, M., Development of high speed and high sensitivity slip sensor, IEEE/RSJ IROS pp.47-45, 2008. S. Teshigawara, K. Tadakuma, A. Ming, M. Ishikawa, M. Shimojo: Development of high-sensitivity slip sensor using special characteristics of pressure conductive rubber, ICRA, pp.3289-3294, 2009.5 https://www.youtube.com/watch?v=cu18UJk3eZ8 把持力調整実験（最少力把持）
すべり覚センサをロボットハ ンドに実装： 把持力 すべり発生→把持力増加→把持力減少→すべり 発生→把持力増加→・・・ Slip S. Teshigawara, K. Tadakuma, A. Ming, M. Ishikawa, M. Shimojo: High Sensitivity Initial Slip Sensor for Dexterous Grasp, 2010 IEEE International Conference on Robotics and Automation (ICRA), pp.4867-4872, 2010.5 https://www.youtube.com/watch?v=WtuDZvrZ0Gg 144 https://www.youtube.com/watch?v=8obI1Gr53ZA https://www.youtube.com/watch?v=8obI1Gr53ZA
近接覚·触覚複合型センサ 連続系 v = ri ポアソン方程式 2 離散系 145
146 CoPセンサの離散的構造化 出力端子 抵抗回路網 検出エレメント 抵抗回路網 単位エレメント アナログネットワーク回路
センサ構造の離散化（触覚と近接覚） 147 ２次元状 触覚センサ 荷重センサ 荷重→抵抗値変化→電流 2次元状 近接覚センサ 単位エレメント Photo refrector 距離→反射光量変化→電流
同一な構造を有する触覚と近接覚のセンサアレイ 感圧導電ゴム型 触覚センサ（３ｘ３） フォトレフレクタ型 近接覚センサ（３ｘ３） 148
触覚センサアレイ 荷重検出エ レメント 抵抗(カーボン抵抗） r rp エレメント配置（ 3x3 ） グリッド状 エレメントを球状に配置 149
触覚センサアレイ 150 https://www.youtube.com/watch?v=SVMj6MpVz7o
https://www.youtube.com/watch?v=M0QYP-V7qB8 https://www.youtube.com/watch?v=Cfngzj1IFjU 近接覚センサ ビデオ 151 https://www.youtube.com/watch?v=XB3GhOs7UTk
手のひら近接アレイによる物体検知・把持 手にひらに 実装 ✓ フォトリフレクタアレイ(5x6)を ハンド掌に実装。 ✓ ハンド近接覚センサアレイを用 いて，テーブル上のブロックを 検出・把持・配置を行う ✓ 視覚センサは使っていない •Sha Ye, Kenji Suzuki, Yosuke Suzuki, Masatoshi Ishikawa, Makoto Shimojo: Robust Robotic Grasping Using IR Net-Structure Proximity Sensor to Handle Objects with Unknown Position and Attitude,2013 IEEE International Conference on Robotics and Automation (ICRA), pp.3271-3278, Karlsruhe, 2013.5 https://www.youtube.com/watch?v=ef3yN1m_lCk 152
近接覚を用いた把持制御 Proximity sensor is extension of tactile sensor moving object Detect before contact occur Adjust hand position and finger form before grasping 153
近接覚を用いた把持戦略 Non-contact Contact Proximity connects vision and tactile seamlessly ⚫ 大局情報 ⚫ 推定 ⚫ 隠蔽，死角 ⚫ 確実な把持 ⚫ 素早い把持 ⚫ 局所情報 ⚫ 確定 ⚫ 接触するまで未定 154
Proximity sensors on finger tip 155 Tactile &Slip sensor Proximity sensor array (2x6 element) Photo-reflector : EE-SY1200 Proximity sensor array circuit Koyama, Keisuke; Hasegawa, Hiroaki; Suzuki, Yosuke; Ming, Aiguo; Shimojo, Makoto, Pre-Shaping for Various Objects by the Robot Hand Equipped with Resistor Network Structure Proximity Sensor, 2013 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS), pp.4027-4033, 2013
Structure of the proximity sensor array Example of 3x3 proximity sensor array Resistor Grid Photo-reflector : EE-SY1200 Resistor Grid Position output xc VS1 − VS3 1 2 xc = ( + ) R 0 r(m − 1) I all Position output yc yc = ( V − VS4 1 2 + ) S2 R 0 r(n − 1) I all Total current output Iall 2V0 − VS1 − VS3 I all = R0 m： Number of element in X direction n： Number of element in Y direction 157
Sensor outputs pitch & roll angle 158 Roll angle xc yc xc Pitch angle yc The object is large compared with the sensor‘s size Sensor outputs the pitch and roll angle of the object as ( xc, yc )
159 Sensor outputs distance distance Iall ⚫ 分布荷重の中心位置：面傾き Sensor outputs the distance value as Iall 分布荷重の総荷重 面距離 Iall ⚫ = Total photo current flow：all elements
Control of the hand Control of the finger adjusting an object surface https://www.youtube.com/watch?v=gaxcQPKM9C8 161
162 Pre-Grasping control 1/3 ■ three-fingered robot hand with 8 DoF xc yc z (Iall ) q2 q1 ・3 DoF per finger ( , , ) q2 qp q1 ・ Three Sensor outputs ( , , ) qp xc yc Iall Each finger can be controlled independently by using sensor outputs
163 Pre-Grasping control 2/3 ■ Control of one-finger 3 joint by one proximity sensor ● Local Feedback Control ⚫ Each finger is controlled independently ⚫ One-to-one correspondence of a sensor output and the joint angle xc Iall yc ⚫ローカルな反射動作系 Local feed back system controlled by the proximity sensor
164 Pre-Grasping control 3/3 Each proximity sensor outputs control each finger-joint-angle directly xc 𝜽𝟏−𝒓𝒆𝒇 = 𝜽𝟏 𝒊𝒏𝒊𝒕𝒊𝒂𝒍 + 𝑪𝟏 න 𝑰𝒂𝒍𝒍 − 𝑰𝒓𝒆𝒇 𝒅𝒕 (1) z (Iall ) 𝜽𝟐−𝒓𝒆𝒇 = 𝜽𝟐 𝒊𝒏𝒊𝒕𝒊𝒂𝒍 + 𝑪𝟐 න 𝒙𝒄 𝒅𝒕 (2) 𝜽𝒑−𝒓𝒆𝒇 = 𝜽𝒑 𝒊𝒏𝒊𝒕𝒊𝒂𝒍 + 𝑪𝟑 න 𝒚𝒄 𝒅𝒕 (3) yc q2 ・Block diagram of finger- control 𝐼𝑎𝑙𝑙 𝜃1−𝑟𝑒𝑓 (1) PID 𝜃1ሶ Driver xc Joint 𝜃1 𝜃1 𝑥𝑐 (2) 𝜃2−𝑟𝑒𝑓 PID 𝜃2ሶ q1 Driver Joint 𝜃2 𝜃2 𝑦𝑐 (3) qp 𝜃𝑝−𝑟𝑒𝑓 𝜃𝑝 PID 𝜃𝑝ሶ Driver Joint 𝜃𝑝 yc Iall
Control system of the Hand and the Arm 165 ⚫ Three-fingered robot hand with 8 DoF & Arm with 7 DoF( PA10 ) Harmonic Drive systems Hand(HDS) Sensor output Windows PC Matlab: Simulink angular verocity joint angle Hand controller angular verocity joint angle Arm ( PA10:Mitsubishi Inc) dSPACE (Program execution) PA10 controller Sample the sensor values every 0.1 ms and Controll the hand/arm system every 5.0 ms.
166 Distance [mm] Pre-Grasping Experiment Goal Control is possible in the posture and distance of a fingertip simultaneously within the sensor detection range
Control of the arm 167 The position & posture control of the arm for performing proper grasping IEEE Spectrum： https://www.youtube.com/watch?v=tHsrXsEreCY https://www.youtube.com/watch?v=Bi0o-ai6-yM
Arm_Hand control archtecture b)Arm control a)Hand control xc1 I all 1 センサ-モータ yc1 直結 反射動作系 sensor (xci , yci , I all i ) q1 ,,q8 反射動作系 Arm control sensor sensor (xci , yci , I all i ) q1 ,,q8 Pr eGrasping Hand control Hand _ Arm _ motion reactive archtecture 168
Autonomous grasping experiment A control rule is unified with coefficient of ai Vx , y , z = 1 ai ai vxi , yi , zi , , = 1 ai Initial position a i i, i, i Final position Grasping a can without vision 170
Autonomous grasping experiment A control rule is unified with coefficient of ai Vx , y , z = 1 ai ai vxi , yi , zi , , = 1 ai Initial position a i i, i, i Final position Grasping a shampoo bottle without vision 171
Autonomous grasping experiment 172
Autonomous grasping experiment 173 https://www.youtube.com/watch?v=tHsrXsEreCY
Additional explanation of Pre-grasping 1) Simultaneous control of hand & arm 3) Controlled by all analog-circuit Pre-Grasping 4) Softness detection 2) Simultaneous contact 174
kinect Grasping with Vision 175 Kinect: Object is replaced with a cylinder model. The position and direction of https://www.youtube.com/watch?v=PoBmedVdzlc the cylinder are measured
まとめ：近接覚制御方式のロボットハンド 176 近接覚制御方式のロボットハンドには次のような利点がある。 1. 2. 3. 4. 5. 6. ハンドを近づけると自動的に物体の形に倣って把持を行う 各種物体毎のソフトウェアが不要である センサ制御系一体型のハンドのためコンパクトである 視覚が必要ない。もしくはごく簡便な視覚（kinectなど）でよい 高速な把持動作が可能 物体が少々動いたりしても把持可能（自動追従把持） 近接覚制御方式は，視覚の隠蔽による情報欠落を補完し，かつ 接触前数cmの範囲を確実・高速に計測・制御可能なため，従来 の視覚フィードバック制御方式と組合わせ発展する可能性もある
（下条研究室で開発したセンサ例-END-） 177 ここからは，元にもどり ③これまで開発されてきた触覚センサの事例紹介 電通大を定年退職後，東大へ移り開発に関係した近接覚センサは，石川妹尾研HPを参照してください。 論文などは https://researchmap.jp/read0072509/
静電容量型 ⚫ iCub skin ⚫ 各 種 178
静電容量型触覚（iCub skin） 感圧機構：静電容量型 特徴： ✓三角形のパッチで大面積を覆う ✓三角形のパッチ内に静電容量計測ICがあり， I2Cでデータ転送 備考： ✓ iCub，KASPER，NAO などのロボットに利用 179
iCub skin 180 （シリコン商品名） 圧力と静電容量変化および素材経年変化 TH Le, P Maiolino, F Mastrogiovanni, G Cannata,,kinning a Robot: Design Methodologies for Large-Scale Robot Skin,IEEE Robotics & Automation Magazine, 23, 4, 2016 センサ：48個/掌，12個/指 https://www.youtube.com/watch?v=yQGXYGS0Ojo
181 iCub skin simulation data experimental data simulation data Fig. shows sensitivity and weight computed for each elastomer for a target pressure p= 10 KPa. 誘電体の違いによるセンサの 感度と重量 Thuy-Hong-Loan Le; Perla Maiolino; Fulvio Mastrogiovanni; Giorgio Cannata,kinning a Robot: Design Methodologies for Large-Scale Robot Skin,IEEE Robotics & Automation Magazine, Volume: 23, Issue: 4, Dec. 2016 experimental data
182 静電容量型の例 a cross-section view of sensor construction. a) The adaptive gripper with sensor suite installed.Insets show closeups of b) the texture and c) the taxels on the inner surface of a distal link. 検出点： 132点 (capacitive pressure sensors） 面積： ~1 cm2 area/taxel 突起： 125 µm高， 125 µm 直径， Silicone rubber CDC： AD7147 (Analog Devices ) B Heyneman and M Cutkosky, Biologically inspired tactile classification of object-hand and object-world interactions, 2012 IEEE Int. Conf. on Robotics and Biomimetics (ROBIO) A typical calibration curve for a load/unload cycle of one taxel showing low hysteresis. http://bdml.stanford.edu/Main/RobotiqGrasping
静電容量型を用いた例 Integrated Tactile Sensors for Robotic Gripper from ETS (École de technologie supérieure in Montreal, Quebec, Canada.) https://blog.robotiq.com/bid/69803/Integrated-Tactile-Sensors-for-Robotic-Gripper-from-ETS 183 ✓ The skin is composed of a special Silicon which is mixed up homogeneously with Nickel fiber and Nickel nitride. We also mixed in two kinds of nano particles (BaTiO3 and PMNPT) in order to improve the stiffness of the skin and the global accuracy of the sensor. ✓ The fabric is located just underneath the skin. It is a common conductive fabric that is widely available on the market. ✓ Finally, the printed circuit board (PCB) is custom-designed and is composed of a PSoC microcontroller mounted with other electrical components. The microcontroller is the processing unit, it is responsible for acquiring the tactile measurements, treating the information and managing the communications.
光応用型 ⚫ 光導波板方式（3軸力） ⚫ ゲルの変形を用いた方式（GelSight） ⚫ Finger vision(Univ. Tohoku) 184
光導波板方式（3軸力） 185 Sampling interval: 25ms/finger M Ohka, SC Abdullah, J Wada, HB Yussof,Two-Hand-Arm Manipulation Based on Tri-axial Tactile Data,International Journal of Social Robotics January 2012, Volume 4, Issue 1, pp 97–105
ゲルの変形を用いた方式（GelSight） 186 GelSight 感圧機構：光透過性柔軟ゲルの接触変形の計測。ゲル周囲からRGB各色LED 照 明を照射しカメラで撮影，ゲル表面の３D変形を推定，接触状態を計測する 特徴： ✓荷重分布のカメラ画像からの高解像計測が可能。動画像から動的接触状 態を計測 備考： ✓ カメラを搭載するため指先形状寸法に制限はある http://www.gelsight.com/
GelSight 187 Output:Handが把持しているUSBコネクタ (camera pixels : 320 240) Localization and Manipulation of Small Parts Using GelSight Tactile Sensing, R Li; R Platt; W Yuan; A Pas; N Roscup; MA Srinivasan; E Adelson,IROS 2014 https://www.youtube.com/watch?v=4DSilbo2B24
GelSight（新型） Camera:xHD 720p (1280 x 720) 滑り検出： ① 物体とセンサ表面の相対変位， ② 接線方向力分布状態， ③ 接触面積変化 から滑り検出を行う。GelSigtは，把持力が小さいと， 上記の現象観測が困難なため，滑り検出に失敗した。 188 (b) Image captured by GelSight sensor during the grasp (c) The reconstructed 3D geometry from (b) The backgrounds in the pictures are the color intensity change of GelSight images. To detect the slip through marker motion, Improved gelsight tactile sensor for measuring geometry and slip,S Dong, W Yuan, E Adelson - arXiv preprint arXiv:1708.00922, 2017 - arxiv.org
Gelslim （薄型GelSight） 189 GelSightを薄型にした。 投光系・撮像系の光学パスを下図のよ うにミラーを用いて薄型になるよう構成 した。 接触部表面には耐久性と検出品質を 向上させるため，布を貼り付けた。 E. Donlon, S. Dong, M. Liu, J. Li, E. Adelson, A. Rodriguez, GelSlim: A High-Resolution, Compact, Robust, and Calibrated Tactile-sensing Finger, arXiv:1803.00628 (2018)
Finger Vision(Univ.Tohoku) 190 透明な柔軟層と硬く透明なアクリル 層を介して物体をカメラで観測する。 ✓ 柔らかい層のマーカーの変形を カメラで読み取ることで外力を 推定 ✓ 画像解析により，物体の滑り・変 形も検出可能とする ✓ また，透明層のため視覚情報も 取得可能とする A. Yamaguchi and C. G. Atkeson: Combining Finger Vision and Optical Tactile Sensing: Reducing and Handling Errors While Cutting Vegetables, in Proc. of the 16th IEEE-RAS Int. Conf. on Humanoid Robots,2016. https://www.youtube.com/watch?time_continue=1&v=L-YbxcyRghQ
半導体応用型 ⚫ 半導体圧力センサアレイ(RI-MAN) ⚫ 複合型センサ(HEX-O-SKIN) 191
192 半導体圧力センサアレイ(RI-MAN) 感圧機構：半導体圧力センサのアレイ状配置 FUJIKURA FPBS-04A 特徴： ピエゾ抵抗効果を利用 した拡散型の半導体 圧力センサ ✓ 検出素子間補間を弾性体シート等で行い， 検出ヘッドへの荷重誘導 ✓ 小型コントローラによるセンサ情報の階層的 分散制御 備考： Scanning circuit ✓ ロボット全身で320個,サンプリング：20ms T. Mukai, M. Onishi, T. Odashima, Development of the Tactile Sensor System of a Human-Interactive Robot "RI-MAN”, IEEE Trans. on Robotics, 24, 2, 505-512, 2008 https://www.youtube.com/watch?time_continue=29&v=L-YbxcyRghQ
複合型センサ(HEX-O-SKIN) 193 感圧機構：力，近接,温度,加速度センサの複合型 センサ（六角形構造） 特徴： ✓六角形はポートで隣接六角形に接続され計 測データを伝送 ✓近接(GP2S60)，加速度(BMA150)，温度 (PCS1.132)，静電容量型力センサ（MEMS) 備考： ✓ 柔軟性は低い Substrate and cap design of the new force sensor cell. Philipp Mittendorfer, Gordon Cheng,Integrating Discrete Force Cells into Multi-modal Artificial Skin,Humanoid Robots (Humanoids), 2012 12th IEEE-RAS International Conference on
194 HEX-O-SKIN Robot TOMM with robotic skin using event-based signaling https://www.youtube.com/watch?v=4bs58bA7Hy
HEX-O-SKIN https://www.youtube.com/watch?v=H66vDX3wAZQ 195
各 種 196 ⚫ 導電性流体を用いたもの(BioTac) ⚫ 磁気変化方式(Uskin) ⚫ EIT(Electrical Impedance Tomography)法 ⚫ 接触抵抗から力分布をTomography法を用いて計算 ⚫ 空気圧による接触検知
導電性流体を用いたもの(BioTac) 197 感圧機構：柔軟スキンの変形による導電性流体 のインピーダンス変化 特徴： ✓3軸方向力およびその力の重心位置を計測 ✓接触振動を流体圧力波を圧力センサにより 計測 ✓サーミスタにより温度変化も検出 ダイナミックレンジ 0.01～50N (100～1000 kΩ) 再現性 ＜5％ ヒステリス ＜5％ 空間分解能 ＜3mm 備考： ✓寸法はやや長く，ロボットハンドへの実装で はハンド指先第2リンクまで https://www.syntouchinc.com/clients/ http://www.nihonbinary.co.jp/Products/Robot/BioTac.html
BioTac (Syntouch inc.) 198 https://www.youtube.com/watch?v=W_O-u9PNUMU
BioTac (Syntouch inc.) 199 Shadow hand with Biotac RB Hellman, E Chang, J Tanner, SIH Tillery and VJ Santos, A Robot Hand Testbed Designed for Enhancing Embodiment and Functional Neurorehabilitation of Body Schema in Subjects with Upper Limb Impairment or Loss, Front Hum Neurosci. 2015; 9: 26.6
磁気変化方式(Uskin) 200 磁石とホール素子の 組合わせにより3軸力 を検出 ホール素子（24個/ 指）はI2C接続 Hall-effect sensors (MLX90393) Responsetime:66ms TP Tomo, A Schmitz, W Wong, H Kristanto,S Somlor, J Hwang, L Jamone, S,Sugano, Covering a Robot Fingertip With uSkin: A Soft Electronic Skin With Distributed 3-Axis Force Sensitive Elements for Robot Hands, IEEE ROBOTICS AND AUTOMATION LETTERS, 3, 1, 2018.
磁気変化方式(Uskin) 201 https://www.youtube.com/watch?v=uflHqP5mhYg
EIT(Electrical Impedance Tomography)法 202 感圧機構：導電体シートの外周に多数の電極を配置し，導電体内 部の抵抗値分布を逆問題手法を用いて計測する方法 特徴： ✓感圧領域は導電性の布やゴムシートなどで構成できるため、高い伸縮性が実現できる ✓測定領域内に配線が不要なためセンサは柔軟・薄型，伸縮可能 ✓導電材料の層を重ねると伸縮と圧力を分離して検出することもできる 備考： ✓ 電磁ノイズ等に対する耐性？，空間分解能は高くない H Alirezaei; A Nagakubo; Y Kuniyoshi, A tactile distribution sensor which enables stable measurement under high and dynamic stretch,IEEE Symposium on 3D User Interfaces, 3DUI 2009
EIT(Electrical Impedance Tomography)法 203 sensor sheet is 90mm x 160mm and it can be stretched to up to 140% of its original size Pressure is applied to a circular area with a 20mm diameter Developed tactile sensor under 2way stretch: The sensor’s response is demonstrated over a relatively hard foamed styrol sphere.60mm(a), a highly deformable and stretchable balloon- .90mm (b,c) and a slim PET bottle cap.20mm (d). H Alirezaei; A Nagakubo; Y Kuniyoshi, A tactile distribution sensor which enables stable measurement under high and dynamic stretch,IEEE Symposium on 3D User Interfaces, 3DUI 2009
接触抵抗から力分布をTomography法を用いて計算 204 導電体間の接触抵抗分布を Tomography法を用いて計算 することで力分布を計測 ➢ 二つの導電体の接触境 界には電気接触抵抗が 存在 ➢ 接触抵抗は接触圧力に よって変化 ➢ 接触圧力の分布に応じ て導電体に印加される 電圧の分布も決まる ➢ よって，電圧の分布を推 定することで、接触圧力 の分布を推定する Shunsuke Yoshimoto, Yoshihiro Kuroda, and Osamu Oshiro, Tomographic Approach for Universal Tactile Imaging with Electromechanically Coupled Conductors, IEEE Transactions on Industrial Electronics
接触抵抗から力分布をTomography法を用いて計算 205 https://resou.osaka-u.ac.jp/ja/research/2018/20181114_2 https://www.youtube.com/watch?v=e2boH-Peogs&feature=youtu.be
空気圧による接触検知 206 AIRSKIN® pad ✓ 気密性に優れた薄皮で覆われた柔軟なダンプ ニング構造 ✓ 接触変形による内部の空気圧の変化を圧力セ ンサで検知 ✓ 検出パッドは，単一のケーブルで直列接続 https://www.youtube.com/watch?v=1C7BYxE57h8 http://www.bluedanuberobotics.com/
触・近接覚センサ ⚫ 触・近接センサ(Univ.Colorado) ⚫ 触・近接センサ(Univ.Tokyo) 207
触・近接センサ(Univ.Colorado) 208 VNCL40101 proximity sensors PDMS 透明度の高いPDMS層の下にフォトリフレク タ(VNCL40101)を配置する。 VNCL40101: proximity sensor detecting objects a distance up to 20 cm. reliable detection: atdistance up to 6–7 cm ✓ 対象物の接近は反射光強度より検出 ✓ 接触後は反射光強度からPDMSの変形 量を検出，力を推定する。 Dana Hughes, John Lammie,and Nikolaus Correll，A Robotic Skin for Collision Avoidance and Affective Touch Recognition, IEEE ROBOTICS AND AUTOMATION LETTERS, VOL.3, NO.3, pp.1386-1393, 2018
触・近接覚(Univ. Tokyo) 209 フォトリフレクタを複数個配し，対象物面までの距 離，傾きを高速・高精度に計測する。 ✓ フォトリフレクタの配置間隔，点滅位相を工夫 することで，対象物表面の反射率の影響を受 けない ✓ 応答時間：１ｍｓ，計測精度：50μm以下 ✓ 対象物までの距離ゼロを接触と見なすことで高 感度な接触検知可能 ✓ 高精度位置計測が可能たため，指先柔軟体に 接触後の変位計測より接触力を計測可能。 Koyama, K; Shimojo, M; Senoo, T; Ishikawa, M: High-Speed High-Precision Proximity Sensor for Detection of Tilt, Distance, and Contact, Koyama, IEEE Robotics and Automation Letters 3(4) pp.3224-3231, 2018.
触・近接覚(Utokyo) https://www.youtube.com/watch?v=UVMg2qdhdYs 210
アレイ状近接覚（ Univ.Kanazawa) 211 フォトリフレクタをアレイ状に配し，対象物面までの距離（高速 応答）と，距離パターン（低速応答）を計測する。 ✓ フォトリフレクタ，抵抗ネットワークで接続して中心位置を検 出する方式に，各フォトリフレクタの出力（電流）を計測して 距離パターンを検出する方式を合わせたセンサ ✓ 中心位置の検出は１ｋｚ，距離パターンは100Hz，のサン プリング速度 ✓ 左図は，球と円柱の距離パターン計測例を示す。（パラ メータとしてセンサと物体の距離を変化） Y. Hirai, Y. Suzuki, T. Tsuji and T. Watanabe: High-speed and Intelligent Pre-grasp Motion by a Robotic Hand Equipped with Hierarchical Proximity Sensors, IEEE/RSJ Int. Conf. on Intelligent Robots and Systems, pp.7424-7431, 2018.
④ E-skin & E-textileについて 212 ④ E-skin & E-textileに ついて簡単な紹介
E-skin & E-textile 213 ◆ 有機トランジスタを用いた触覚センサや，導電性高分子繊維など を使い織り上げ技術を用いた布状の触覚センサなどが近年研究 開発されている。 ◆ 感圧機構は抵抗値変化，静電容量変化など従来の方式と大差 はないが，印刷技術による作成．伸縮可能で薄型な触覚，布状 の触覚センサなど興味深い特徴がある。 ◆ 但し，実際に利用する場合の，物理・化学的耐久性については これからの問題と考える。以下では簡単に開発事例を示す。
E-skin 214 Diagram of wearable tactile sensors and relevant applications: interactive human–machine interface, wearable human–machine interfaces, stretchable electronics for skin prosthesis, 3D printed strain sensors, wearable electronic patch for healthcare [22], epidermal devices for blood flow monitoring, digitaltactile system, and soft robotics for chemists. T. Yang et al. / Materials Science and Engineering R 115 (2017) 1–37 5 概要：近年有機半導体を用いた触覚センサなどの開発が盛んになってきた。有機半導体とは有機電 界効果トランジスタ(OFET)などがある。 特徴： ✓ 有機半導体は，通常のシリコントランジスタと比べて軽量で，インクジェット法などの印刷技術で， 高分子フィルムの上に容易に製造できるため，大面積·低コストな電子製品が作製が可能 ✓ 有機系材料のため，軽量性·柔軟性を同時に実現でき，薄型で曲げられ，かつ伸縮可能な触覚 センサなどが開発されている
有機トランジスタによる触覚センサ 215 http://www.ntech.t.u-tokyo.ac.jp/research_results/index.html 概要：薄さ(2 µm)の有機トランジスタ集積回路を、1.2 µm厚のポリエ チレンテレフタレート基板上に作製したフレキシブルな回路 特徴 ✓ センサ１セルは4 mm角、4.8 × 4.8 cm2のアクティブエリアに144 (12 × 12) セル搭載 ✓ 人間の肌のような自由曲面に貼り付けることが可能 ✓ デバイスは電気的・機械的特性の劣化がほぼなしで233%まで伸 長可能 ✓ デバイスを生理食塩水に2週間以上浸漬、電気特性に劣化なし M. Kaltenbrunner, T. Sekitani, J. Reeder, T. Yokota, K. Kuribara, T. Tokuhara, M. Drack, R. Schwödiauer, I. Graz, S. B. Gogonea, S. Bauer & T. Someya, An ultra-lightweight design for imperceptible plastic electronics, Nature 499, 458–463, 2013
有機トランジスタによる触覚センサ Design of a tactile pixel comprising a switching transistor and a resistive touch sensor. The control transistor is fabricated directly on the 1.2-mm substrate. An interlayer of 800-nm parylene insulates the switching matrix backplane from the sensing layer. The electrical connection to the transistors is provided through high-resolution vias. Interdigitated gold electrodes with a line pitch of 30 mm serve as touch sensors. view of an individual tactile pixel https://www.youtube.com/watch?v=4oqf--GMNrA&t=53s Transfer curve for a single pixel when the interdigitated resistive sensor is touched by various objects 216
E-skin Piezoresistive tactile sensor. (a) Ultrasensitive mechanical crack-based sensor inspired by the spider sensory system [67]. (b) Resistive pressure sensors using a conductive elastomeric composite on a micropyramid array [70]. (c) Percolating network of conductive composite. (d) Out-of-planar wrinkled graphene based flexible strain sensor [85]. 217 CNT based tactile sensors. (a) Schematic of a resistor model with a CNTs network. (b) CNT-graphene hybrids with a superior structure strength than CNT networks [160]. (c) Evolution of morphology of films of carbon nanotubes with stretching and corresponding electrical response [161]. (d) Thin films of aligned single-walled carbon nanotubes and its relative change in resistance versus strain [77]. 14 T. Yang et al. / Materials Science and Engineering R 115 (2017) 1–37 T Yang, D Xie, Z Li, H Zhu ,Recent advances in wearable tactile sensors: Materials, sensing mechanisms, and device performance, - Materials Science and Engineering R,Materials Science and Engineering: R: Reports,Volume 115, May 2017, Pages 1-37
E-skin 218 Capacitive tactile sensor with air embedded microstructured dielectric layer. (a) Pyramidal dielectric elastomer; (b) foamed dielectric elastomer. (c) Microstructured PDMS as the gate dielectric layer of an organic transistor, forming a force-sensitive gate capacitance [93]. Graphene based tactile sensors. (a) A suspended graphene device with corresponding electromechanical response [138]. (b) A CVD graphene strain sensor and corresponding resistance response [140]. (c) Graphene woven fabrics based strain sensor and corresponding electromechanical property [145]. (d) Large-area quasicontinuous graphene films by single-step self-assembly for strain sensing [147] T Yang, D Xie, Z Li, H Zhu ,Recent advances in wearable tactile sensors: Materials, sensing mechanisms, and device performance, - Materials Science and Engineering R,Materials Science and Engineering: R: Reports,Volume 115, May 2017, Pages 1-37
E-skin Conductive elastomer based tactile sensors. (a) Stretchable fibers of polyurethane embedded with silver nanoflower fillers [167]. (b) Strain distribution of porous pressure-sensitive rubber [53]. (c) An ultra-sensitive resistive pressure sensor based on hollow-sphere microstructure induced elasticity in conducting polymer film [172]. (d) Embedded nanoscale networks of polymer semiconductor to achieve high conductivity and high stretchability simultaneously by nanoconfinement effect [174]. (e) An uniaxial force stretches a strain sensor based on ionic conductor from an undeformed state to a deformed state [74]. T. Yang et al. / Materials Science and Engineering R 115 (2017) 1–37 15 219 Metal based tactile sensor. (a) Pressure sensor based on the AuNWs coated tissue paper [68]. (b) Comparison of channel cracks and micro-cracks based gold thin film; reliable recognition of subtle acoustic vibration using gold thin film of channel cracks [17]. (c) Very long Ag nanowire percolation network with a strain range above 460% [81] T Yang, D Xie, Z Li, H Zhu ,Recent advances in wearable tactile sensors: Materials, sensing mechanisms, and device performance, - Materials Science and Engineering R,Materials Science and Engineering: R: Reports,Volume 115, May 2017, Pages 1-37
220 E-textile 繊維 糸 複合 糸 (e)braided(組みひも） (f) tufted(房を付けた） Lina M Castano and Alison B Flatau, Smart fabric sensors and e-textile technologies: a review, April 2014 ,,Smart Materials and Structures, Volume 23, Number 5 E-textureまたはSmart fabric transducers(SFTs)： 導電性高分子繊維，炭素，金属等で表面修飾した繊維を用いて，編み込み，織り上げ技 術を用いて，撚り糸状,および布状に織り上げた素材用いて触覚センサなどを作る方式 ◼ 感圧機構： ✓ 繊維間の接触抵抗 ✓ 繊維間の静電容量など ◼ 繊維への導電性付与： ✓ 導電性高分子繊維 ✓ 炭素，金属等で表面修飾 ✓ カーボンナノチューブ(CNT),グラフェン(GO:Grapheneoxide)など
E-textile sensor on a PET substrate using 2 × 2 conductive fibers. Capacitive response of the pressure sensor for the various applied loads of 0.05, 0.1, and 0.5 N. 221 Response and relaxation curve for the device under repeated application and removal of a 0.5 N load 感圧機構：静電容量変化 ✓ ケブラー繊維を導電繊維でコーティングし,その上を誘電体であるPDMDで覆っ た導電繊維を図のように交差させて用いる ✓ 交差部は導体間に誘電体が挟まれたキャパシタを形成し,力によって誘電体部 分が変形するため容量が変化しこれを計測 J. Lee et al., Conductive Fiber-Based Ultrasensitive Textile Pressure Sensor for Wearable Electronics, Adv. Mater., 27, 2433–2439, 2015
E-textile 222 (a) Schematic illustration of the in situ chemical polymerization for conducting polymer-coated fabric; (b) SEM image of a conductive fiber composed of carbon nanotube bundles coated with polypyrrole; (c) SEM micrograph of stretchable spandex fabric after a dip coating process with polystyrene sulfonate-doped poly(3,4-ethylenedioxythiophene) (PEDOT:PSS); (d) Optical image of stretchable fabric before and after dip coating with PEDOT:PSS; (e) Surface morphology of polyaniline (PANI): polyethylene oxide (PEO) electrospun fiber; (f) Wet fiber spinning technique process. Reproduced from [68,73,74] with the permission by Royal Society of Chemistry, Copyright 2015, and by ACS Publications, Copyright 2010, 2012. V. Kaushik, et al.,Textile-Based Electronic Components for Energy Applications: Principles -Review, Problems, and Perspective,Nanomaterials 2015, 5(3), 1493-153
E-textile 223 (a) Schematic picture of the organic field effect transistor (O-FET); (b) Optical image showing channel area; (c) The output characteristic of OFET; (d) Schematic picture of a planar OECT; (e) Optical micrograph of a planar organic electrochemical transistor (OECT); (f) Output characteristic of a planar OECT; (g) Schematic picture of a fiber OECT; (h) Optical micrograph of a fiber OECT; (i) Output characteristic of a fiber OECT. Reprinted from [122,123] with permissions by AIP Publishing LLC, Copyright 2006 and by Nature Publishing Group, Copyright 2007. V. Kaushik, et al.,Textile-Based Electronic Components for Energy Applications: Principles -Review, Problems, and Perspective,Nanomaterials 2015, 5(3), 1493-153
E-textile V. Kaushik, et al.,Textile-Based Electronic Components for Energy Applications: Principles -Review, Problems, and Perspective,Nanomaterials 2015, 5(3), 1493-153 224 (a) FE-SEM and HRTEM images of knitted fabrics made from highlyconductive stretchable fibers. Bottom of this image shows an optical image of 2 ply rope. The knitted fabric was attached to a robot finger (as shown by arrow) for touch sensing; (b) Plot shows the conductivities of fibers as a function of tensile strain; (c) Schematic illustration of silver nanowires (AgNWs) and silver nanoparticles (AgNPs) in the composite fiber. (Left bottom image in navy colour line: SEM image of AgNP-mixed styrene-blockbutadienstyrene (SBS) fiber without AgNWs at 50% strain and and Right bottom image in red colour line: SEM images of the AgNW-AgNP embedded SBS fiber at 50% strain); (d) Changes in conductivity of the composite fiber depending on the length of the AgNWs; (e) Reliability test measured the changes in the normalized resistance of the composite fiber; (f) Photograph of a smart glove made with composite fibers and motion detection of English letters using a sign language. Reproduced from [90,154] with permissions by ACS Publications, Copyright 2014 and by
E-textile 225 (a) Schematic (left) and SEM image (middle) of the twisted CNT/N719 working electrode and carbon nanotube/polyvinylidene fluoride (CNT/PVDF) counter electrode. A typical density–voltage (J–V) curve (right) with improved performance after modification of the working electrode; (b) Schematic fabrication process (left) and SEM image (middle) of photo electrochemical cells with a primary electrode of Ti wire, light absorption layer of CdSe nanowire, and counter electrode of CNT. J–V curves under dark and light conditions of different fiber cells using a CNT yarn and Pt wire counter electrode; (c) Schematic (left) and SEM image (middle) of wire shaped dye-sensitized solar cells with twisted CNT fiber. Current density-voltage curves for a wire-shaped DSC (right); (d) Schematic diagram of double twisted solar cell supported by the CNT fiber and the chemical structure of the perovskite material (left). The SEM image shows twisted fibrous solar cells (middle). The current J–V curve is shown for electrical performance (right). Reprinted from [38,99,175,178] with permissions by Royal Society of Chemistry, Copyright 2012, 2012 and by ACS Publications, Copyright 2013 and by John Wiley & Sons, Copyright 2015 V. Kaushik, et al.,Textile-Based Electronic Components for Energy Applications: Principles -Review, Problems, and Perspective,Nanomaterials 2015, 5(3), 1493-153
E-textile 226 (a) Schematic fabrication process and SEM image of a hydrogenated single crystal ZnO (HZM) and amorphous ZnO-doped MnO2 core-shell electrodes; (b) Current-potential characterization with different electrodes with scan rates of 100 mV/s; (c) Design of a stand-alone self-powered system consisting of dye-sensitized solar cells (DSSCs), SCs, and LEDs; (d) Leakage current characteristics of three SCs in series and voltage profile (inset) charged by four DSSCs in series; (e) Schematic illustration and circuit connection mechanism in the process of charging and discharging of photovoltaic conversion (PC) and energy storage (ES) with titania nanotube-modified Ti wire and aligned MWCNT sheet as two electrodes; (f) Photography of energy fibers woven with each other to form flexible textiles; (g) Chargingdischarging curve with a current of 0.1 µA during the discharging process with the ES part. Reproduced from [188,191] with permissions by ACS Publications, Copyright 2013 and by John Wiley & Sons, Copyright 2014 V. Kaushik, et al.,Textile-Based Electronic Components for Energy Applications: Principles -Review, Problems, and Perspective,Nanomaterials 2015, 5(3), 1493-153
“まとめ”と研究課題 227
まとめ1 228 人間の優れたところは,創造する脳と，それを実体化する“手”にある。この“手” の機能を実現する試みがロボット技術のフロンティアとしていま注目されている。 この触覚の問題点として，ロボット応用での把持操作の観点から，主に以下の ことがあると考える。 1. 接触しないと情報が取れない。このためアプローチ動作では対 象物に衝突させないため低速度での動作となる。 2. 対象物への接触は難しい。センサの柔軟性が低いと均一な接 触が難しく面情報は取りにくい。 3. なぞり動作は難しい。探索動作での接触を保ちながらの動作 は制御が難しい。 4. 伸び，縮み，擦り，打撃などに対する物理的耐久性と，水，油， 薬品などに対する化学的耐久性が必要である。 5. 配線処理をどうするか。表面を被覆する場合，多くの検出素子 を分散配置する必要があり，その配線処理が難しい。
まとめ2 このように触覚の難しさは，ほとんどが接触に関わる。では接 触が真に必要なことは何であるだろう。 1. それは力の計測，硬さの計測等が主たるものである。それ 以外のたとえば形状認識，エッジ検出などは触覚を使わず， 非接触で計測する視覚近接覚に委ねればよいと考える。 2. 触覚は離れると検出できない。たとえば把持操作中に接 触が僅かでもなくなると制御が格段に難しくなる。これは 把持操作では大きな欠点であり，この点，接触が離れても 連続して計測できる近接覚特性を利用する方が合理的で ある。すなわち，触覚サーボより近接覚サーボの方が技術 的に容易と思われる。 3. 触覚センサは高感度に接触を検出できればよいと思う。ま た時間·空間的に高密度で計測できれば素晴らしい。な お圧力強度の分解能は，せいぜい3bit，あるいはそれ以下 でもよいのではないかと思う。 229
まとめ３ 230 1. 把持から操作へ。ハンド内での物体操作が重要になると考える。たとえば マニピュレーションのミスは僅かな把持誤差から生じることが多いため，把 持後の物体の位置姿勢の修正が必要となり，さらにつぎの操作に適した もち直しなどに展開すると思う。このため，握り状態での物体姿勢の検出， 多自由度ハンドによる操りなどの新たな研究開発，また指先に回転機構 を付与して把持物体の姿勢制御を行うような新たな機構付加による把持 操作も面白い。 2. 把持操作はアームの働きが重要である。このためアームとハンドの協調動 作のための統合制御が必須である。その方式として，不確定性に対する 適応性に優れ，高速動作が可能なReactive方式のさらなる発展に期待 したい。 3. 触覚機能を内包する近接覚の開発。接触力検出機能を有する近接覚の 開発と近接覚サーボへの応用，もしくはGelSightのような高空間分解能 触覚も興味深い。 4. 廉価なモジュール型多自由度ハンド。把持研究の進展のためには，kinect の出現が視覚利用の裾野を広くしたように，多くの開発者が簡便に利用 できる多自由度ハンドがあれば良いと思う。
これからの研究課題１ 231 1. 柔軟性，大面積，伸縮性を備えた印刷技術などで製造した安 価なセンサの利用が進むかも知れない。構造体と一体になった 作成も興味深い。但し，耐久性など各種特性については現状 ではまだ未知な点がある。 2. カメラモジュールを用いた高空間分解能型の触覚センサは視 覚情報処理技術との相性もよく，操り制御等への利用が進む かもしれない。 3. 近接覚を基礎とした，触近接覚センサは，一つの発展の方向 性を示すものと思う。 4. 機械学習のロボット技術への応用が急速に進歩している。組 立などハンドを用いた巧緻作業の実現は，社会に大きな革新 をもたらす。特に多指ハンドによる巧緻作業での制御アルゴリ ズムの構築では機械学習が新たなフレームワークとツール提供 するであろう。
これからの研究課題２ 232 5. 多指ハンドの制御では，視覚ベースの機械学習で操りが可能 となってきた。但し，視覚と触覚の協調により，ロバストな，より 高性能な操りが可能となる。操りが可能から，より巧みに出来 るためには視覚，触覚など多角的情報による制御が必要にな るだろう。 6. 巧緻作業を行うハンドは，繊細な動作可能なハンドと，高速高 精度なセンサが統合的に設計されたセンサ一体型ハンドが必 要かと思える。 7. 触覚センサの開発は，目的に応じた機構と情報処理アルゴリ ズムとが一体となったシステムとして作り込むことが必要である と考える。 8. 視覚と触覚，どれを，どのように使うかは，利用可能か否かで はなく，機能性，確実性，簡便性，耐久性，コストなどの観点か ら総合的に判断すべきであろう。
お わ り 233