視覚フィードバック制御の現状と今後の展望

1. 視覚フィードバック制御の現状と今後の展望 第31回制御技術部会研究会 「視覚を持った機械」 2003年11月21日 金沢大学　藤田政之 URL http://www-fujita.ee.t.kanazawa-u.ac.jp/paper/2003/vision.pdf

2. はじめに 視覚フィードバック制御とは？ Control （機械＋視覚情報）×制御 機械を知的にするには 豊富な情報が必要 （Information Rich） Vision Robotics アウトライン • 視覚情報処理と推定・制御 • 視覚フィードバック制御（アプリケーション） • ロボットの視覚フィードバック制御 • 　　　　　　　　　　（ビジュアルサーボイング） • 視覚フィードバック制御の展望

3. 視覚情報処理と推定・制御 • A. Tannenbaum（Georgia Tech）らの提案している • Controlled Active Vision • 　制御とコンピュータビジョンの統合 • 　ロバスト制御に基づく形状と物体の認識問題 • 遠隔操作された移動体に対する自動ターゲット認識 • 医療用画像（MRI や CT）への適用 図：大脳皮質性の表面（左）と平滑化した表現（右）

4. 視覚情報処理と推定・制御 画像の平滑化と増進, 画像の分割, 構造, ノイズ除去, 形状の認識, エッジ検出のアル ゴリズム, オプティカルフロー, 変形する輪郭(snakes), 陰影から の形状認識にも利用可能 さらに, ロバスト制御と画像処理の 系統だてられた結合 図：脳のたわみの表示 形状と物体の認識問題から （外乱の存在する）追従問題へ • 眼球の動きに対する追従問題など（マン・マシンインターフェース）

5. 物体の動きと形状の推定（視覚情報処理と推定・制御）物体の動きと形状の推定（視覚情報処理と推定・制御） コンピュータビジョン（Computer Vision） • 2 次元情報から 3 次元情報を • 　復元するための学問 • 復元するべき視覚情報はタスクに • 　大きく依存する 図：Structure from Motion • B. K. Ghosh（Washington Univ.）らは, 対象を剛体運動よりも • 　一般的な運動モデルとした推定問題を定式化し, CCDカメラと • 　レーザー照準機を併用した推定則を提案 • S. Soatto（UCLA）らは, 対象の動きから対象の 3 次元構造を • 　推定する問題を微分幾何的に捉えて研究

6. 視覚情報処理と推定・制御 アクティブビジョン（Active Vision） カメラを積極的に動かし, 視覚情報より 3 次元空間での 物体の大きさや物体までの距離などを復元する • M. Sznaier（Penn. State Univ.）らは Active Vision を実現する • 　システムは, モデルキャリブレーション誤差や推定誤差に対する • 　ロバスト性が欠如していることを指摘 LPV アプローチによる 制御則の提案 LMI を用いたロバスト制御系設計が可能 図：Active Vision システム

7. 視覚情報処理と推定・制御 • M. Ishikawa（Univ. of Tokyo）らは高速な Visual Tracking の • 　実現を可能にする 1ms 高速ビジョンを開発 図：1ms 高速ビジョンによる Visual Tracking

8. 移動ロボット（視覚情報処理と推定・制御） • 壁や物体の大きさ・距離の認識と推定 • ステレオカメラと全方位レーザー照準機 移動ロボットの ナビゲーション 図：特徴量の例 図：移動ロボット（MARVIN） （Technische Universität München）

9. NEW • 自動車の自動操縦（移動ロボット） • T. Kanade（Carnegie Mellon Univ.）らの移動ロボット 走行路の認識と障害物の認識 （大学に隣接している公園内の散策路を自然のままに利用することを設定） • 道路の中心線の位置と方向を画像から直接推定 • 障害物認識は, レーザ光 • 　（レーザ・レンジファインダ） • 　により, 通過可能領域と • 　障害物に分類 図：Navlab 1 図：Navlab 11

10. NEW • 自動車の自動操縦（視覚フィードバック制御） • E. D. Dickmanns らによる Autobahn（highway）における自動操縦 • 実用面における • 　安全性の重視 図：複数のカメラを搭載した自動車 図：道路軌道の認識と障害物の確定

11. 自動車の自動操縦（視覚フィードバック制御）自動車の自動操縦（視覚フィードバック制御） • UC Berkeley の PATH（Partners for Advanced Transit and Highways）プロジェクト • 白線軌道の認識 • 白線軌道における • 　曲線の推定 図：白線軌道 白線軌道に沿うように操舵角を決定 図：ステレオカメラと自動車 図：Hands Free Driving

12. 自動車の自動操縦（視覚フィードバック制御）自動車の自動操縦（視覚フィードバック制御） 自動車のモデルは, いくつかの仮定のもとで線形（もしくはLPV） システムとして表される x: 車速など u: 操舵角 w: 道路軌道の変化 • 画像面上の特徴量に基づく制御 白線（特徴量）のカメラ画像面における 中心からのズレの総和 外乱 w • 特徴量からの推定に基づく制御 外乱 w 推定された白線の曲率 外乱抑制問題とみなすことで, すでに体系付けられた ロバスト制御系設計が可能

13. NEW • 自動車の自動操縦（視覚フィードバック制御） • 白線認識による自動車の自動操舵 図：実験デモ（金沢大学）

14. 無人ヘリコプターの自動着陸（視覚フィードバック制御）無人ヘリコプターの自動着陸（視覚フィードバック制御） • S. Sastry（UC Berkeley）らの UAV（Unmanned Aerial Vehicle）の自動着陸 J. Hespanha（UCSB）, Y. Ma（Univ. of Illinois at U.C.）, S. Soatto（UCLA）, J. Kosecka（George Mason Univ.） etc. • 着陸地点の認識, 機体と着陸地点の相対的な位置姿勢の推定 • 飛行モードの切り替えによるハイブリッドシステム 図：Unmanned Aerial Vehicle 図：Landing Pad

15. 無人ヘリコプターの自動着陸（視覚フィードバック制御）無人ヘリコプターの自動着陸（視覚フィードバック制御） • 視覚による目標地点までの軌道計画（上位のコントローラ） • 状況（飛行モード）にあわせた軌道計画　　　　ハイブリッドシステム コントローラの階層化とセンサの融合 下位 中位 上位 図：自動着陸のシミュレーション 図：コントローラの階層構造

16. NEW • 飛行船の自動操縦（視覚フィードバック制御） • 視覚情報による画像面上での位置姿勢制御 図：実験デモ（金沢大学）

17. ロボットの視覚フィードバック制御（ビジュアルサーボイング）ロボットの視覚フィードバック制御（ビジュアルサーボイング） 静的な視覚フィードバック制御（初期の制御法） 画像入力,　特徴抽出,　特徴理解,　軌道計画は 動作開始前に一度しか実行されない 動的な視覚フィードバック制御（現在の制御法） ビジョンセンサをフィードバックループの中に 組み込んだ制御法．目標値入力の違いによって • 　位置ベース法 • 特徴（画像）ベース法 の２つに大別される[HuHaCo96] [HuHaCo96] S. Hutchinson et al., “A Tutorial on Visual Servo Control,” IEEE Trans. on Robotics and Automation, vol. 12, no. 5, 1996.

18. ＋ 特徴ベース 制御器 タスク の実行 目標 特徴量 ロボット ー 現在 特徴量 カメラ 特徴抽出 • 画像ベース法（ビジュアルサーボイング） 画像面での特徴量（領域の面積や中心位置など）を フィードバックしてロボットを制御する方法 画像を理解する必要がないため扱いやすい反面, タスク空間での振る舞いが未知[HuHaCo96] [HuHaCo96] S. Hutchinson et al., “A Tutorial on Visual Servo Control,” IEEE Trans. on Robotics and Automation, vol. 12, no. 5, 1996.

19. ＋ タスク の実行 目標 位置 ロボット制御器 ロボット ー 現在 位置 ジョイントサーボ 特徴理解 カメラ 特徴抽出 • 位置ベース法（ビジュアルサーボイング） 視覚情報から観測対象とロボットの手先との３次元で 相対的な位置と姿勢を推定することにより制御する方法 タスク空間での振る舞いを直接扱うことができるが 特徴理解のための計算時間が必要[HuHaCo96] [HuHaCo96] S. Hutchinson et al., “A Tutorial on Visual Servo Control,” IEEE Trans. on Robotics and Automation, vol. 12, no. 5, 1996.

20. NEW • ロボットの視覚フィードバック制御（ビジュアルサーボイング） • 視覚情報による位置姿勢制御 図：実験デモ（金沢大学）

21. ① ② ④ ③ ① ② ③ ④ ② ① ③ ④ • 近年における問題の一例（ビジュアルサーボイング） • 大域的安定性（Chaumetteの問題） 画像ベース法では, 初期値が目標値に対して光軸方向に180° 回転していると, カメラが無限遠点まで離れていってしまう 図：初期値 図：目標値 図：画像面上での軌道 • カメラ視野（Field of View） 特に位置ベース法では, 画像面上で偏差をとっていないため, 観測対象がカメラ視野から外れる可能性がある これらの問題に対して, 様々な手法が提案されている

22. 生物細胞へのDNA自動注入（ビジュアルサーボイング）生物細胞へのDNA自動注入（ビジュアルサーボイング） B. J. Nelson（ETH）らによる DNA 自動注入システム • ピペットの先端と細胞の認識 • 画像面での偏差に基づく, • 　細胞近傍までの位置決め • テレオペレーションによる • 　ピペットの細胞への挿入 画像ベース法による 視覚フィードバックと テレオペレーションの ハイブリッド制御 図:注入の様子（上）とマイクロロボット（下）

23. 医療支援ロボット（ビジュアルサーボイング）医療支援ロボット（ビジュアルサーボイング） G. Hirzinger（DLR）らによる医療支援ロボット • 腹腔鏡（内視鏡カメラ）による外科手術 • 鉗子のカラーマークの抽出 腹腔鏡（カメラ）に鉗子を追従 させることで, 術者の視野を 自動的に確保（ストレスの軽減） 図:腹腔鏡による手術 図:鉗子のカラーマーク（左）と抽出後（右） 図:腹腔鏡把持ロボット

24. 視覚フィードバック制御の展望 • Univ. of Pennsylvania の MARS(Multiple Autonomous Robots)プロジェクト • Omni-direction(全方位カメラ)による自律移動ロボット • 単体の制御から複数台の協調制御へ • 相互のコミュニケーションを図るためのネットワーク制御 図:Unmanned Ground Vehicles の協調制御

25. 視覚フィードバック制御の展望 • S. Sastry（UC Berkeley）らの BEAR（Berkeley AeRobot）プロジェクト • Cooperative Control & Multi Agent • Hybrid System & Embedded Software • Networking & Communication • Strategy Planner & • Model Predictive Control UAV UGV(Evader) UGV UGV UGV 図:UAVとUGVの協調制御 図:協調制御における階層構造

26. 視覚フィードバック制御に関する会議と特集号の一部視覚フィードバック制御に関する会議と特集号の一部 会議 • IEEE Int. Conf. on Robotics and Automation, 1991. • （Sessions on Visual Servoing） • Block Island Workshop on Vision and Control, 1997. • SICE 制御部門大会前日のワークショップ「視覚と制御」, 2001. • SICE 第31回制御技術部会研究会「視覚を持った機械」, 2003. 特集号（ロボットの視覚フィードバック制御） • IEEE Transaction on Robotics and Automation, Vol.12(5), 1996. • “Special Section on Vision-based Control of Robot Manipulators” • IEEE Robotics and Automation Magazine, Vol.5(4), 1998. • “Special Issue on Visual Servoing” • SICE 計測と制御, Vol.40(9), 2001. • “ミニ特集　ビジュアルサーボイング”

27. おわりに Control 機械を知的にするために 必要なのは豊富な情報 Information Rich Cooperative Control （（機械＋視覚情報）×制御）n ×制御 Robotics Vision • Cooperative Control & Multi Agent • Hybrid System & Embedded Software • Networking & Communication • Strategy Planner & Model Predictive Control URL http://www-fujita.ee.t.kanazawa-u.ac.jp/paper/2003/vision.pdf