大阪工業大学　情報科学部　情報科学科 Q06-080 　田中唯太

全方位カメラと画像認識技術を用いた電子ペンに関する研究全方位カメラと画像認識技術を用いた電子ペンに関する研究大阪工業大学　情報科学部　情報科学科 Q06-080 　田中唯太

電子ペンについて ■筆記内容の電子化で様々なサービスを提供

①外部装置方式 外部装置外部装置のセンサ類が筆跡を検出する図1　ペンてる　airペンmini ⇒現在のペンの位置を検出　連続して筆跡を記録 ⇒外部装置は使用時に煩わしい 3 /15

位置情報が 書かれている専用用紙図2.1　アノトパターン ②アノト方式専用用紙の細かいパターンから筆跡を再現図2nokiaSU-27W ⇒現在のペンの位置を検出　連続して筆跡を記録 ⇒専用用紙は値段が高い

電子ペンの課題 1）外部装置⇒　使用時に煩わしい 2）専用用紙⇒　ランニングコストを増大させる ⇒「外部装置」も「専用用紙」も使わない電子ペンを開発するではペン先の座標をどのように求めるか

考え方 ■人間は周囲の情報から位置判断できる ⇒　周囲の情報から現在の座標を検出できないか？

半球ミラー 半透明パイプ図3　画像認識技術 Webカメラ解決策・周囲の情報を得る　⇒　全方位カメラ画像認識技術・情報から座標を検出する　⇒　 ⇒　全方位カメラと画像認識技術を用いた電子ペンを提案

システム外観 画像処理ソフトウェア全方位カメラ角角角角角の情報を用いる 8 /15

画像処理ソフト 全方位カメライメージデータ入力 ①キャリブレーション機能 ② 領域判定機能 ③座標割り出し座標データ　出力

①カメラキャリブレーション 全方位を含むイメージデータ全方位カメラ　より取得したイメージデータ ■　画像認識に適した形に変換

②領域判定 ■　紙領域の判定抽出キャリブレーション後の画像　⇒　2値画像領域の抽出　⇒この中から紙の領域を探す

②領域判定 面積が最大になる領域を紙の領域と仮定する ⇒距離画像を用いる最大輝度最大輝度の座標を含む領域を紙の領域とする

②領域判定 最大輝度の座標を用いて　紙の領域を定める ⇒角を検出する　

③座標割り出し 角の情報を用いてペン先の座標を割り出す

左中央　中央　右下上各線分の長さよりペン先の座標を検出

実験電子ペンの機能を試作Ａ4の用紙を使用（210×297）実験①　座標の検出の正確さ・実際の座標との誤差が±2ｃｍ以内の検出を正確とし 30回中、何回あるかを調べた実験①の結果　30回中８回検出できた ⇒約26％で正確であった

上方向 cm 上方向 cm 右方向 cm 右方向　結果右方向 cm 上方向　結果実験②　動きの検出上方向、右方向にそれぞれ10ｃｍペンを動かした。検出した座標(x,y)の軌跡を1cmごとに記録する。実験②の結果結果を次に示す。

評価 ①あるていど大まかな位置を検出できるものの誤差が大きい ②動きの方向については検出が可能である ⇒　環境による影響が大きい座標検出に課題が残る今後の発展次第では電子ペンとして使用が可能

今後の課題 ■より実際に近い筆跡の再現を可能にする　・多種のセンサを追加　　例）加速度センサで傾きの検出　 ■座標検出精度の向上・環境の変化に対応できる画像処理ソフトの研究　　

ご静聴ありがとうございました

大阪工業大学 情報科学部 情報科学科 Q06-080 田中 唯太