1 / 98

光學攝影機之檢測及定位系統

教 育 部 顧 問 室 半導體與光電產業先進設備人才培育計畫. 光學攝影機之檢測及定位系統. 吉浩電子工業股份有限公司 顧問 韋子祈. 中 華 民 國 一 零 一 年 九 月 二十六 日. 大綱. 緒論 機器視覺介紹 色彩學 型態學 定位系統介紹 範例 1 ：料件到位檢查系統 範例 2 ： CCD 量測 FOV 系統 範例 3 ：雙攝影機定位系統 消費型數位相機相關技術 相機基本常識 相機會發生的影像品質問題. 緒論. 影像處理是在目前業界非常熱門也需要的一環 在自控的領域中，控制雖然是相當重要的部分，但就自動化的過程中是需要很多檢測去相輔相成

maris-garcia
Download Presentation

光學攝影機之檢測及定位系統

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 教 育 部 顧 問 室 半導體與光電產業先進設備人才培育計畫 光學攝影機之檢測及定位系統 吉浩電子工業股份有限公司 顧問 韋子祈 中 華 民 國 一 零 一 年 九 月 二十六 日

  2. 大綱 • 緒論 • 機器視覺介紹 • 色彩學 • 型態學 • 定位系統介紹 • 範例1：料件到位檢查系統 • 範例2：CCD量測FOV系統 • 範例3：雙攝影機定位系統 • 消費型數位相機相關技術 • 相機基本常識 • 相機會發生的影像品質問題

  3. 緒論 • 影像處理是在目前業界非常熱門也需要的一環 • 在自控的領域中，控制雖然是相當重要的部分，但就自動化的過程中是需要很多檢測去相輔相成 • 為了確保產品的品質，也是有很多檢測是需要在產品製作完成後去做檢查，確定產品正常 • 其實影像處理與自動化離各位同學並不是遙不可及，您也可以在家發揮創意動手試看看 • 希望可以藉由這堂課來引起同學們對影像處理、自動化檢測的興趣

  4. 機器視覺介紹 • 機器視覺是配備有感測視覺儀器（如自動對焦相機或感測器）的檢測機器，其中光學檢測儀器佔有比重非常高，可用於檢測出各種產品的缺陷，或者用與判斷並選擇出物體，或者用來測量尺寸...等 • 應用在自動化生產線上對物料進行校準與定位。是計算機視覺中最具有產業化的部分，主要大量應用於工廠自動化檢測及機器人產業等。 • 視覺系統檢測生產線上的產品，決定產品是否符合品質要求，並根據結果，產生相應的信號輸入上位機。圖像獲取設備包括光源、攝像機等

  5. 機器視覺介紹 • 圖像處理設備包括相應的軟體和硬體系統；輸出設備是與製造過程相連的有關系統，包括可程式控制器和警報裝置等。 • 機器視覺系統是指用電腦來實現人的視覺功能，也就是用電腦來實現對客觀的三維世界的識別。 • 按現在的理解，人類視覺系統的感受部分是視網膜，它是一個三維採樣系統。

  6. 色彩學之顏色分割 • 顏色分割(color segmentation)簡單來說就是判斷出影像中的所有顏色，並做出分類，最基本的方式就是將影像的顏色長條圖(Color histogram)裡作多重閥值設定，將所要偵測的特定顏色區域從影像中擷取出來。

  7. 顏色分割 • 相機抽色特效

  8. 色彩空間 • 但在RGB space裡定義的影像顏色會因為環境光源強弱影響的關係而有深淺的變化，因此許多研究就採用對環境光線強弱影響較不敏感的色彩空間來對顏色做分割，以下是顏色偵測常用的色彩空間： • 1. 正規化RGB (Normalized RGB) 對R與G 予以正規化，就能使R 與G 對光線的靈敏度減少，其公式為： 將正規化後的數值代替原先的RGB space，就能使顏色對環境光源的影響度減少。

  9. 色彩空間 • 2. HSL 在HSL色彩空間中，H代表色度(Hue)，S代表飽和度(Saturation)，L則代表亮度(Luminance)。HSL最大的優點為分離了影像中色彩和亮度的部分，對於顏色分割有很好的效果，

  10. 色彩空間 • 3. YCbCr Y、Cb、Cr分別為一個亮度元素(Luminance)Y以及兩個彩色素Cb(Blueness)與Cr (Redness)，YCbCr與R、G、B之間的關係如下： YCbCr 也是利用亮度與色度分離的關係來做為做顏色分割

  11. 形態學 • 機器視覺的影像在經過色彩學的分析以後，通常是無法直接就能取得所要抓取的物體位置及區塊，必須要再進一步的透過形態學作更進一步的分析以來取得要抓取的物體。人眼在形態學的分析中，最基本的有： • (1) 相似律：人眼的認知下相似的物體會自動將其歸納。 • (2) 連續律：看似連續的物體會自動將其連續為一體。 • (3) 封閉律：看似封閉的物體會自動將其封閉為一體。 • (4) 鄰近律：鄰近的物體會自動將其歸納為一類。

  12. 形態學 • 收縮(erosion)：影像A被結構元素B收縮，記為 。其結果使影像中的物體向內縮小。 • 膨脹(dilation)：影像A被結構元素B膨脹，記為 。其結果使影像中的物體向外膨脹。 • 開運算(open)：A被B所開啟，相當於先收縮再膨脹。以 來表示，其運算相當於{Minimum、Maximum} 。 • 閉運算(close)：A被B所關閉，相當於先膨脹再收縮。以 來表示，其運算相當於{Maximum、Minimum } 。

  13. 定位系統介紹 • 1. 電阻式每一層的內表面均鍍有透明性的金屬物薄膜，當手指壓著柔軟的頂層膜時，將在電阻層間產生電接觸，形成關閉成為其開關。

  14. 定位系統介紹 • 2. 電容式導電性或手指頭觸碰面板時將電場的每個角端處導引電流產生，並引發電壓降，再經由電壓降的測量，在決定出觸碰地方的位置座標

  15. 定位系統介紹 • 3. 紅外線式是利用光束中斷效應，而達到定出座標位置，其結構是將格子狀網版貼附於面板，而此一格子狀是由一排發光二極體的光源以及另一排光感測器，並在面板上形成格子網的交叉狀分佈。

  16. 定位系統介紹 • 4. 超音波式轉能器放射出超音波頻率，這些音波將交叉地反利用放置於玻璃邊緣射而成為感測器所偵測，當手指觸碰面板時，將吸收聲音波能量，而控制將測量到音波的振幅變化，並進行決定其觸碰的位置。

  17. 定位系統介紹 • 5. 影像式影像式觸控螢幕的工作原理是利用攝影機來抓取影像訊號，再將影像訊號進行處理，根據處理完後的資訊判斷所要偵測物件的位置。本文主要是介紹利用影像式感應器，偵測移動物體來測量移動物體的位置，以應用於復健運動系統。

  18. 定位系統介紹

  19. 實驗的器材如圖所示：連接用PLC一台、KINYO攝影機、待測物數個、BCB軟體實驗的器材如圖所示：連接用PLC一台、KINYO攝影機、待測物數個、BCB軟體 範例1：料件到位檢查系統

  20. 範例1：料件到位檢查系統 用CCD去偵測待測料件是否到位，如果有到位則顯示指定區域的PLC燈號，送出ON信號 如果沒有到位則PLC燈號熄滅，變成OFF，好讓在生產線上的接下來要處理的機器先暫時不要動作

  21. Field Of View(FOV)為攝影機中的性能參數之一，根據此性能的大小，我們可以知道該攝影機的畫面所拍攝到的視野大小。 FOV的大小取決於鏡頭的放大能力，所以此參數在望遠鏡上也常常會看到。 FOV的單位是由degree來表示，假設今天該鏡頭的FOV=45，即代表該鏡頭的視角有45度。 範例2：CCD量測FOV系統

  22. 實驗的器材如圖所示：IAIDS Slider一台、KINYO攝影機一台、5公分黑色膠帶、白色背景 範例2：CCD量測FOV系統

  23. 將攝影機固定，放置於Slider上，藉由在Slider在0mm所拍到的5公分膠帶長度，然後退到150mm後所拍到的膠帶長度作比對，最後得到該攝影機的FOV值將攝影機固定，放置於Slider上，藉由在Slider在0mm所拍到的5公分膠帶長度，然後退到150mm後所拍到的膠帶長度作比對，最後得到該攝影機的FOV值 範例2：CCD量測FOV系統

  24. 程式開啟時即會打開攝影機，當我們將硬體設備架構完成之後，按下”量測開始”的按鈕即可。程式開啟時即會打開攝影機，當我們將硬體設備架構完成之後，按下”量測開始”的按鈕即可。 人機介面

  25. 系統流程

  26. 實驗的器材如圖所示：兩個CCD、一個待測元件、一個純色背景實驗的器材如圖所示：兩個CCD、一個待測元件、一個純色背景 範例3：雙攝影機定位系統

  27. 首先在白色的背景屏幕，根據兩個CCD的中心位置劃上一個小圓圈首先在白色的背景屏幕，根據兩個CCD的中心位置劃上一個小圓圈

  28. 開啟程式開啟攝影機並選取閥值

  29. 如果該元件有在小圈圈裡面（有對到X-Y軸中心點）則顯示正常訊息如果該元件有在小圈圈裡面（有對到X-Y軸中心點）則顯示正常訊息

  30. 反之如果沒有在圈圈內，則顯示警告，代表元件並沒有到定位反之如果沒有在圈圈內，則顯示警告，代表元件並沒有到定位

  31. 範例3：雙攝影機定位系統 • 在硬體架構方面，將強化玻璃或壓克力包覆在液晶螢幕上，搭配使用可以自由升降之平台。 • 使用雙CCD來偵測患者的手所擺放之位置，利用所偵測到的座標，來決定患者是否依照復健課程進行正確的復健動作，以達到患者與復健遊戲間之互動關係。

  32. 範例3：雙攝影機定位系統 • 在選用的控制器方面，依照所需要訓練的重量，使用銅製或鋁製的圓形握把，讓患者來抓取、移動控制器。系統會利用雙CCD去偵測取得控制器下方特徵色的座標位置，最後藉由LUT對照偵測到的位置。

  33. 範例3：雙攝影機定位系統 • 訓練遊戲項目示意圖

  34. LUT法(look-up table) • 雙攝影機空間位置定位法是利用查找表(Lookup table, LUT)的方法，在影像處理中，查找表主要是將索引值與輸出值建立連結關係，利用LUT法，依據攝影機拍攝的特徵點座標，與實際位置的座標作連結。此方法的優點為計算速度快，適合應用在需要即時處理的定位需求。 • 本論文完成物體擺位復健系統，其中包括研究使用雙CCD定位，擺位系統開發及對應之互動基礎訓練課程的開發撰寫，利用手部的擺放動作與電腦程式做互動，讓使用者可由遊戲的方式同時達到復健的效果，並可記錄使用者的基本資料及動作的反應時間等資料。

  35. LUT法(look-up table) • 根據左右兩邊的攝影機所拍攝到的畫面，定義了攝影機負責區域。

  36. LUT法(look-up table) • 產生4-LUT表資料庫方法一：將固定範圍分成數百個方格，並測量出這些方格的實際座標位置，在用攝影機擷取出拍攝畫面，利用固定範圍上的實際座標與攝影機擷取畫面的座標來建立連結關係，定義出空間位置LUT表。

  37. LUT法(look-up table) • 產生4-LUT表資料庫方法二：首先一開始預先使用程式設定將螢幕劃分為M*N 個等間格的矩陣方格，換言之，其矩陣方格的每個交點座標的實際位置都是已知的。

  38. LUT法(look-up table) • 接下來使用程式將螢幕上顯示為純色，再由其中一側開始依序自動顯示<a>攝影機所負責區域之方格交點十字。

  39. LUT法(look-up table)

  40. LUT法(look-up table) • 校正較近區塊時：因為兩點校正點之間還會有相當多的資訊未被指派，在此我們使用內插法直接將LUT表中不足的點數補齊。其公式如下式所示

  41. LUT法(look-up table) • 校正遠方的區塊時：因受限於攝影機解析度，當校正點互相距離過近時，有可能造成誤判此校正點移動方向不合理或者座標相同，當出現此情形時，程式將設定把兩校正點所對應的LUT表數值設定為與上一校正點相等。如下所示：

  42. LUT法(look-up table) • 產生4-LUT表資料庫方法三：與方法一所做出來的結果來作分析，我們發現拍到的影像當中，x軸的關係與實際坐標的y軸有線性對應的關係

  43. LUT法(look-up table) • 產生4-LUT表資料庫方法三：同樣使用方法一所做出來的結果對x′的方向來作分析，拍到的影像當中，y軸的關係與實際坐標x′軸有二次函數以上的曲線對應關係。

  44. 4-LUT產生步驟 • 產生4-LUT之前必先將攝影機調整端正，使其能夠拍到完成螢幕的最上方和最下方，並保持水平。

  45. 4-LUT產生步驟 • 切換上方的畫面切換選單至CCD Range內，依照下圖的方式，依序點出第1至第6個點，定義出攝影機所拍攝到的位置，如圖所示。 • 攝影機A及攝影機B皆要作相同的設定

  46. 4-LUT產生步驟 • 利用4-LUT表找出其對應的座標<a>攝影機 <b>攝影機

  47. 4-LUT產生步驟 • 四個矩陣可能出現的數值類型意義說明

  48. 雙攝影機系統運作流程

More Related