Chapter 1 입문

1. Chapter9 로봇시각 Chapter1 입문 1 2 9.1 로봇 시각 개요 9.2 시각 장치와 영상 획득 • 로봇에서 시각의 역할 • 시각 기술, 관련 웹 사이트 • 9.2.1 로봇 시각 장치의 구성 • 9.2.2 영상 센서 및 카메라 • 9.2.3 화소의 배열과 깊이 • 9.2.4 영상의 형식 Chapter 9. 로봇 시각 3 4 9.3 기본 영상 처리 기법 9.4 시각 기반 로봇 • 9.3.1 잡음 감소 기법 • 9.3.2 경계의 검출 • 9.3.3 영상의 이진화 • 9.3.4 형태 특징의 추출 • 9.4.1 선형 배열 카메라의 활용 • 9.4.2 양안시와 3차원 계측

2. 9.1 로봇 시각 개요 시각의 중요성 관련 영역 로봇 시각 개요 참고 사이트 연구의 난점

3. 9.1 로봇 시각 개요 • 로봇 시각 (Robot Vision) • - 시각(vision)은 고등 동물에서 가장 중요한 감각기능 • - 시각에 관한 연구는 다양한 학문 분야에서 오래 전부터 연구 • 시각은 활용 및 학문 영역에 따라 Computer Vision, Robot Vision, Machine Vision • 영상신호처리 및 컴퓨터 그래픽스는 시각과 관련되어 있으나 확실히 다른 특질을 가짐 • 시각에 의하여 취득된 영상은 방대한 정보가 모호하게 포함되어 있으므로 이를 처리하고 이해하는 것이 어려움 • - 다양한 웹 사이트 활용 권장 (예제 9.1) • CMU의 Computer Vision Homepage • CV Online • Java Applets Centre • MATLAB Image Processing Toolbox

4. 9.2 시각 장치와 영상 획득 시각 장치의 구성 화소의 배열과 깊이 시각 장치와 영상 획득 센서 및 카메라 영상의 형식

5. 9.2 시각 장치와 영상 획득

6. 9.2 시각 장치와 영상 9.2.1 시각 장치의 구성

7. 9.2.1 시각 장치의 구성 • 광원(light source) • - 카메라가 눈의 역할을 할 때, 빛의 적절한 활용은 영상의 품질과 시각장치의 성능에 지대한 영향을 미침 • - 다양한 형태의 광원이 활용됨

8. 9.2.2 센서 및 카메라 • 영상 센서 • 카메라는 렌즈와 영상 센서, 그리고 하우징으로 구성 • 영상 센서는 빛을 전기적 량(주로 전압)으로 변화시키는 역할 • CCD 및 CMOS가 주로 사용되며, CID는 특성이 좋으나 고가

9. 9.2.2 센서 및 카메라 • CCD 영상센서의 구조 (full-frame transmission type)

10. 9.2.3 화소 배열과 깊이 • 디지털 영상 • 디지털 영상은 이산적인 화소(pixel)들의 배열로 구성 • 영상의 해상도 (resolution)는 화소배열 크기에 의하여 결정. • 즉, 256ⅹ256의 배열은 128ⅹ128 화소배열보다 2배 좋은 해상도 • (예제 9.3(b) 참조) • - 우측 영상은 영상처리 분야에서 기준영상으로 널리 사용되는 Lena영상

11. 9.2.3 화소 배열과 깊이 • 영상의 해상도 • 카메라 선택의 주요한 요소는 해상도 • 동일한 대상을 얼마나 조밀하게 표본화(sampling)하는가의 문제 • 일반적으로 높은 표본화율이 좋지만, 활용목적을 초과하는 해상도는 과도한 계산비용을 초래

12. 9.2.3 화소 배열과 깊이 • 영상의 깊이(depth) • 하나의 화소값을 표현하기 위한 bit 수 • 화소의 깊이는 영상센서출력의 ADC에 의한 이산화, 양자화의 문제 • 화소값은 주로 1byte, 즉 8bits로 표현하며, 이는 256단계의 화소값 범위 • 즉, 흑백영상에서 한 화소의 밝기값(gray level)은 0~255사이

13. 9.2.4 영상의 형식 • 영상의 형식 • 이진 영상(binary image)는 절대적 명(1)과 절대적 암(0)만으로 구성 • 대부분 물체와 배경을 구분하기 위한 용도로 로봇시각에서 널리 사용 • 흑백 영상(gray image)에서는 한 화소의 값을 0~255까지 darkest와 brightest 사이 256단계로 나누어 표현 • 컬러 영상(color image)에서는 화소의 Red, Green, Blue값들이 각각 256단계를 가짐. [R,G,B]컬러영상은 [H,S,I]로 변경가능 (식 9.1~3) 이 경우에는 색채(H와 S)를 밝기(I)와 분리가능

14. 9.3 기본적인 영상처리 기법 영상의 이진화 영상내 잡음 감소 기본적인 영상 처리 기법 영상의 특징 추출 경계의 검출

15. 9.3 기본적인 영상처리 기법

16. 9.3.1 잡음 감소 기법 • 잡음 • 영상의 획득 및 전송과정 중에 잡음(noise)의 가능성 • 잡음은 주변 값과 현저하게 다른 값 • - 예를 들어 아래와 같은 일차원 데이터 배열에서 200은 잡음 • …100 101 99 100 200 99 101 … • - 좌측 영상 화소 배열에서 200은 (a)의 경우에는 잡음, (b)의경우는 비잡음 (a) (b)

17. 9.3.1 잡음 감소 기법 • 잡음의감소 기법 (1차원 데이터 배열) • 잡음 감소를 위한 쉬운 방법은 모든 데이터들을 주변값과 평균 • - 예를 들어 다음과 같은 일차원 데이터 배열에서 각 값들을 3개씩 평균하면, 다음과 같이 큰 잡음이 작게 변하지만 주변으로 번짐 • …101 99 100 200 99 101 … • => … 100 133 133 133 … • 위에서 100=(101+99+100)/3 • 만약 평균하는 데이터의 개수를 늘리면 잡음은 더욱 감소하지만 번짐현상도 더욱 넓어지는 딜레마 • 이와 같이 두드러진 부분이 작아지고 번지는 현상은 영상의 또렷함을 감소시키는 Blurring현상 • 만약 평균하지 않고 중간값(median)을 선택하면 아래와 같이 Blurring은 막지만, 크기를 비교하기 위한 절차때문에 일반적으로 시간이 더 소요됨 • => … 100 100 100 101 …

18. 9.3.1 잡음 감소 기법 • 잡음의감소 기법 (2차원 화소 배열) • 2차원 화소 배열에서 평균법과 중간값 필터의 사용은 아래 그림과 같은 결과를 얻음, 단 3x3의 화소들이 처리된다고 가정

19. 9.3.2 경계의 검출 • 경계(edge) • 경계는 영상의 특성이 급격히 달라지는 부분, 즉 흑백영상에서는 화소의 밝기, 컬러영상에서는 색채가 급격히 달라지는 부분 • 경계는 영상내 물체들의 외곽 등을 의미하므로, 영상을 해석하는데 중요한 단서 • 특정화소 주변의 값들이 어느 임계치 이상 변화하면, 그 화소를 경계화소로 생각할 수 있음 • 검출위해 아래 그림과 같은 Sobel 마스크(mask)가 널리 사용됨. 즉, 특정화소의 상측 3화소들과 하측 3화소들이 크게 차이가 나거나(|Gi|>T), 혹은 좌측 3화소들과 우측 3화소들이 큰 차이를 보일 때(|Gj|>T), 그 화소는 경계. 단 상하좌우 화소는 2배 가중

20. 9.3.2 경계의 검출 • 경계 검출(edge detection) • 아래그림의 3x3 마스크내 163의 값을 가지는 화소는 경계인가? (예제 9.7)

21. 9.3.2 경계의 검출 • 경계 검출에서 임계치 • 임계치는 경계 검출에서 중요한 요소. 너무 크면 많은 경계화소를 잃게 되고, 너무 작으면 불필요하게 많은 화소들이 경계에 포함됨 • 아래두 그림에서 임계치가 크게 설정된 결과는 어느 쪽인가? (a) (b)

22. 9.3.3 영상의 이진화 • 이진 영상(binary image) • 이진영상은 화소들의 값이 0, 혹은 1만 가지는 간단한 형식 • 대부분 배경과 로봇 작업의 대상을 구분하기 위해 사용 • 열쇠 흑백 영상(gray image)에서, 화소들의 밝기 분포를 히스토그램(histogram)으로 나타내면 아래 우측 그림. 배경은 어두우므로 0 부근의 값, 열쇠는 상대적으로 밝아 대체로 70이상

23. 9.3.3 영상의 이진화 • 이진 영상(binary image) • 특정 임계치(T) 이상의 화소들과 이하의 화소들을 구분하여 이진으로 영상을 표현하면 아래 그림 • 이진 영상에서 임계치의 결정이 중요하며, 이는 흑백 영상의 히스토그램 해석에 의하여 적절하게 결정될 수 있음

24. 9.3.4 영상의 특징 추출 • 영상의 특징과 모멘트 • 영상내 물체들의 특징을 추출하는 작업은 인식(identification)과분류(sorting)와 같은 작업뿐 아니라 장면을 이해하는 기본 • 물체의 특성은 컬러, 밝기, 크기, 중심, 형태등 • 이진 영상의 형태 특성은 모멘트(moment)를 사용하면 편리 • 이산 배열의 모멘트는 • 물체의 면적(화소수)=m00 • 무게중심좌표=(m10/m00, m01/m00)

25. 9.4 시각 기반 로봇 카메라 모델링 선형 배열 카메라 시각 기반 로봇 3차원 계측 양안시 모델

26. 9.4 시각 기반 로봇

27. 9.4.1 선형 배열 카메라의 활용 • 선형 배열 카메라(Linear Array Camera) • - 물체가 움직일 경우 카메라 영상은 대체로 흐려짐 • 선형 배열 카메라는 보통의 2차원 센서배열을 가지는 카메라와는 달리 1차원 센서배열을 가짐 • 선형 카메라와 물체 사이에 상대적인 움직임이 있을 경우 선모양으로 얻어지는 출력을 모아서 2차원 영상을 만들 수 있음

28. 9.4.1 선형 배열 카메라의 활용 • CONSIGHT • 1970년대 후반 GM은 선형 배열 카메라를 컨베이어 벨트위의 자동차 부품 pick-up 작업을 위해 사용

29. 9.4.1 선형 배열 카메라의 활용 • CONSIGHT 2개의 light source를 카메라 앞뒤에서 사용한 경우

30. 9.4.2 양안시와 3차원 계측 • 바늘구멍 카메라 모델(pin-hole camera model) • 카메라는 3차원 세계를 2차원 영상으로 변환하는 기기 • 모든 광선이 영상센서 앞 f거리에 있는 바늘구멍을 통과한다고 가정하는 간단한 카메라 모델 • 바늘구멍에 원점이 있는 3차원 좌표계에서 정의되는 한 3D 점 Pc=(Xc,Yc,Zc)는 바늘구멍 모델에 의해 영상점 (u,v)에 대응: u=-f(Xc/Zc), v=-f(Yc/Zc)

31. 9.4.2 양안시와 3차원 계측 • 양안시(stereo vision)에 의한 3차원 계측 • 카메라는 (Xc,Yc,Zc)를 (u,v)에 유일하게 대응시키지만, 그 역(즉, 2D->3D)는 일대다 대응으로 유일한 3D점 결정불가 • 만약 하나의 3차원 점을 두 대의 카메라에서 관측하는 경우 3D 점의 위치는 유일하게 결정됨. • 즉, (u1,v1),(u2,v2) -> (Xc,Yc,Zc)는 가능 (Xc,Yc,Zc) (u1,v1) (u2,v2)

32. 9.4.2 양안시와 3차원 계측 • 3D 계측을 위한 상업적인 양안시 장치