2007.11.27

1. Probe !! (스테레오 비전을 이용한 영상 정합) www.synch3d.com 2007.11.27 졸업작품15조 김형균

2. Probe!! • 스테레오 정합은? 스테레오 정합은 인간 시각 체계의 거리 추출 능력을 자동화하기 위한 컴퓨터 비전 분야 중 하나이다.

3. Probe!! • 스테레오 영상 정합 문제의 해결 방법에 따른 분류 • 특징기반(feature-based) • 정합 요소 : 교차점, 경계선, 모서리, 마루, 골, 원추 곡선 등 • 설 명 : 정합 점이 정확하고 잡음에 강한 특징을 가지나, 정합 되어지는 점들이 적으므로 전체 영상의 변위값을 구하기 위해서는 폐색 모델링과 변위연속성등을 포함하는 어려운 보간과정을 필요로 하게 된다 • 영역기반(area-based) • 정합 요소 : 밝기 정보의 변화가 평탄하거나 동일한 영역의 모양, 평균 밝기 및 면적 등 • 설 명 : 밝기 정보에 많이 의존하기 때문에 잡음에 약한 면이 있지만 영상의 전체 거리 정보를 얻을 수 있다는 장점이 있다.

4. Probe!! • 스테레오 비전을 이용한 영상 정합 • 1단계. 영역기반 정합법을 이용한 스테레오 영상의 정합 • 2단계. 동적 계획법을 이용한 정합 영역의 최적화 • 3단계. 3D 모델링을 통한 물체의 형상 복원

5. Probe!! • 1단계. 영역기반 정합법을 이용한 스테레오 영상의 정합 좌측 영상 영역 기반 정합의 변위도 우측 영상

6. 1단계. 스테레오 비전을 이용한 영상의 정합 • 영역기반 영상 정합을 위한 비용 함수 • SAD(Sum of Absolute Difference) • ZNCC (Zero-mean Normalized Cross Correlation)

7. 1단계. 스테레오 비전을 이용한 영상의 정합 • SAD(Sum of Absolute Difference) 1x6 + 3x3 = 15 1x3 + 2x6 = 15 두 윈도우 영역의 합이 같으므로 같은 영역으로 정합

8. 1단계. 스테레오 비전을 이용한 영상의 정합 • ZNCC • (Zero-mean Normalized Cross Correlation)

9. 1단계. 스테레오 비전을 이용한 영상의 정합 • ZNCC • (Zero-mean Normalized Cross Correlation) 평균값 : 2 평균값 : 3 (1-2)(2-3) + (3-2)(4-3) + (1-2)(2-3) + (3-2)(4-3) 4 * 4 ( 상관도가 선형이므로 두 영역 모양이 같음 ) 정합 = 1.0

10. Probe!! • 2단계. 동적 계획법을 이용한 정합 영역의 최적화 영역 기반 정합의 변위도 폐색 영역 최적화된 변위도

11. 2단계. 동적 계획법을 이용한 정합 영역의 최적화 • 폐색영역 ?(occlusion area) A (B?) C (D?) E A + B + C + (D?) + E A + (B?) + C + D + E

12. 2단계. 동적 계획법을 이용한 정합 영역의 최적화 • 상관관계가 0 이하의 영역은 폐색영역(occlusion area) 15 13 15 6 7 9

13. Probe!! • 3단계. 3D 모델링을 통한 물체의 형상 복원 최적화된 변위도 원 영상 최종 완성된 영상

14. 3단계. 3D 모델링을 통한 물체의 형상 복원 최종 완성된 영상 프로그램 시연을 통해 설명하겠습니다.