영상처리 및 개선기술

1. 영상처리 및 개선기술 중앙대학교 전자전기공학부 영상처리연구실 (http://cau.ac.kr/~imagepro) 백 준 기 전화:(02) 820-5300, 팩스(02) 825-1584 전자우편: paikj@chungang.edu (http://cau.ac.kr/~paikj) 중앙대학교영상처리연구실

2. 기본 이론 수학적 배경 공업수학, 선형대수, 수치해석 신호처리 확률변수 및 확률과정론 신호 및 시스템 디지털 신호처리 통신 아나로그/디지털 통신 이론 영상처리 영상처리론, 영상통신 응용분야 디지털TV 및 HDTV 영상회의 및 영상통신 디지털 캠코더 디지털 스틸카메라 비디오프린터 인터넷 영상서비스 무선 영상통신 영상데이터베이스 서비스 멀티미디어 편집 기타 개요 중앙대학교영상처리연구실

3. 목차 • 영상처리 기술의 발전 동향 • 영상압축 기술: 정지영상, 동영상 • 영상열화(degradation)와 복원(restoration)의 관계 • 압축영상의 블록현상 제거기술 • 다채널 영상확대 • 동영상의 움직임열화 제거 • 비월주사 영상의 필드편차 보정 • 공간적응적 콘트래스트 향상 기술 • 컬러캠코더 영상개선 • 완전자동초점 시스템 중앙대학교영상처리연구실

4. 영상처리기술의 발전동향 • 1940 ~ 1950: 영상처리 이론 정립 및 군사용 목적의 응용 시작 • 1950 ~ 1960: 항공 우주 분야의 응용을 위한 영상처리 기술 연구의 본격화 • 1960 ~ 1970: 산업 기술의 응용 및 가전 기술 적용 준비 • 1970 ~ 1980: 영상압축 기술을 중심으로 한 통신분야의 응용 및 가전 기기의 디지털화 시작 • 1980 ~ 현재: HDTV, 멀티미디어, 영상회의, DVD, DVCR, 디지털캠코더, 디지털카메라 등에 응용 중앙대학교영상처리연구실

5. 영상처리 기술 변화의 추세 • 사용주체: 전문가 중심 => 일반 소비자 • 응용분야: 제한적 => 다양화 • 환경변화: VLSI, 컴퓨터, 통신, 신호처리기술의 발전 • 기술변화: 신호처리이론 => 시각특성을 고려한 지능형처리 • 처리대상: 흑백, 정지영상 => 컬러, 동영상 • 요구기능: 정보의 전달 => ?? 중앙대학교영상처리연구실

6. 영상압축기술 • 정보량 • 가로: 720, 세로: 480, 화소당: 8bits, 색: 3채널, 초당 30프레임 • 초당 비트량: 720 x 480 x 8 x 3 x 30 = 248,832,000 [bits/sec] • 영상압축: 영상정보의 중복성 제거 중앙대학교영상처리연구실

7. 정지영상의 압축 • 색정보의 중복성 제거R Y = (R+G+B)/3 G U=R-Y B V=B-Y 중앙대학교영상처리연구실

8. 공간적 중복성 제거: 영상변환 (DCT, DWT 등) • Discrete Wavelet Transform의 예 중앙대학교영상처리연구실

9. 정지영상의 압축 • 색정보의 중복성 제거: RGB -> YUV 등 • 공간적 중복성 제거: 영상변환 (DCT, DWT 등) • 통계적 중복성 제거: Huffman Coding, RLC Coding • 정지영상 표준안: JPEG, JPEG-2000 • 응용분야: • 인터넷 정지영상 • 컬러팩스 • 디지털 카메라 • 디지털 의료영상 등 중앙대학교영상처리연구실

10. 동영상의 압축 • 동영상 압축 = 정지영상 압축 + 시간적 중복성 제거 • 색정보의 중복성 제거 • 공간적 중복성 제거 • 통계적 중복성 제거 • 시간적 중복성 제거: 움직임 보상된 차분 영상을 전송 • 표준 방식: H.261, MPEG-1, H.263, MPEG-2, MPEG-4 • 응용분야 • 디지털TV, 디지털CATV, 위성방송, HDTV, 영상전화기, 영상회의시스템, 휴대용 영상전화기, 인터넷 동영상 서비스 등 중앙대학교영상처리연구실

11. 동영상의 시간적 중복성 제거 직접전송 기준영상 - 차분영상 기준영상 + 차분영상 차분전송 중앙대학교영상처리연구실

12. 영상열화 및 복원의수학적 배경 • Image degradation-restoration in the solution space X: original image y: degraded image xx: restored image H: degradation operator G: restoration operator y H x G xx x xx y 중앙대학교영상처리연구실

13. Regularization Theory • Restoration by inverse filtering: xx = H-1y • If H is well-conditioned: • If H is ill-conditioned: • Regularized restoration y H G=H-1 x=xx y H xx G=H-1 x y H x HTy G=T-1 xx 중앙대학교영상처리연구실

14. Iterative Image Restoration x: original image y: degraded image x1: first iteration result x2: second iter. result x*: converged result H: degradation operator Hx0 Y=x0 H x Y-Hx0 x1 x2 X* 중앙대학교영상처리연구실

15. 블록현상 제거기술 • 블록DCT에 기인한 블록화현상의 열화모델 중앙대학교영상처리연구실

16. 블록화 현상의 수학적 모델 중앙대학교영상처리연구실

17. 제한적 최적화를 사용한 고속 영상복원 알고리듬 제안 가정 - 은 공간 불변 저주파통과 필터 - 는 블록 적응적 방향성 고주파 통과 필터로써 그 방향은 블록 분류된 에지 정보에 의해 결정 중앙대학교영상처리연구실

18. monotone horizontal vertical 중앙대학교영상처리연구실

19. 블록 에지분류 결과 (a)모노블록 (b) 수직블록 (c)수평블록 (d) 블록 (e) 블록 (f) 블록 (g) 블록 중앙대학교영상처리연구실

20. (a) 블록화 현상이 있는 레나 영상 (b)제안된 복원 필터를 사용하여 복원한 영상 중앙대학교영상처리연구실

21. 다채널 영상확대 • Image interpolation: improvement of the resolution required • Existing interpolation method: Used for still or single channel image magnification • Problems of the existing methods: Limitation of information available for interpolation • Advantage of the use of multichannel image: Increased amount of available image information can be utilized 중앙대학교영상처리연구실

22. IMAGE FORMATION Imaging System (e.g. lens) y y x x Original Image Imaging Plane Detector Aperture 중앙대학교영상처리연구실

23. ARRAY STRUCTURE OFTHE IMAGING SENSOR : a discrete image : four times lower resolution image than (a) samping grids for two different images "O" for and "X" for (b) an array structure of photo-detectors for (c) an array structure of photo-detectors for 중앙대학교영상처리연구실

24. Limited performance of photo-detectors High resolution Photo-dectors Multichannel Image Interpolation Low resolution Photo-dectors Mutichannel Image with different phase 중앙대학교영상처리연구실

25. MULTICHANNEL IMAGE INTERPOLATION PROCESS Image Registration Image Interpolation Image Restoration Motion estimation with subpixel accuracy e.g) Zero, first and B-spline, etc. e.g) CLS restoration filter 중앙대학교영상처리연구실

26. IMAGE SAMPLING-RECONSTRUCTION MODEL phase compen- sation and mixing phase shifting filter subsampling interpolation y x h g Sampling Phase Registration-Interpolation-Restoration Phase 중앙대학교영상처리연구실

27. (a) the set of sixteen low resolution images sampled on different grids (b) the first order interpolated image using the upper left one in (a) PSNR = 60.33dB (c) the appropriately reconstructed image using the sixteen low resolution images PSNR = 71.13dB (d) the restored image by using the CLS filter with l=0.0001 PSNR = 79.07dB 중앙대학교영상처리연구실

28. 공간해상도 향상 기술 • 공간해상도의 정의 • 양적인 의미: 화소수 -> 영상의 크기 • 질적인 의미: 고주파성분의 반영 정도 • 응용분야 • 캠코더의 디지털 주밍 • 압축과정의 공간스케일러빌리티 • 압축-재생된 영상의 후처리 • 기존 방식 • 단일프레임: 0차, 1차, 스프라인 보간 등 • 다수프레임: 반복적 방식 -> 실시간 처리 불가능 중앙대학교영상처리연구실

29. 제안된 공간해상도 향상 시스템 Motion Estimation Pre-Interpolation for sub-pixel Motion Estimation Motion - Compensated Interpolation Low- Resolution Image Sequence Enhanced- Resolution Image Sequence 중앙대학교영상처리연구실

30. 저해상도(2:1) 샘플링 과정 중앙대학교영상처리연구실

31. 기존의 정칙화기반 반복적 영상보간 방식 • 제안된 실시간 반복적 영상보간 방식 중앙대학교영상처리연구실

32. 반복과정: • 수렴조건: • 공간스케일러빌리티에 적용한 사례 중앙대학교영상처리연구실

33. 512x512 Original Lenna 중앙대학교영상처리연구실

34. 16 sub-sampled images 1 (0,0) 2 (0,1) 3 (0,2) 4 (0,3) 5 (1,0) 6 (1,1) 7 (1,2) 8 (1,3) 9 (2,0) 10 (2,1) 11 (2,2) 12 (2,3) 13 (3,0) 14 (3,1) 15 (3,2) 16 (3,3) 중앙대학교영상처리연구실

35. 0차보간된 영상 (33dB) 중앙대학교영상처리연구실

36. 1차보간된 영상 (32dB) 중앙대학교영상처리연구실

37. 제안된 방식으로 보간된 영상 (34dB) 중앙대학교영상처리연구실

38. INTERPOLATION ON THE GENERALIZED GRID • Motion estimation with subpixel accuracy: • A projection-based motion estimation algorithm • Relationship between the absent pixel and the control points based on triangular warping 중앙대학교영상처리연구실

39. 신문 영상을 사용한 실험 결과 (a) The 640x480 original image 중앙대학교영상처리연구실

40. (a) The eight times magnified image using one lower resolution image (b) The eight times magnified image using warping of two lower resolution image 중앙대학교영상처리연구실

41. 다채널 영상확대 기술의 응용분야 • 캠코더의 디지털 방식 고배율 zoom • 8 (광학적) x 8 (디지털) = 64 배 zoom • 실시간 처리 구조의 구현 필요 • 텔레비전 영상의 정지화면 확대 • 디지털 스틸 카메라의 해상도 향상 • 컬러 프린터 출력 영상의 확대 • 비디오 편집기 • CCTV 출력 영상의 해상도 향상 중앙대학교영상처리연구실

42. 공간적응적 움직임열화 제거 기술 • 영상시퀀스의 열화 모델 H + X, y: original and motion blurred image sequences : additive noise and motion blur operator 중앙대학교영상처리연구실

43. 움직임열화의 특성 • 영상입력 시스템의 이상적이지 못한 특성에 기인 • 공간적, 시간적으로 변화 • 다른 열화요인과 혼합(zooming, panning, rotation) Synthetic motion blur Real motion blur 중앙대학교영상처리연구실

44. 움직임열화 제거 알고리듬 • 블록단위 움직임 추정 • 계층적 움직임 추정: 32x32 -> 16x16 -> 8x8 • 화소단위 움직임 발생 • image segmentation by solving optical flow equations • 2차원 움직임열화 모델 구현 • 공간적응적 반복적 영상복원 수행 Ideal motion blur Realized motion blur 중앙대학교영상처리연구실

45. Synthetic motion burred image에 대한 실험결과 G 중앙대학교영상처리연구실

46. Real motion blurred image에 대한 실험결과 G 중앙대학교영상처리연구실

47. 비월주사된 영상 프레임의필드 편차 보정 기술 • 필드 편차 발생 요인: 동영상의 필드간 움직임 존재 필드편차가 존재하는 영상 필드편차가 보정된 영상 중앙대학교영상처리연구실

48. 필드내 영상보간 기술을 사용한 보정방법 1: VECTOR CORRELATION METHOD • vertical interpolation : 수직에지가 없는 경우 • narrow-vector correlation mode : 부터 사이의 에지가 존재하는 경우 (예) 상관도가 가장 높은 이웃픽셀이 그림과 같은 경우 • sparse wide-vector correlation mode : low slope 에지가 존재하는 경우 중앙대학교영상처리연구실

49. 방법 2: EDGE-ADAPTIVEDIRECTIONAL INATERPOLATION • DCT 계수를 이용한 보간 • 방법 2: EDGE-ADAPTIVE DIRECTIONAL INTERPOLATION • 한 블록의 DCT 계수중 C(0,1) : 수직 방향의 윤곽 표시, C(1,0) : 수평 방향의 윤곽 표시 • 계산된 계수를 이용 , 블럭 에지를 monotone, horizontal, vertical, 45, 135 로 분류 중앙대학교영상처리연구실

50. monotone 으로 분류된 블록의 경우 • 보간된 영상의 Enhancement • Sobel 미분 필터로 edge enhancement • Histogram equalization 으로 contrast enhancement 중앙대학교영상처리연구실