1 / 57

멀티미디어 신호처리 – 이론 및 실습

멀티미디어 신호처리 – 이론 및 실습 . 강의자료 2 장 -1 : 영상신호 기초. 수업목표 및 내용. 영상신호에 대한 기초적인 이론을 이해한다 . 사람 눈의 특징 색좌표계 (Color Space) 디지털 영상신호처리에 대하여 이해한다 . 디지털 영상 획득 과 표현 – 공간해상도 , 밝기해상도 디지털 영상신호처리 응용분야에 대하여 이해한다 . 영상 기초이론 - 눈의 시각 특성. 눈의 구조 보는 (Seeing) 동안 눈이 수행하는 두 가지 역할

marianne
Download Presentation

멀티미디어 신호처리 – 이론 및 실습

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 멀티미디어 신호처리–이론 및 실습 강의자료 2장-1 : 영상신호 기초

  2. 수업목표 및 내용 • 영상신호에 대한 기초적인 이론을 이해한다. • 사람 눈의 특징 • 색좌표계(Color Space) • 디지털 영상신호처리에 대하여 이해한다. • 디지털 영상 획득 과 표현 –공간해상도, 밝기해상도 • 디지털 영상신호처리 응용분야에 대하여 이해한다.

  3. 영상 기초이론 - 눈의 시각 특성 • 눈의 구조 • 보는(Seeing)동안 눈이 수행하는 두 가지 역할 • To recognize details of a scene (the spatial resolution of the scene) • To recognize changes in a scene (the temporal resolution of a scene) • 카메라의 렌즈에 해당하는 수정체를 통해 들어온 빛은 망막에 상을 맺음 • 망막(Retina) • 원추형 모양의 원추체(cone) 시세포 • 막대 모양의 간상체(rod) 시세포

  4. 영상 기초이론 - 눈의 시각 특성 • 사람 눈의 시각 특성 [그림 2-1] 눈의 구조 [그림 2-2] 추상체(cone)의 빛의 파장별 색 반응도

  5. 영상 기초이론 - 눈의 시각 특성 • 망막의 감광기관(Photoreceptor)의 두 가지 형태 • 간상체 (Rod) • 흑백을 구분하고, 빛의 강도(intensity of light)에 민감 • 원추체 (Cone) • 색(Color)을 구분함 • Red, Green, Blue 등의 색에 민감한 여러 종류의 Cone들이 있음 • 망막(Retina)에는 약 120x10^6개의 간상체와 8x10^6개의 원추체가 있음 • 사람의 눈은 색(color)에는 덜 민감하고, 특히 색의 변화에는 더욱 덜 민감함

  6. 영상 기초이론 - 눈의 시각 특성 • Visual Perception • color -- chromaticity (light quality defined by wavelength) • brightness -- luminance (amount of light) • MPEG-2 등의 비디오 압축 기법 • 눈의 시각적인 특징: 눈이 색에 대한 둔감 정도를 반영하여 이미지당 색에 대한 정보를 줄임, 색차신호의 부표본화 (subsampling) • 공간적 중복성 제거: DCT 변환, 양자화 • 통계적 중복성 제거: 허프만 부호화, 런-길이 부호화 • 시간적 중복성 제거: 움직임 추정 및 움직임 보상

  7. 영상 기초이론 –컬러모델(color model) • 컬러모델은 어떤 특정상황에서 컬러의 특징을 설명하기 위한 방법 • 하나의 컬러 모델을 사용하여 컬러의 모든 성질을 설명하기는 불가능하기 때문에 일반적으로 컬러의 특성을 표현하기 위하여 여러 종류의 컬러 모델을 정의하여 사용 • 서로 다른 영상처리 시스템은 여러 이유 때문에 서로 다른 색좌표계를 사용 • 색좌표계들은 보통 세가지 요소를 사용하여 색을 표현하기 때문에, 각각의 요소를 하나의 축으로 하는 3차원 좌표 시스템에 대응 • 컬러는 3차원 좌표 시스템내에 존재하는 하나의 점으로 표시 • RGB(Red, Green, Blue)모델, YCbCr 모델, HSI(Hue, Saturation, Intensity) 모델 등

  8. 영상기초이론 –컬러모델(color model) 1. RGB 컬러모델 • 빛의 삼원색으로 불리는 적색 (R ), 녹색(G), 청색(B)이 기본이 되는 컬러 모델 • 컬러 CRT 모니터와 컴퓨터 그래픽스 시스템들에서 사용되고, 컴퓨터 환경에서 주로 사용 [그림 2-3] RGB 컬러 모델

  9. 영상기초이론 –컬러모델(color model) 1. RGB 컬러모델 - 계속 • 사람의 눈이 실제 세계를 보는 것과 같은 모든 색을 표현하기 위하여는 RGB요소는 각각 8bit 이상 되어야 한다. 2^24 = 16,777,216개의 서로 다른 색 표현 가능 • Gray value = 0.3R+0.6G+0.1B, or (R+G+B)/3 • 단점 • 모든 가능한 색을 표현하기 위하여 RGB각 요소는 같은 비트 수를 갖추어야 함 • TV 환경에서는 부적절 • RGB에서는 밝기를 조절하기 위하여는 RGB 모든 요소의 값을 동일하게 조절하여야 함 • 최상의 압축을 위하여는 각 색의 요소들이 uncorrelated 되어야 함

  10. 영상기초이론 –컬러모델(color model) 2. YCbCr 컬러모델 • 디지털 비디오 성분의 국제 표준인 ITU-R BT.601에서 YCbCr이라는 컬러 모델을 사용. TV 관련 분야에서 주로 사용 • 화소의 밝기값은 Y로 기호화되고 푸른 정도와 붉은 정도는 CbCr로 기호화 • RGB 컬러 모델에서 YCbCr 컬러 모델로 변환 – (식 2-1) • (식 2-1)은 R, G, B 값이 8비트로 표현되어 [0, 255] 사이의 값을 가질 경우 Y, Cb, Cr 값도 8 비트로 표현되어 [0, 255] 사이의 값을 가지도록 오프셋(+128)된 식 - (식 2-1)

  11. 영상기초이론 –컬러모델(color model) 2. YCbCr 컬러모델 –계속 • JPEG, MPEG 압축과정에 사용되며, RGB 컬러모델을 그대로 사용하지 않고, YCbCr 모델로 변환하는 이유는 RGB 컬러모델에서는 세 개의 요소가 시각적으로 균일한 정보를 가지고 있는 반면, YCbCr 모델에서는 밝기값 Y와 색차신호 Cb, Cr이 서로 다른 정보를 가지고 있기 때문 - (식 2-2)

  12. 영상기초이론 –컬러모델(color model) 3. HSI 컬러모델 • 색상(hue), 채도(saturation), 그리고 명도(intensity)라는 세 가지 특성들이 컬러를 설명하는 데 사용 • 많은 영상처리 응용이 HSI 컬러모델을 사용 • 머신 비젼은 서로 다른 물체들의 컬러를 식별하는 데 HSI 컬러 공간을 사용 • 히스토그램 연산, 명도 변환, 회선과 같은 영상처리 응용들은 오직 영상의 명도(intensity)에 대해서만 연산 [그림 2-4] HSI 컬러 모델

  13. 디지털 영상신호처리의 개념 • 1994년 달표면을 찍은 위성 사진의 화질을 개선하기 위해 디지털 컴퓨터를 사용하면서 디지털 영상신호처리라는 분야가 태동 • 디지털 영상처리 vs 컴퓨터 그래픽스 • 디지털 영상처리 • 영상처리는 실제의 영상을 조작하는 것 • 전형적으로 2차원 데이터로 제한되지만, 의한 진단 분야의 경우 3차원 데이터도 수행한다. • 컴퓨터 그래픽스 • 컴퓨터 프로그램에 의한 합성영상을 생성하는 것 • 2차원과 3차원 물체를 가지고 작업

  14. 디지털 영상획득 및 표현 • 프레임 그래버(frame grabber) 또는 PC 카메라 • 디지털 카메라 또는 스캐너와 마찬가지로 영상을 획득하는 또하나의 방법 (a) 프레임 그래버(Frame grabber) 보드 (b) PC 카메라 [그림 2-5] 디지털 영상 획득 장치

  15. 디지털 영상 표현 - 공간해상도 [ 그림 2-6] 공간해상도에 따른 영상의 예 I, (a) 256 x 256, (b) 128 x 128, (c )64 x 64, (d) 32 x 32, (e) 16 x 16, (f) 8 x 8

  16. 디지털 영상 표현 - 공간해상도 (b) 320 x 240 (a) 640 x 480 (c) 160 x 120 (d) 80 x 60

  17. 디지털 영상 표현 - 공간해상도 (f) 20 x 15 (e) 40 x 30 [그림 2-7] 공간 해상도에 따른 영상의 예 II

  18. 디지털 영상 표현 - 공간해상도 [공간 해상도에 따른 전체 영상 화소수]

  19. 디지털 영상 표현-밝기 해상도 (a) 8 bits(256 gray level) 밝기해상도 (b) 6 bits(64 gray level) (d) 3 bits(8 gray level) (c) 4 bits(16 gray level)

  20. 디지털 영상 표현-밝기 해상도 (e) 2 bits(4 gray level) (f) 1 bit(2 gray level) [그림 2-8] 다양한 양자화 수준에 따른 명암해상도, (a) 8 bits, (b) 6 bits, (c) 4 bits, (d) 3 bits, (e) 2 bits, (f) 1 bit

  21. 디지털 영상 획득 및 표현 • CCD(Charge-Couple Device) • 광자 에너지를 전기 전하로 변환 하고, 이 전하를 판독할 수 있도록 전하를 이동한다. • 대부분의 카메라, 캠코더 및 스캐너의 핵심부품이다. • 아날로그 영상신호를 디지털 신호로 변환해 주는 이러한 디지타이저(스캐너, 디지털 카메라 등)는 샘플링과 양자화라는 두 가지 기능을 수행 [그림 2-9] CCD(Charge-Coupled Device) 의 동작

  22. 영상획득 –영상데이터의 흐름 [그림 2-10] 영상데이터의 흐름

  23. 디지털 영상의 내부 [그림 2-11] 디지털 영상데이터

  24. 흑백영상의 예와 내부 화소값 [그림 2-12] 흑백영상과 내부 화소값(그레이 영상)

  25. 영상의 파일 사이즈 • M x N (예 640 x 480) • 흑백영상이고, 각 픽셀당 8비트(256의 밝기값): 640 x 480 x 8 (bit) = 640 x 480 byte • 컬러영상: 640 x 480 x 8 x 3 bit • 영상 헤더(Header) 정보 • 영상 프로세서에게 영상 정보를 제공 • ID 비트들, 영상의 해상도, 화소 당 비트 수, 컬러 맵 데이터, 저장 기술, 영상에 대한 설명 등 • ID 비트: 어떤 파일 형식이 사용되었고, 어떤 개정판을 사용했는지 등을 기호화

  26. 디지털 영상신호처리 응용분야 1. 사무자동화(O.A.) [그림 2-14] OCR에서의 자동 문자 분리의 예

  27. 디지털 영상신호처리 응용분야 2. 의료산업 [그림 2-15] MRI의 연속 단면 영상의 해석

  28. 디지털 영상신호처리 응용분야 3. 위성사진 [그림 2-16] 위성사진에서의 지형인식

  29. 디지털 영상신호처리 응용분야 4. 공장자동화(F.A.) (b) 공장자동화를 위한 금속면의 결함검사 (a) 공장에서의 자동검사 [그림 2-17] 공장자동화에서의 영상처리 응용

  30. 디지털 영상신호처리 응용분야 5. 영상검지 또는 영상인식 시스템 [그림 2-18] 영상검지 시스템에의 응용(http://www.keona.co.kr) [그림 2-19] 차량번호 자동인식 시스템

  31. 디지털 영상신호처리 응용분야 5. 영상검지 또는 영상인식 시스템 [그림 2-20] 여러 가지 생체정보들을 이용한 생체인식 시스템에의 응용

  32. 디지털영상신호처리 응용분야 6. 방송/영화 [그림 2-21] 영화에서의 영상특수효과 처리

  33. 디지털 영상신호처리 응용분야 7. 화상회의 시스템, 디지털 방송(DMB, DVB 등)에 응용되는 영상압축 [그림 2-22] DCT 변환을 이용한 영상압축

  34. 디지털영상신호처리 응용분야 7. 멀티미디어 통신에서의 영상압축 [그림 2-23] 영상압축을 이용한 화상회의 시스템

  35. 디지털영상신호처리 응용분야 8. 가정용 로봇 또는 간호, 오락용 로봇 (a) 인간형 로봇의 눈 (b) 완구의 시각센서 [그림 2-24] 각종 로봇에 응용되는 영상신호처리

  36. 디지털영상신호처리 응용분야 9. 자동영상 인덱싱 [그림 2-25] 유사한 특징을 가지는 영상들

  37. 디지털 영상파일 형식 • 현재 가장 널리 사용되는 영상파일 형식은 JPG 와 BMP 영상 파일 • 네트워크 브라우져에 의해 처음으로 승인된 영상 형태로서 WWW와 HTML 생성 언어와의 역사적 연관 때문에 8비트 GIF 형태는 가장 중요한 파일 형식 중의 하나이다. [Macromedia Director File Format]

  38. 영상의 Header 헤더정보 영상 화소 정보 영상 화소 정보 BMP, JPG, GIF 등과 같은 헤더정보가 있는 영상 파일구조 RAW 영상 파일구조(헤더정보 없음) 디지털 영상 파일 형식 [그림 2-26] 간단한 디지털 영상 파일구조

  39. 디지털 영상 파일 형식 - JPEG • 영상압축에서 가장 기본이 되는 압축표준 • 정지영상압축 표준으로 널리 사용되며, 현재 JPEG2000으로 좀더 보완됨 • 현재 가장 중요하고, 보편적인 파일 형태 • 추후 정지영상 압축부분(6장)에서 좀더 자세히 설명

  40. 디지털 영상 파일 형식 - PNG • PNG (Portable Network Graphics) • 시스템 독립적인 영상 형태 • GIF 표준을 대신하는 것을 의미하고, 중요한 사항으로 그것을 확장한다. • 이 새로운 표준의 동기는 UNISYS와 LZW 압축 방식에 근거한 Compuserve에 의해 소유된 특허의 일부이다. • PNG 파일의 특징은 48비트까지의 컬러 정보를 지원하는 것 • 컬러 영상의 정확한 디스플레이를 위해 감마보정정보와 투명도 조절을 위한 알파 채널정보도 가지고 있다.

  41. 디지털 영상파일 형식 - 기타 • PCX 파일 • 흑백과 컬러를 모두 지원 • 헤더가 128바이트에 파일에 대한 정보를 가짐 • 영상 데이터는 각 라인별로 런 길이 코딩 (run length encoding)되어 있음 • TIFF 파일 • 태그에 정의되는 필드의 연속형태에 의한 영상 저장 형식 • 서로 다른 컴퓨터간의 데이터 호환을 위하여 개발된 파일 형식 • GIF 파일 • 데이터 전송 및 화상 압축과 복구 등을 위하여 규정한 방식 • LZW압축 방식을 사용하여 압축율과 빠른 실행 속도가 장점

  42. 디지털 영상 파일 형식- BMP 파일 • BMP 파일 • 영상 데이터를 압축하거나 다른 어떠한 기법도 사용하지 않고 데이터 그대로 저장 • 단점 : 파일이 상당히 커짐 • 장점 : 파일구조가 간단, 데이터의 입출력 속도가 빠름 • BMP파일 구성

  43. 컬러영상 획득 –컬러맵 또는 팔레트 • 컬러맵 또는 팔레트 • 몇몇 그래픽스 디스플레이 시스템들은 화소 당 1 또는 2 바이트의 저장공간만을 할당 • 화소 당 3 바이트를 요구하는 컬러영상을 디스플레이 할 때 문제 발생 -> color map으로 해결 • 16.7만 (224) 컬러 -> 256 (28) 또는 65,53 (216) 컬러로 줄이기 위한 참조 테이블이다.

  44. 24비트 칼라 영상 • 640x480의 24비트 칼라 영상은 압축을 하지 않을 경우 921.6 Kbyte(=640x480x3)의 저장공간이 필요 • 24비트 칼라 영상이 각 화소마다 특수효과 정보를 나타내는 값을 저장하기 위한 여분의 바이트를 포함하여 실제로는 32비트의 영상으로 저장된다. • 이러한 공간적인 문제로 인하여 많은 시스템은 화면 영상을 만들어 내는데 8비트의 칼라 정보(소위 256 컬러)만을 사용하도록 만들 수 있다. -> 칼라 정보를 저장하기 위한 칼라 참조표 (Look Up Table) 사용

  45. Frame Buffer Color Map Red value Green value Blue value 5 4 5 5 0 10 45 0 5 4 4 3 10 40 80 1 5 3 4 3 120 89 14 8 2 3 3 3 2 210 128 110 3 ….. 240 230 235 255 Output Value D/A R 8 D/A G 8 D/A B 8 영상획득-컬러 맵(color map)의 동작 [그림 2-13] 컬러 맵의 동작

  46. R G B 인덱스 . . . 5 4 5 120 25 254 210 221 0 10 14 26 55 2 89 25 210 . . . 1 . . . 25 253 35 98 34 23 35 98 2 43 33 43 3 . . . . . . . . . . . . . . . . . . . . . 178 120 48 254 233 120 35 255 256 컬러(8비트)의 팔레트 인덱스를 이용한 영상저장 예 256 컬러(8비트)의 팔레트 예 컬러영상 표현 [그림 2-27] 256 컬러(8비트) 팔레트를 이용한 비트맵 컬러 영상표현

  47. R,G,B 칼라 영상 [그림 2-28] 높은 해상도의 칼라영상과 분리된 R, G, B 칼라 영상], (a) 24 비트의 칼라영상, (b) R 만의 영상, (c ) G 만의 영상, (d) B 만의 영상

  48. 8비트 칼라 영상 [그림 2-29] 8 비트 칼라 영상의 예 (24비트 칼라 영상과 시각적으로 큰 차이가 없다.)

  49. 8비트 칼라 영상에 대한 칼라 LUT • 8비트 칼라 영상에서 사용된 개념은 각 화소에 대해 단지 인덱스나 코드값 만을 저장한다. • 값 25를 저장한 하나의 화소는 단지 칼라 참조표(LUT)에서 25번째 열을 의미 • 영상파일은 단지 각 RGB 값을 표현하기 위해서 현재 저장된 8 비트값이 각각의 인덱스가 된다는 사실만을 그 영상의 헤더 정보에 저장 • LUT를 흔히 팔레트(palette)라는 용어로 사용하기도 한다.

  50. 파일헤더(BITMAPFILEHEADER) BMP 파일의 헤더 영상헤더(BITMAPINFOHEADER) 팔레트 정보(RGBQUAD) 영상데이터 (영상데이터가 거꾸로 저장되어 있음) 디지털 영상파일 형식- BMP 파일 [BMP 파일구조] [그림 2-30] BMP 영상 파일 구조

More Related