1 / 67

제 5 장 . MPEG

제 5 장 . MPEG. 목차. MPEG-1 MPEG-2 MPEG-4 MPEG-7 MPEG-21. MPEG-1. MPEG-1 표준화 표준화 경위 1980 년대 후반 : CD-ROM 을 기반으로 한 DV-I (Digital Video Interactive). 1988 년 : ISO 산하 영상압축표준화위원회 설립 MPEG (Moving Picture Coding Experts Group) 목표 약 1.5Mbps 의 데이터 전송률 내에 동영상을 인코딩하는 방법 특징

xiujuan-ye
Download Presentation

제 5 장 . MPEG

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. 제 5장. MPEG

  2. 목차 • MPEG-1 • MPEG-2 • MPEG-4 • MPEG-7 • MPEG-21

  3. MPEG-1 • MPEG-1 표준화 • 표준화 경위 • 1980년대 후반 : CD-ROM을 기반으로 한 DV-I (Digital Video Interactive). • 1988년: ISO산하 영상압축표준화위원회 설립 • MPEG (Moving Picture Coding Experts Group) • 목표 • 약 1.5Mbps 의 데이터 전송률 내에 동영상을 인코딩하는 방법 • 특징 • 허용하는 비트 스트림의 구조와 디코더의 구성만을 정의 • 인코더의 기술 구현에는 자유허용

  4. MPEG-1 MPEG-1의 제한 범위

  5. MPEG-1 • MPEG-1의 특징 • 인코딩 단위 : 매크로 블록(Macroblock) • 16 X 16 화소의 휘도 블록 • 시간적 화면 상관을 이용하여 정보 압축 • 매크로 블록을 블록으로 세분 • 8 X 8 화소의 블록(4개의 휘도 블록, 2개의 색차 블록) • DCT 이용하여 공간정보압축 • GOP(Group of Picture) • 프레임 내 코딩 정보를 포함하는 인트라 프레임(I frame)을 적어도 하나 이상 포함하는 프레임 군 • 임의 접근을 허용

  6. MPEG-1 • 인코딩처리 시간 허용/실시간 디코딩 • CD-ROM 등의 읽기 전용 매체 대상 • 상호 비대칭 인코더/디코더 • MPEG-1 인코더 • MPEG 표준에서 정의하고 있지 않다. • MPEG-1 디코더에서 디코딩 가능한 비트 스트림을 생산하기만 하면 된다. • MPEG-1 디코더 • MPEG-1 표준에서 정의하고 있는 모든 비트 스트림을 디코딩할 수 있어야 한다. • 인코더의 복잡도가 디코더 보다 높기 때문에 상호 비대칭 형태가 더 효율적이다.

  7. MPEG-1 • H.261과 MPEG-1 H.261과 MPEG-1의 비교

  8. MPEG-1 • MPEG-1의 구조 • 픽쳐 시퀀스 • MPEG-1 영상 구조의 최상위 단위 • 임의 길이의 동영상 • 픽쳐 그룹(GOP) • 일반적으로 10 ~ 30개의 픽쳐들로 구성

  9. MPEG-1 • 픽쳐 • 인코딩된 개별 이미지

  10. MPEG-1 • MPEG-1에서 영상의 전체 이미지인 프레임은 프레임 전체를 인코딩한 픽쳐로 구성된다. • MPEG-2 이후 부터는 프레임 외의 구조로 인코딩된 픽쳐도 사용된다. • MPEG-1은 비월(interlace) 개념을 포함하고 있지 않다. • 인트라 프레임 vs 비-인트라 프레임 • 인트라 프레임(intra: within, inside): 해당 프레임 내의 정보만으로 인코딩되어 있는 프레임 • I-프레임 • 비-인트라 프레임: 해당 프레임이외의 다른 프레임의 정보를 함께 참조 하여 인코딩되어 있는 프레임 • P-프레임, B-프레임

  11. MPEG-1 • 슬라이스 • 연속된 매크로 블록들 • 독립된 인코딩/디코딩 단위 • 한 슬라이스 내의 임의 데이터의 손상이 있을 경우, 해당 슬라이스는 디코딩되지 못한다. • 매크로 블록 • 16 X 16 구역의 픽셀 정보에 해당하는 구조 • 블록 • 매크로 블록 내의 8 X 8 정보에 해당하는 구조 • DCT 변환의 대상

  12. MPEG-1 • 프레임 • 인트라 프레임 • I-프레임: 프레임 내 인코딩 영상 • GOP의 독립성 확보 • 동영상의 프레임 순서로 인코딩 • 영상 이미지 내의 모든 정보로 구성 • 비-인트라 프레임 • P(Predictive)-프레임: 프레임간(inter) 순방향 예측 인코딩 영상 • I, P-프레임으로부터 예측 수행에 의해 생성 • 동영상의 프레임 순서로 인코딩 • 영상 이미지 내의 정보와 순방향 예측 정보로 구성

  13. MPEG-1 • B(Bidirectionally predictive)-프레임: 양방향 예측 인코딩 영상 • I, P-프레임을 처리한 후 동영상의 프레임 순서로 그 사이의 B-프레임을 인코딩 • 영상 이미지 내의 정보, 순방향 예측 정보, 그리고 역방향 예측정보 및 양방향 예측 정보(interpolative)로 인코딩

  14. MPEG-1 • 픽쳐 그룹(GOP: Group Of Pictures) • 원 영상 순서 별 GOP

  15. MPEG-1 • 코딩 순서 별 GOP

  16. MPEG-1 • 매크로 블록

  17. MPEG-1 • 16 X 16 구역의 휘도 정보와 색상 정보로 구성 • Y:Cb:Cr (4:2:0 색 비율 포맷) • 휘도 : 영상 밝기 (Y) • 색차 : 영상 색차 정보 (Cb, Cr) • 휘도 정보에 비해 ½만큼 샘플링

  18. MPEG-1 • DCT (Discrete Cosine Transform) • 8 X 8 블록 대상 • 영상 인코딩 과정 • 한 프레임의 영상을 8 X 8블록으로 분할한다. • 각 블록마다 DCT를 수행한다. • 변환된 계수들을 양자화 스텝(Quantization step)으로 나눈다.- 양자화 • 영상 디코딩 과정 • 8 X 8 계수 블록의 각 값에 양자화 스텝을 곱한다.- 역양자화 • 각 블록마다 IDCT (Inverse DCT)를 수행한다.

  19. MPEG-1 • 양자화 • 정보의 값을 특정 수로 나누어 작은 수로 표현하는 것 • DCT 변환 계수의 양자화 값은 정수로 표현 • 양자화를 통해 0값을 갖게 된 계수들은 이후 압축 코딩 된다. 기본 양자화표: (a) 인트라 코딩의 경우, (b) 인터 코딩의 경우

  20. MPEG-1 • MPEG-1 코덱 • MPEG-1 인코더

  21. MPEG-1 • MPEG-1 디코더

  22. MPEG-2 • MPEG-2의 표준화 • 표준화 경위 • 1991년 MPEG-1 표준화 완료 • 1993년 MPEG-2 발표 • 목표 • 5~10 Mbps정도로 현행 TV품질 실현 • HDTV품질 실현을 위한 Mpeg 3의 전 작업으로 시작 • 최종적으로 Mpeg 3 탈락(Mpeg 2 스펙에 포함) • 1993년 미국의 차세대 TV 방송 방식으로 채택

  23. MPEG-2 • 특징 • 저장 미디어 뿐만 아니라 방송 미디어의 적용 고려 • HDTV 품질까지 확장 가능 • 점진적 주사 및 비월 주사 영상 취급 가능 • 확장 적응성(Scalability, 스케일러빌러티) 지원 • 공간해상도의 일부 비트열을 가지고 작은 해상도의 display를 가능하게 한다. • 역방향 호환성(backward compatibility)을 갖는다. • MPEG-2 디코더는 MPEG-1 영상의 디코딩도 가능하다.

  24. MPEG-2 • MPEG-2 목표 • 상호 운용성(Interoperability) • 통신, 방송, 저장 기기 등 다른 미디어사의의 호환성 및 정보 교환 가능 • 확장 적응성(Scalability) • 코딩된 일부의 비트열을 통해 하위 해상도의 영상 재생 가능 • 확장성(Extensibility) • 어떤 비트율로 전송되는 영상에 부가 정보만을 추가하여 전체 해상도를 쉽게 높일 수 있다. • 5Mbps (일반 TV 품질) + 10Mbps (부가 정보) = 15Mbps (HDTV 품질)

  25. MPEG-2 MPEG-2의 분야별 응용

  26. MPEG-2 • MPEG-1과 MPEG-2 • 색 공간(color space) • 4:2:0 및 4:2:2, 4:4:4 코딩 지원 • 슬라이스 구조 • 연속된 매크로 블록의 모임 • 독립된 코딩 단위 • MPEG-2에서 슬라이스의 최대 크기는 영상의 한 행 크기이다. • 양자화 • MPEG-1 DC계수의 양자화 정밀도: 8-bit • MPEG-2: 픽쳐별 8, 9, 10-bit 양자화 정밀도 허용

  27. MPEG-2 • 은닉 움직임 벡터 • 데이터 손실 상황에 대비해 I-프레임에 자신의 프레임을 참조 대상으로 하는 움직임 벡터를 부여하는 것 • 데이터 손실 발생시 참조 대상인 주변 블록으로부터 해당 정보를 대체 • 픽쳐 구조 • 프레임 구성 • MPEG-1: 프레임 픽쳐로만 구성 • MPEG-2: 프레임 픽쳐 또는 필드 픽쳐로 구성 • 유연성 • 인코더와 디코더의 다양한 응용및 호환을 가능하게 함 • 프로화일(profile) : 기능상의 분류 • 레벨(level): 데이터 양의 분류

  28. MPEG-2 • 색 공간 MPEG-2의 색 비율과 그에 따른 코딩순서 및 샘플링

  29. MPEG-2 • 비월 주사(interlaced scan) 기술 점진적 주사(progressive scan) 비월 주사(interlaced scan)

  30. MPEG-2 • 픽쳐 구조 • 프레임 픽쳐 • 전체 프레임이 하나의 픽쳐로 구성 • 필드 픽쳐 • 전체 프레임이 여러 개의 필드 픽쳐들로 구성 • 상위(upper) 필드와 하위(lower) 필드로 각각 이루어진 픽쳐가 하나의 프레임을 구성

  31. MPEG-2 • 프레임 DCT • 매크로 블록은 8 X 8 크기의 블록으로 나뉘어 순서대로 DCT 변환된다.

  32. MPEG-2 • 필드 DCT • 상위/하위 필드의 8개 라인을 취하여 DCT의 대상이 되는 8 X 8 크기의 상위/하위 블록을 구성

  33. MPEG-2 • DCT 계수의 스캔 패턴(pattern) • DCT 계수 스캔 • 양자화된 DCT 계수들을 0인 값과 0이 아닌 값들로 구분하여 1차원의 열로 나열하는 것 • 구분되어진 DCT 계수들은 가변 길이 코딩의 방법으로 압축 • 45o지그재그 스캔 • MPEG-1부터 사용되는일반적인 스캔방법 • 프레임 픽쳐 구조에 적합

  34. MPEG-2 • 67.5o지그재그 스캔 • MPEG-2에서 소개된스캔방법 • 필드 픽쳐 구조에 적합

  35. MPEG-2 • 확장 적응성(scalability, 스케일러빌러티) • 데이터 스트림의 계층 구조 • 기본 계층(basic layer) • 데이터 스트림 내 반드시 디코딩되어야 하는 계층 • 향상 계층(enhancement layer) • 필요에 따라 추가적으로 디코딩되어 영상을 향상시키기 위한 계층 • 공간적 스케일러빌러티 • 저해상도의 기본 계층과 고해상도 구성을 위한 추가 정보를 가진 향상 계층으로 구성

  36. MPEG-2 • 시간적 스케일러빌러티 • 동일한 해상도의 영상에 대해 서로 다른 데이터 전송량을 지원 • 기본 계층보다 초당 프레임 수가 높은 향상 계층 구성 예) 30Hz 와 60Hz의 점진적 주사 영상을 단일 데이터 스트림에서 함께 구성 • SNR (Signal to Noise Ratio) 스케일러빌러티 • 신호 대 잡음비(SNR)가 클 경우에 대한 고화질 영상과 반대의 경우에 대한 저화질 영상을 향상 계층 과 기본 계층으로 함께 구성

  37. MPEG-2 • 레벨과 프로화일 • MMPEG-2의 다양한 기술들간의 상호 호환성을 위한 분류 기준 • 프로화일: 툴과 구성 요소 등의 기능별 분류 • 단순, 메인, SNR, Spatial, 하이, 4:2:2 • 레벨 : 각 profile 분류에 대해 비트 스트림내의 데이터 양을 기준으로 분류 • 하이, 하이1440, 메인, 로우 • 표기법 • 프로화일@레벨 예) 메인 프로화일의 메인 레벨: MP@ML

  38. MPEG-2

  39. MPEG-4 • MPEG-4 표준화 • 1993년 MPEG-4 표준화 시작 • MPEG-3 표준안 취소: MPEG-2에 포함 • 목표 • 초기 낮은 데이터 전송률 환경에도 적합한 동영상 인코딩 방법의 목표에서 다양한 환경에서의 멀티미디어 데이터를 위한 범용 코딩 표준으로 확장 • 특징 • 다양한 데이터 전송률 환경에서의 비디오 및 음성 코딩 성능 향상 목표 • 64 kbps 이하 • 64 kbps ~ 384 kbps • 384 kbps ~ 4 Mbps

  40. MPEG-4 • 객체 개념 도입 • 비디오 객체와 오디오 객체가 개별적 혹은 복합적으로 인코딩되고 전송되어 최종 장면(scene)을 구성할 수 있다. • 디코더 단말 측에서 장면 구성을 위한 다양한 조작이 가능 • 구성 • 텍스쳐(texture) 정보와 형태(shape) 정보

  41. MPEG-4 • MPEG-4 시스템

  42. MPEG-4 • MPEG-4 시스템의 동영상 처리 과정

  43. MPEG-4 • MPEG-4의 동영상 구조 • 객체 • 비디오 객체: 시간에 따라 변하는 동영상 내 일반 객체 • 정지 텍스트 객체: 시간과 무관하게 변하지 않는 객체 • 구성 • 텍스쳐 정보 • 휘도 및 색차 정보 • 형태 정보: 알파 데이터 • 객체의 형태를 나타내는 정보 • 객체가 차지하는 부분과 나머지 여백 부분에 서로 다른 이진 값을 대응시킨, 객체를 포함하는 사각형으로 표현 • VOP (Video Object Plane) • 해당 객체에 대해 일정한 시간 간격으로 샘플링된 일련의 정보들 • 인트라 코딩 또는 인터 코딩 적용

  44. MPEG-4 • GOV (Group Of VOPs) • GOP와 유사한 개념으로 VOP들의 그룹 • GOV 단위로 임의 접근 가능 • GOV의 구조는 선택 사항 • VOL (Video Object Layer) • 스케일러빌러티를 제공하기 위한 구조 • 기본 계층과 향상 계층으로 구성

  45. MPEG-4 • MPEG의 영상 처리 과정 • MPEG-1, MPEG-2 • MPEG-4

  46. MPEG-4 • MPEG-4의 기능 • 영상의 해상도 및 주사(scan) 방법 • sub-QCIF (128 X 96) 에서 초고해상도 (4k X 4k) 정도까지로 매우 광범위 • 점진적 주사 및 비월 주사 • 전송률에 따른 다양한 객체별 코딩 방법 제공 • 형태 코딩, 텍스쳐 코딩, 메시 코딩 및 애니메이션 변수 코딩 등 • 내용 기반(content-based) 코딩 • 임의 형태(arbitrary shape) 코딩 • 비디오 객체 단위로 독립적 인코딩 및 디코딩 가능

  47. MPEG-4 • 확장 적응성(scalability, 스케일러빌러티) • 공간적으로 최대 11단계 지원 • 시간적으로 최대 3단계 지원 • FGS (Fine Grain Scalability) 프로화일 • 응용 시스템의 컴퓨팅 파워와 전송 대역폭이 매우 급변해서 예측이 불가능한 스트리밍에 적합한 스케일러빌러티를 정의 • 고장 감내성 • 오류 발생이 빈번하거나 데이터 전송률이 매우 낮은(64kbps 이하) 환경에 사용 가능한 코딩 알고리즘 제공 • 애니메이션 • 인조 합성 객체 구성 및 코딩에 대한 기능 제공 • 얼굴과 몸 애니메이션

  48. MPEG-4 • MPEG-4 코딩 • 형태 코딩 • 이진 알파(binary alpha) 데이터 • 0과 1로 형태 표현 • 그레이 형태 마스크(gray shape mask) • 그레이 값을 통해 객체 이미지의 투명 정도를 세밀하게 표현 • 픽셀당 8-bit 정규화 값 • 256 단계: 0(객체 밖) ~ 255(불투명 객체 내) • 텍스쳐 코딩 • 인트라 코딩 및 인터 코딩 • I, B, P-VOP • 경계 사각형(boundary rectangle)을 매크로 블록으로 분할

  49. MPEG-4 • 경계선 코딩 • 임의 형태 객체에서 경계 사각형 내의 객체 밖 픽셀 정보는 비효율적인 DCT 변환의 요인 • 패딩(padding)을 통한 효율적인 코딩 기법 제공

  50. MPEG-4 • 스프라이트 (sprite) 코딩

More Related