디지털 신호처리 (DSP : Digital Signal Processing )

1. 디지털 신호처리(DSP: Digital Signal Processing)

2. Contents • 압축의 개요와 종류 • 음성신호압축 • 영상신호압축 • 영상압축의 주요 기술

3. 압축의 개요와 종류 • 개요 • 압축의 종류 • 오디오 압축의 발전 • 영상 압축의 발전

4. 디지털 신호처리 개념도

5. 압축의 개요 • 압축(compression)과 신장은 원신호의 의미를 손상하지 않는 범위에서 전송데이터를 적게 할 목적으로 데이터를 줄여서 보내고 수신 측에서 복원하는 것을 뜻한다. • 압축은 Source Coding시 이루어진다. • 정보의 압축을 위해 일반적으로 활용되는 정보의 성질들로는 다음의 세 가지가 있을 수 있다.  공간적 상관관계  시간적 상관관계  정보 구성 기호(symbol)의 발생 확률

6. 전형적인 정보압축 시스템 개념도

7. 압축의 종류 • 통계적 중복성 • 시간 및 공간적 중복성(예측 가능 정보) • 지각 시스템(인지범위)

8. 통계적 중복성(Statistical Redundency) - 허프만(Huffman) 코딩기법(VLC, RLC) 사용 - 확률적으로 가장 많이 나오는 데이터를 가장 적은 비트로 할당(VLC) - 동일하게 반복적인 값을 다른 값으로 대체(RLC) - Text의 압축에 효과적이어서 WinZip에 응용 ☞ VLC : Variable Length Coding, 가변 장(길이) 부호화 ☞ RLC : Run Length Coding, 줄 길이 부호화 ☞ WinZip is a file archiver and compressor for Microsoft Windows, developed by WinZip Computing (formerly Nico Mak Computing).

9. 시간 및 공간적 중복성(예측 가능 정보) - 이전 값과의 차이 값(difference)만을 전송해서 의미를 전달 - 공간축에서는 옆에 있는 정보의 차이 값만을 전송 - DPCM, MC 를 이용 ☞ DPCM : Differential Pulse Code Modulation ☞ MC : Motion Compensation

10. 지각 시스템(인지범위) - 사람 눈에 보이지 않거나 귀에 들리지 않는 데이터나 정보는 보내지 않는다. - 사람 눈의 특성은 저주파에는 민감하고 고주파에는 덜 민감하므로 고주파 성분을 제거해서 전송한다. - 사람 귀의 특성에서 상대적으로 큰 소리 주변의 작은 소리는 들리지 않으므로 빼고 전송한다. - DCT, 최소가청한계, Masking 효과 이용 DCT : Discrete Cosine Transform, 이산 코사인 변환 낮은 주파수에 대해서는 모든 레벨에 대해서 데이터 출현확률이 거의 일정한 반면, 주파수가 높아질수록 높은 레벨에서의 데이터 출현확률은 급격히 떨어진다. 효율적인 압축을 위해서는 반드시 영상 데이터를 여러 개의 주파수 성분으로 분리해야 하며, 이 상태에서 비로소 고역부분의 스펙트럼에 대해서 압축할 수 있다.

11. 오디오 압축의 발전 • 음성(Voice) 압축 : 1972년   64kbps   PCM (Pulse Code Modulation)    : 1974년   32kbps   ADPCM (Adaptive Differential PCM)    : 1992년   16kbps   LDCELP (Low Delay Code Excited Linear Prediction) • 음향(Audio) 압축 : 1984년   오디오 부호화 : 1992년   MPEG-1 (Audio Layer 1, 2, 3)    : 1994년   MPEG-2 Audio (5.1CH 할당, 음성다중 사용 가능)

12. 영상 압축의 발전 • 정지영상 : FAX (Group 3, 4)    : 1992   JPEG (Color 이미지 전송용) • 동영상 : 1984   영상을 PCM으로 전송 : 1992   H.261 영상 전화기술 등장 : 1992   MPEG-1 비디오(CD 디자인 1.44Mbps)    : 1994   MPEG-2 비디오(H.262) • 영상정보의 특성 - Redundancy가 크다  압축 가능 - Correlation이 크다  예측 가능 - 손실허용 가능(data 통신과 비교 시) - 대역폭이 넓다(6MHz) 압축 필히 필요 - Low Level에 Energy 집중  비직선 양자화 필요  ☞ H.261 is a 1990 ITU-T video coding standard originally designed for transmission over ISDN lines on which data rates are multiples of 64 kbit/s. ☞ H.262 is an ITU-T digital video coding standard.

13. PCM / DPCM / ADPCM • PCM (Pulse Code Modulation): 표본화 후 양자화하는 것 • DPCM (Differential PCM): 앞의 표본 값과의 차이 값만을 저장하는 방식 • ADPCM (Adaptive Differential PCM): 차이가 많이 나는 부분은 큰 비트 수를, 차이가 적게 나는 부분은 작은 비트 수를 할당하는 방식

14. 음성신호 압축

15. 음성의 디지털 Coding 방식의 비교

16. PCM • PCM : Pulse Code Modulation, 펄스 부호 변조 • 연속적으로 변화하는 아날로그 신호(영상, 음성)를 이산적인(discrete) 디지털 부호로 변환하기 위한 기술 • 1937년 프랑스의 A. H. Reeves에 의해 발표된 전송신호의 변조방법에 관한 이론

17. PCM 원리: PCM 의 개념도

18. PCM 통신의 계층적 요소 기능

19. PCM

20. PCM의 기본 구성

21. D/A 변환기 구성도

22. PCM 과정(analog → digital → analog)

23. PCM 송수신 신호처리 계통도

24. 필터링(Filtering)

25. 표본화 • 표본화(sampling): 연속적인 파형을 일정 주기의 펄스 진폭으로 대표시키는 PAM (Pulse Amplitude Modulation) 조작 • 표본화 정리: Exact reconstruction of a continuous-time baseband signal from its samples is possible if the signal is bandlimited and the sampling frequency is greater than twice the signal bandwidth. Ts ≤ (1/2fm) • 표본화 잡음 : 송신기 여파기(wave filter)의 고주파 차단 특성이 불량하여 표본화 주파수의 ½ 이상이 송신 게이트로 들어와 발생하는 잡음

26. 표본화 주파수 및 주기의 비교

27. 양자화 • 양자화(quantization) : 연속적인 진폭값을 유한한 수의 진폭값에 대응시킨 것(PAM의 진폭을 디지털량으로 변화시키기 위한 계단 모양의 근사값), 즉 연속적으로 변화하는 어떤 값을 불연속적인 대표값으로 나타내는 것 • 양자화 잡음(quantization noise) NQ = Q(양자화 파형) – S(원파형) • 양자화 잡음비(S/NQ : Signal to quantizing noise ratio) 개선  양자화 step 수를 2배 할 때마다 S/NQ 는 6dB씩 개선

28. 양자화 잡음 원 신호(S)와 양자화 파형(Q)과의 사이에 존재하는 차이를 양자화 잡음(Quantization Noise)이라 한다.

29. 양자화

30. 압축, 신장(Compression, Expansion) - 선형(균일) 양자화: 특성의 스텝폭이 전 입력 신호 레벨에 대해서 동일한 스텝 크기로 양자화한 것. 압축기 사용 후 직선 양자화 부호화(등가적 비직선 양자화 PCM 방식 적용) - 비선형 양자화: 양자화, 부호화를 하는 부호기 자체의 비직선성 이용. 작은 진폭에 대해서는 작은 스텝으로 근사시키고, 큰 진폭에 대하여는 큰 스텝으로 양자화한 것

31. 압·신 특성과 비직선 양자화의 방식

32. 압축과 신장 ▶큰 신호 값을 가지는 부분보다 작은 신호 값을 가지는 부분에서 양자화 간격을 좁게 하는 로그함수 곡선(Logarithmic) 특성을 이용하여 송신에서는 압축기(Compressor)를 사용하고, 수신측에서는 변형된 신호를 원래대로 복구하는 신장기(Expander)를 사용하며 이것을 합쳐서 압신(Companding)이라 하는 것이다. ▶압신기는 작은 신호는 양자화 스텝을 작게 하고 큰 신호는 양자화 스텝을 크게 해 전 신호레벨에 대해서 양자화 잡음 비를 가급적 균등하게 하는 것이다.

33. 부호화 • Coding, Encoding • 양자화에 의해 얻어진 불연속값을 펄스 부호로 대응시키는 조작 • A/D 변환기에는 병렬과 직렬의 두 방식이 있는데, 디지털 통신에는 직렬부호 펄스가 필요하다.

34. 영상신호 압축 • 데이터 압축의 기법 : 무손실 기법, 손실 기법 • 무손실 압축 - Run Length 부호화 - Huffman 부호화 - Lempel-Ziv 부호화 • 손실 압축 - DCT 변환 - 양자화 기법 - 예측 기법 : PCM, DPCM, ADPCM

35. 데이터 압축의 기법 • 무손실(lossless) 기법: 가역 압축 - 무손실 기법을 사용하여 압축한 결과를 복원할 경우 원래의 데이터를 그대로 재현할 수 있다. - 무손실 기법을 사용할 경우 일반적인 사진에서는 2:1 또는 3:1 이상의 압축효과를 얻기 어렵다. - 엑스레이 사진과 같이 점 하나가 갖는 의미가 중요한 경우에는 무손실 기법을 사용한다. - WinZip • 손실(lossy) 기법: 비가역 압축 - 손실기법을 사용할 경우에는 무손실 기법 이상의 압축효과를 얻을 수 있다. - 사진을 사용하는 대부분의 응용분야에는 데이터의 크기를 줄이는 것이 더 중요하며 따라서 손실기법이 더 널리 사용된다. - JPEG, MPEG

36. 압축 기법의 분류

37. 무손실 압축 • Run Length 부호화 • Huffman 부호화 • Lempel-Ziv 부호화

38. Run Length (RL) 부호화 AAAABBBBBCCCCCCCCDEEEE  4A5B8C1D4E 22 byte  10 byte (압축률 = 22/10 = 2.2) Run Length 부호화 반복되어 나타나는 블록(run) 정보들을 그 반복 횟수(length)로 표현하는 부호화

39. Huffman 부호화 • 각 단위 정보를 표현하는 비트 수를 단위 정보들의 출현 빈도를 기반으로 할당하는 것 • 빈도가 높은 정보는 적은 비트 수를 사용하여 표현하고, 빈도가 낮은 정보는 비트 수를 많이 사용하여 표현함으로써 전체 데이터의 표현에 필요한 비트의 양을 줄일 수 있다.

40. Lempel-Ziv (LZ) 부호화의 개념 • 텍스트 데이터에서 단위 정보를 한 개의 글자 대신 한 개의 어구로 설정 • 동일한 어구가 반복적으로 나타나는 경우 맨 처음 그 어구가 나타난 문서상의 • 위치 정보를 이용하여 그 이후에 나타난 어구들을 부호화

41. 손실 압축 손실압축(비가역 압축)은 JPEG, MPEG과 같이 복호(decode)시에 원 데이터의 일부가 손상되는 반면, 압축률은 매우 높다. 디지털 비디오/오디오 시스템에서 보편화된 압축방식은 실용적인 압축비를 제공하는 비가역 압축이며, 다소의 데이터 손실이 있더라도 실용상 거의 지장이 없다. • DCT 변환 • 양자화 기법 • 예측 기법

42. DCT 변환 • JPEG(정지영상 데이터 압축 표준)이나 MPEG과 H.261(동영상 데이터 압축 표준) 등의 부호화 과정에서 이용되는 Discrete Cosine Transform (DCT)은 2차원 행렬로 정의된 영상데이터를 공간 영역(spatial domain)에서 주파수 영역(frequency domain)으로 변환하는 방법이다. DCT는 다양한 종류의 영상 데이터의 변환에 적용되며, 변환 후 양자화 과정을 거쳐 무손실 압축 기법으로 압축하였을 때 높은 압축률을 얻을 수 있으므로 많이 이용된다. • 특 징 : 낮은 전송 속도에서 좋은 영상 재현 : 실시간 처리 곤란(단점)  고속 계산 방법 개발, 고속 VLSI 상용화로 보완

43. DCT 처리과정

44. 양자화 기법 • 양자화는 양자(quantum)로 불리는 미리 정의된 정보들을 이용하여 데이터를 부호화하는 방법이다. 이 방법에서는 양자를 이용하여 주어진 데이터를 정확하게 부호화할 수 없는 경우, 주어진 데이터와 가장 비슷한 데이터를 복원할 수 있는 부호를 생성한다. 양자로 이용되는 정보들이 스칼라(scalar) 값이면 스칼라 양자화, 벡터(vector) 값이면 벡터 양자화라고 한다. ▶다음 페이지의 그림은 아주 간단한 스칼라 양자화의 예를 보여주고 있는데, 4를 양자로 이용하여 4의 배수로 양자화하는 것이다. 여기서 49는 4의 배수가 아니므로 49와 제일 가까운 4의 배수인 48을 대신 이용하여 12로 부호화함을 보이고 있다. ▶벡터 양자화의 경우에는 입력된 데이터를 벡터로 분할한 후 벡터들을 미리 사전(dictionary)에 정의되어 있는 벡터 양자들을 이용하여 부호화한다.

45. 4의 배수를 이용한 수열의 양자화 양자화 전의 데이터 4의 배수로 양자화한 데이터 스칼라 양자화의 예 4를 양자로 이용하여 4의 배수로 양자화하는 것. 여기서 49는 4의 배수가 아니므로 49와 제일 가까운 4의 배수인 48을 대신 이용하여 12로 부호화함을 보이고 있다.

46. 예측기법 미래에 대한 예측이 가능하다면 이를 활용하여 압축에 이용할 수 있다. 부호화의 관점에서 보면 예측기법(predictive technique)은 이전 정보를 바탕으로 다음 정보를 예측하고 예측값과 원래값 사이의 오차를 소량의 오차 보정 정보를 이용하여 보정함으로써 원래 정보를 복원한다. • PCM PCM (Pulse Code Modulation) 변환은 가장 기본적인 변환 기법으로 아날로그 신호로 들어오는 데이터를 표본화(sampling) 양자화(quantization)를 거쳐 디지털 신호로 변형하는 기법을 말한다. 이 PCM 변환은 데이터 통신과 멀티미디어에서 광범위하게 사용되고 있으며 가장 흔하게 보는 PCM 변환은 모뎀과 음성 압축일 것이다.

47. DPCM (differential pulse code modulation) 예측 기법은 근접한 픽셀들의 값을 비교하여 그 차이(difference)만을 전송하며, 복원할 때는 차이 정보를 이용하여 이전의 값으로부터 새로운 픽셀의 값을 계산한다. 모든 픽셀들의 값을 바로 전송하는 것보다 연속된 픽셀들의 값의 차이만을 전송하는 것이 훨씬 효율적일 수 있다. • ADPCM DPCM 사용시의 문제점을 해결하기 위해서 ADPCM (Adaptive DPCM)을 사용하면 기울기 과부하에 의한 왜곡을 많이 줄일 수 있다. ADPCM 구현 방법은 값의 차이를 나타내는 비트의 수를 적절하게 변화시키는 것이다.앞의 예에서 검은색에서 흰색으로의 변화가 있다는 것을 미리 안다면 비트 수를 그에 맞게 증가시킨다. 이 과정이 지나면 이전에 사용하던 비트 수로 복귀한다. 복원 시스템이 비트 수를 변화시키려면 압축된 영상의 어딘가에 비트 수의 변화를 알리는 정보가 기록되어 있어야 한다. 다시 말해서 ADPCM의 구현을 위해서는 추가적인 데이터 연산이 필요하다.

48. 영상압축의 주요기술 • JPEG • MPEG • 영상압축기법의 종류

49. JPEG • Joint Photographic Experts Group • JPEG는 사진정보의 압축방식을 표준화한 그룹의 이름이다. • JPEG 손실 기법 표준에서는 서브샘플링과 주파수 변환기법을 함께 사용한다. • JPEG의 영상 압축 절차 • 화상을 8ⅹ8 pixel 단위로 분할 • 화상을 주파수 성분으로 분할 (DCT) • 자연화상에 저주파 성분이 많고 고주파 성분이 적음  저주파는 조밀하게, • 고주파는 엉성하게 처리 (비직선 양자화) • Huffman code 를 이용한 부호화

50. MPEG • Moving Picture Experts Group • 동영상을 압축하고 코드로 표현하는 방법의 표준을 만드는 것을 목적으로 하는 동화상 전문가 그룹이다. (1988년 설립) • 정지된 화상을 압축하는 방법을 고안한 JPEG과는 달리, 시간에 따라 연속적으로 변화하는 동영상 압축과 코드 표현을 통해 정보의 전송이 이루어질 수 있는 방법을 연구하고 있다. • MPEG의 동영상 압축 기법은 시간적 중복 및 공간적 중복을 제거하는 기법에 그 기반을 두고 있다.