1 / 73

5 장 사운드

5 장 사운드. 5.1 사운드의 개요 사운드는 크게 음악 , 음성 , 음향 효과의 세 분야로 나눌 수 있다 . 음악과 음성처럼 독자적으로 사용하기도 하지만 , 영화나 에니메이션과 같은 멀티미디어 환경에서는 같이 혼재되어 사용함 5.1.1 개요 사람이 가지고 있는 오감 ( 시각 , 청각 , 촉각 , 미각 , 후각 ) 중 주로 사용되는 정보 전달의 수단은 시각과 청각이다. 정보 전달 시 사운드를 이용함으로 써 얻는 장점

sonel
Download Presentation

5 장 사운드

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 5장 사운드

  2. 5.1 사운드의 개요 • 사운드는 크게 음악, 음성, 음향 효과의 세 분야로 나눌 수 있다. • 음악과 음성처럼 독자적으로 사용하기도 하지만, 영화나 에니메이션과 같은 멀티미디어 환경에서는 같이 혼재되어 사용함 5.1.1 개요 • 사람이 가지고 있는 오감(시각, 청각, 촉각, 미각, 후각) 중 주로 사용되는 정보 전달의 수단은 시각과 청각이다. 2

  3. 정보 전달 시 사운드를 이용함으로 써 얻는 장점 • 미디어의 상승 효과 : 여러 미디어를 같이 사용할 수록 정보 전달 효과가 커짐 • 동기 유발 : 여러 미디어를 혼합함으로써 피 정보 전달자의 동기나 흥미 유발 • 청각, 시각, 청각+시각 정보 전달의 비교 • 정보 전달의 필요한 정보를 전달할 때  청각 정보를 사용하면 정보의 전달 효과가 커지게 된다 5.1.2 사운드의 종류 • 일반적으로 사운드는 음성, 음악 , 음향 효과의 세가지로 분류하고, 컴퓨터에서 처리하는 방법에 따라서는 디지털 오디오(digital audio)와 미디(MIDI)로 분류     3

  4. 일반적인 분류 4

  5. 컴퓨터에서 사운드를 처리하는 방법에 따른 분류 5

  6. 5.1.3 사운드의 제작 과정 • 계획(plan) • 작업에 대한 계획을 세우고, 필요한 조건 검토 • 최종 결과에서 사용될 사운드에 대해 설계 • 녹음(record) • 현실 세계의 소리를 사운드 도구를 이용하여 녹음 • 변환(capture) • 녹음된 사운드(아날로그 형태)를 컴퓨터에서 처리가능한 디지털 형태로 변환 • 편집(edit) • 원하는 목적에 맞게 사운드 편집 프로그램을 이용하여 편집(edit) 또는 믹싱(mixing) 6

  7. 5. 저장(store) • 편집이 끝난 중간 결과를 원하는 포맷으로 저장 • 통합(integrate) • 최종 결과를 만들기 위해 저장된 사운드를 다른 프로그램과 통합 • 연주(playback) • 최종결과를 재생하여 보완될 점을 수정 디지털 사운드의 제작 과정 7

  8. 5.2 사운드의 기본 개념 • 사운드는 음원에서 물체가 진동하여 공기라는 매체의 압력을 변화시킴으로써 생성되고 , 이 변화는 파형(waveform)의 형태로 우리 귀에 전달 • 사운드를 처리하는 것은 이러한 파형을 가공, 편집하는 것을 의미 소리가 전달 되는 과정 8

  9. 5.2.1 사운드의 기본 요소 • 사이클(cycle) : 일정한 시간 간격마다 반복되는 동일한 모양 • 주기(period) : 한 사이클이 걸리는 시간 • 어느 정도의 주기를 갖고 있는 사운드가 그렇지 않은 사운드보다 음악적으로 들림 • 사운드를 구성하는 3 요소 • 주파수(frenquency) : 음의 높낮이와 관련 • 진폭(amplitude) : 음의 크기와 관련 • 음색(tone color) : 음의 특성 9

  10. 주파수와 진폭 10

  11. (1) 주파수 • 소리의 높낮이를 결정 (주파수가 높으면 고음, 낮으면 저음) • 사람이 낼 수 있는 주파수 대는 약 100Hz ~ 6KHz • 사람의 가청 주파수 대는 약 20Hz ~ 20KHz • 사람의 청각은 1KHz ~ 6 KHz 에 가장 민감 • 사람의 가청 주파수대를 오디오(Audio)라고 구분하여, 사운드를 처리하는 것이 오디오를 처리하는 것과 같다고 보는 생각도 있음 11

  12. (2) 진폭 • 파형의 기준선에서 최고점까지의 거리를 의미하며 소리의 크기와 관련(진폭이 크면 큰소리, 작으면 작은 소리) • 소리의 크기는 음압 변화의 비율로 표현 • 사람의 귀는 소리의 크기의 변화보다 변화의 비율(logarithm)에 영향을 받음 • 소리의 크리를 표현 할 때에는 소리의 크기에 로그 값을 취한 bel로 표현하고, 사용 시에는 bel값을 10배한 decibel을 사용 • 기준 음압을 P0음압을 P라하면 음압레벨 (dB) = 10 x 2 log (P/P0) • 인간이 가장 편하게 들을 수 있는 소리의 범위는 0db ~ 90db 12

  13. 음의 크기와 소리의 예 (3) 음색 • 음의 높이와 크기가 같아도 악기마다 고유한 특징이 있는데 이를 음색이라고 함 13

  14. 5.2.2 디지털 사운드로의 변환 • 파동(wave)은 원래 아날로그 형태인테 컴퓨터에서 처리하기 위해서는 디지털 형태로 변환되어야 함 • 컴퓨터에서 처리하기 위해 사운드 입력 부분에서 ADC(Analog-to-Digital Converter)를 이용하고, 실세계에서 듣기 위해서 사운드 출력 부분에서 DAC(Digital-to-Analog Converter)를 이용 아날로그 신호와 디지털 신호 간의 변환 과정 14

  15. 디지털로 변환 과정은 표본화(Sampling), 양자화(Quantizing), 부호화(Coding) 과정을 거치게 됨 • 표본화 • 아날로그 파형을 디지털 형태로 변환하기 위해 표본을 취하는 것을 의미 • 표본화율(Sampling Rate) : 1초 동안에 취한 표본수(디지털화하는 횟수)를 말하며, 단위는 주파수와 같은 Hz를 사용 15

  16. (a) 아날로그 파형 (b) 표본화된 파형 아날로그 사운드의 표본화 16

  17. 표본화율이 높을수록 원음에 가까운 음으로 디지털화 되지만 데이터 양이 증가 표본화 율의 차이 17

  18. 표본화를 많이 할 수록 원음을 잘 표현할 수 있으나 데이터 저장을 위한 공간 증가 • 주파수에서의 Hz는 1초에 주기가 몇 번 있는 가를 의미하고, 표본화에서의 Hz는 1초에 몇 번 표본화 되는가를 의미 • 나이키스트 정리(Nyquist theorem) • 표본화 시 원음을 그대로 반영하기 위해서는 원음이 가지는 최고 주파수의 2배 이상으로 표본화 해야 한다. • 음악 CD인 경우 표본화 율이 44.1KHz이고 여기서 재생할 수 있는 최고 주파수는 22.05KHz임(사람의 귀는 20KHz 이상의 사운드는 감지할 수 없음) 18

  19. (2) 양자화 • 디지털 형태로 표현할 때 어느 정도의 정밀도를 가지고 표현할 것인지를 의미. 즉 표본화된 각 점에서 값을 표현하기 위해 사용되는 비트 수 • 음의 해상도 : 값을 표현하는 정밀도 (Sampling Resolution, Sampling Size) • 8 bit로 양자화를 하면 값을 256(28) 단계로 표현할 수 있지만, 16bit로 양자화를 하면 좀 더 세밀한 65536(216) 단계로 값을 표현할 수 있음 19

  20. (a) 2 bit 양자화 (4단계) (b) 3 bit 양자화 (8단계) (c) 4 bit 양자화 ( 16단계) 아날로그 파형의 양자화 • 음악 CD인 경우는 16bit로 값을 표현하는데 이는 음을 65,536 단계로 표현하고 있다는 것을 의미 20

  21. 아날로그 신호에 포함되는 잡음(noise)의 성분보다 높은 정밀도를 사용하게 되면 잡음도 원음으로 간주하여 양자화를 함. 따라서 양자화 과정에 사용되는 비트 수는 신호대 잡음의 비율인 S/N(Signal to Noise)비와 진폭의 최고점과 최저점 사이의 범위(Dynamic Range)를 고려하여 결정 (a) 원래의 파형 (b) 낮은 표본화와 양자화 (c) 높은 표본화와 양자화 표본화 및 양자화 정도에 따른 비교 21

  22. (3) 부호화 • 표본화와 양자화를 거친 디지털 정보를 표현하는 과정 • 사운드 화일은 크기가 크기 때문에 부호화한 과정에서 일반적으로 압축하여 저장 22

  23. 5.3 사운드의 저장과 고품질화 5.3.1 디지털 파형의 저장 방식 • 아날로그 사운드를 부호화 하는 방식으로는 PCM 방식이 있는데 이 방식은 파일의 크기가 커서 ADPCM 방식을 주로 사용 (1) PCM 방법(Pulse Coded Modulation) • 입력된 값 그대로를 기록하는 방법 • 압축을 하지 않기 때문에 용량이 큼 • CD나 DAT(Digital Audio Tape) 등에서 사용 23

  24. (a) PCM 방식 (b) ADPCM 방식 디지털 파형의 저장 방식 (2) ADPCM 방법(Adaptive Differential Pulse Coded Modulation) • 국제 멀티미디어 협회(IMA;International Multimedia Association)에서 제안한 방식 24

  25. 그림 [ADPCM]에서와 같이 표본화 된 신호의 차이를 저장하는 방식 • 차이만을 저장하는 방식은 DPCM(Differential Pulse Coded Modulation)이라고 함 • DPCM은 인접한 값과의 차이가 크면 비효율적이 됨 • ADPCM : DPCM에서 인접한 값과의 차이가 크면 진폭을 나누는 단계를 크게 하고, 차이가 작으면 진폭을 나누는 단계를 작게하여 가변적으로 차이를 정밀하게 저장 • 기본적으로 PCM 방법으로 기록한 것과 내용이 같으나 데이터 압축에 의한 값을 기록하므로 최대 4:1 까지 압축이 가능 • 멀티미디어 협회에서 기본적인 알고리즘을 정의하였으나, 업체마다 다르게 구현하여 상호 호환성이 없음 25

  26. 5.3.2 디지털 사운드 파일의 크기 [시연] 표본화, 양자화 및 모드에 따른 음질의 비교 26

  27. 파일의 크기 • 파일의 크기 = 표본화율 x 해상도 x 모드(mono=1, stereo=2) x 시간(초) • 1분 길이의 음악 CD = 44100 (Hz) x 16 (bit) x 2 (stereo) x 60 (초) = 84,672,000 bit = 10,584,000 byte = 10.6 MB • CD 한 장의 용량이 650MB이므로 그 안에는 약 10곡에서 15곡의 음악이 저장 가능 27

  28. 5.3.3 고품질 사운드의 획득 • 사운드를 어디에 사용할 것인지를 고려하여 표본화율과 해상도를 결정 • 아날로그 신호가 들어 오면 먼저 표본화율(Sampling Rate)보다 높은 고주파 성분을 제거 • 전처리 필터(Prefilter: Low-pass filter)를 통하여 표본화율의 1/2보다 높은 고주파 성분을 제거 • ADC(Analog-Digital-Converter)에 의해 표본화, 양자화 과정을 거쳐 디지털 신호로 변환, 부호화 • 부호화된 디지털(bit stream) 정보를 DSP(Digital Signal Processor)에서 원하는 목적에 맞게 편집, 가공, 저장 28

  29. 5. 출력시에 DAC(Digital-Analog-Converter)를 거쳐서 아날로그 파형으로 변환. 이 때 가청 주파수보다 높은 고주파 성분 발생 • 고주파 성분을 제거 시키기 위해 후처리 필터(Postfilter: Low-pass filter)를 통과시켜 최종적인 아날로그 신호로 변환 아날로그 파형의 디지털 과정 29

  30. 아날로그 파형을 디지털로 변환하는 과정 중 여러 부분에서 잡음이 발생할 수 있는데, 여기서는 크게 표본화 과정과 양자화 과정 그리고 기타 부분으로 나누어 살펴본다 (1) 표본화 과정 • 앤티앨리어싱(Antialiasing) • 표본화할 때 표본화 주파수의 1/2보다 큰 주파수가 있을 경우에 그대로 디지털화 하면 표본화 주파수의 1/2보다 큰 주파수가 표본화 되는 주파수 영역으로 들어와 잡음으로 존재 : 앨리어싱(aliasing) • 사운드에 원래 고주파 성분이었던 울림이 없어지고 저주파수의 방해음이 발생 • 절환 오차 30

  31. (2) 양자화 과정 • 양자화 오차 • 아날로그 파형을 양자화 비트로 표현하면서 발생하는 값의 차이 • 이를 최소화하기 위해서는 양자화 비트 수를 늘려주어야 함 • 디더링(Dithering) • 아날로그 파장을 디지털 형태로 바꾸는 과정에서 미소한 잡음(White Noise 또는 Dither Noise) 성분을 인위적으로 첨가하여 양자화 잡음과 음의 왜곡을 줄이는 방법 (3) 기타 고려사항 • 클리핑(Clipping) • 원음의 진폭이 기계가 수용하는 진폭보다 크거나, 양자화 하여 나타낼 수 있는 진폭보다 큰 경우에 발생 31

  32. (a)원래의 파형 (b) 클리핑 후의 파형 (c) 정규화된 파형 클리핑 • 지터(Jitter) 에러 • 디지털 신호의 전달 과정에서 일어나는 시간 축상의 오차, 즉 신호가 지연되어 전달되거나 기기 간의 저항(impedance)이 제대로 매칭(matching)되지 못해 발생하는 신호의 왜곡 • 지터 에러가 심하면 음이 '찌직'거리거나 '따닥 따닥'하는 정전기성 잡음이 들림 32

  33. 5.4 디지털 오디오 시스템 5.4.1 사운드 하드웨어 • 사운드는 마이크나 CD같은 곳에서 아날로그 파장으로 입력되어 오디오 인터페이스 카드(사운드 카드)에서 디지털 형태의 데이터로 변환되어 처리됨 • 출력 시에는 오디오 인터페이스 카드에서 디지털 형태의 데이터를 아날로그 파장으로 변환하여 앰프나 스피커로 출력함 • 실제로 사운드 카드의 기본적인 기능은 아날로그와 디지털 간에 변환을 하는 ADC, DAC임 • 요즘 사운드 카드는 이러한 순수한 인터페이스 기능 외에 음원칩, DSP(Digital Signal Processing) 등이 추가되어 데이터의 가공, 편집 등의 향상된 기능을 제공 33

  34. 사운드 카드의 개략도 34

  35. (1) 사운드 카드 • PC에서 최초의 사운드 카드는 1987년 캐나다의 Adlib사에서 제작한 Adlib이라는 사운드 카드임 • 일본의 Yamaha사의 YM-3812 칩을 사용하여 11중 화음의 연주가 가능 • FM 음원을 사용하여 음이 자연스럽지 못하고 음성처리 불가능 • Creative사에서 SoundBlaster카드 발표 • PCM 방식의 사운드 카드 • 실질적인 사운드 카드의 표준 35

  36. 사운드 카드의 향상된 기능 • 16 bit사운드 카드로 발전 • 향상된 음원칩 내장 데이터 전송 방법의 발달(ISA => PCI) • 디지털 입출력 단자(S/PDIF)의 제공 • 인터넷 상에서 음성통신을 하기 위해 양방향(full-duplex) 기능을 지원 • 3차원 입체 음향을 효과적으로 제공하는 방향으로 발전 • 요즘에는 Dolby-Surround 지원이나 3D 지원 같은 고급 기능이 지원되는 카드가 많이 나오고 있음 • 기본적으로 아날로그 파형과 디지털 파형과의 상호 변환(ADC/DAC)을 지원 • 음원칩을 내장하고 있어서 MIDI 지원 가능 36

  37. (2) 앰프와 스피커 • 사운드를 들을 경우 사운드 카드나 앰프 등의 영향보다 스피커의 영향이 제일 큼(사람이 느끼기에 약 70% 정도) • 양질의 음을 듣기 위해서는 앰프와 저음부를 잘 재생하는 우퍼(Woofer)를 이용 • 근래에는 사운드 카드에 맞추어 서라운드나 3D를 지원하는 스피커나 앰프가 나오고 있음 37

  38. 5.4.2 사운드 처리 소프트웨어 (1) 사운드 편집 소프트웨어 • 디지털 형태의 사운드를 편집하는 소프트웨어들의 기본 기능은 유사함 • 사운드를 캡쳐(Capture), 편집, 가공하는 기능, 여러 트랙에 대한 편집 기능 등은 대부분 소프트웨어에서 지원 • 그 외의 특수 효과의 지원 정도와 기능의 확장성(plug-in 등)에서 약간의 차이 있음 • GoldWave • Sound Forge 38

  39. Cool Edit Pro • 최대 198KHz까지의 표본화율의 지원, ActiveMovie 및 DirectX plug-in 제공 • 트랙별 진폭조절 기능과 패닝 조절, 자동 silience 삭제, 다단계 undo 등 전문적인 디지털 오디오 편집 기능 제공 • MPEG filter가 있어 이를 설치하면 MPEG audio 부분 지원 가능 • SMPTE/MIDI 를 지원하는기능이 있어서 사운드를 비디오나 미디와 통합하기 쉬움 • 디지털 사운드를 미디로 변환하여 저장하는 기능 제공 39

  40. (2) 재생 프로그램 • 컴퓨터에서 주로 음악을 들을 때 사용하는 프로그램으로 주로 음악 CD나 MP3 파일을 들을 때 사용 • Win amp • 거원제트 오디오 • Sonic 40

  41. 5.4.3 디지털 사운드의 압축 방식 • 디지털 사운드는 용량이 크기 때문에 대부분 압축을 하여 사용함 • ADPCM • 앞에서 언급한 바와 같이 ADPCM은 이론적으로 표준화어 있지만 각 방식간의 호환성은 없음 • ITU-T(International Telecommunication Union-Telecommunication)에서 ADPCM 방식으로 32Kbps에서 음성을 전송할 수 있는 방식으로 G.721 제정 • 각 표본화 값의 차이를 4bit로 표현하고 표본화율(Sampling Rate)은 8KHz를 사용 41

  42. A-law, u-law • 음성 통신을 목적으로 정한 압축 방식 • 두 방식 모두 양자화 과정에서 오차를 줄이기 위해 만들었으며 비슷한 방식을 사용 • 사람은 대화시 큰소리의 변화보다는 작은 소리의 변화를 더 잘 감지한다는 사실을 이용한 비균등 코딩(Non-uniform Coding) 방식 • TrueSpeech • DSP(Digital Speech Products) 사에서 음성의 실시간 전송을 위해 만든 방식으로 3.7Kbps에서 8.5Kbps까지 전송 가능 • 사람과 사람이 대화할 때 대화 사이의 공백은 디지털 데이터로 전송할 필요가 없다는 사실을 이용하여 최대 40:1까지 압축 가능 42

  43. MP3 또는 MPEG Layer 3 • 동화상 압축 표준인 MPEG(Moving Picture Expert Group)에서 오디오 부분의 압축을 의미 • PCM 관련의 압축 방식과 다른 손실 압축(Lossy Compression) • MPEG-1의 오디오 부분의 Layer 3를 MP3라는 이름으로 사용 • MPEG-2의 오디오 부분은 AAC(Advanced Audio Coding)라고 하여 사용 • 음성 심리학적인 방법인 마스킹(Masking) 효과를 이용 • 마스킹 효과 : 큰소리와 작은 소리가 동시에 발생하면 작은 소리는 들리지 않게 되는 것처럼 어떤 소리에 의해 다른 소리가 가리워지는 현상을 의미 • MPEG-1의 오디오 트랙에는 Layer 1(압축률 1:4 정도), Layer 2(압축률 1:6 - 1:8 정도), Layer3(압축률 1:10 - 1:12 정도)가 있음 43

  44. RealAudio • RealNetwork사에서 실시간으로 음성을 보내기 위해 만든 압축 방식으로 별도의 서버가 필요 • 스트리밍 기술을 이용,실시간에 사운드를 전송받으며 재생할 수 있는 사운드 형식 • 네트워크 속도에 따라 선택적으로 전송 가능 44

  45. 5.4.4 디지털 사운드의 파일 포맷 • Wav • Microsoft사와 IBM 사가 PC상의 사운드 표준 형식으로 공동 개발 • Windows 기반 PC에서 주로 사용 • 머리(Header)와 몸체(Body)로 구성 • 머리 : 압축방식, 표본화율 등의 정보를 설정 • 몸체 : 머리 부분에서 정의한 형식에 맞추어 사운드 데이터를 저장 • 같은 wav확장을 가져도 구체적인 압축 방식은 상이할 수 있음 • 일반적으로 ADPCM방식이 많이 사용되고, 그 외에 Truespeech, u-Law등도 많이 사용 45

  46. Au • u-law 방식으로 압축된 형식으로 유닉스 환경에서 사용 • 일반적인 형식이며 다른 형식으로 변환하기 위한 크로스 플랫폼 형식 • Sun이나 NeXT가 표준으로 채택 • MP2, MP3 • 압축효과가 뛰어나고, 음질도 우수 • 인터넷 상에서 음악을 압축하는데 많이 사용 • Layer 2는 .mp2, Layer 3는 .mp3의 확장자를 갖음 46

  47. vqf(plug-In) • 일본 Yamaha사에서 만든 사운드 형식 • 압축율이 MP3보다 뫂고 파일 크기는 작음 • MP3가 사람과 음악 정보에 포괄적으로 적용되는 압축방식을 사용하고 있으나 VQF는 음악에 대해 특화된 압축 방식을 이용 • 압축률은 MP3에 비해 30%이상 향상되었으나 인코딩과 디코딩은 MP3보다 시간이 많이 걸림 • Real Audio (.ra, .rm) • 인터넷 상에서 스트리밍 기술을 이용, 실시간에 사운드를 전송받으며 플레이할 수 있는 사운드 형식 • 기존의 방식은 접속시 처음의 대역폭에 따라 음질이 결정 • 대역폭이 동적으로 변함에 따라 음질도 동적으로 변화시키는 SureStreaming이라는 기술을 이용하여 항상 최적의 음질을 재생시켜줌 47

  48. ASF(Advanced Streaming Format) • 1996년 인텔이 개발한 멀티미디어 파일 형식 • 통합 멀티미디어 파일로 파일 안에는 오디오, 비디오, 이미지, URL, 실행 프로그램까지 포함 가능 • 스트리밍방식을 지원하며 56K 모뎀 정도면 부드럽게 재생 가능 48

  49. 5.5 입체음향 • 모노 사운드로부터 시작한 사운드는 이제 단순한 2D 스테레오 사운드에서 벗어나 실세계에서와 유사한 느낌을 줄 수 있는 3D사운드로 발전하고 있음 • 이러한 3D 사운드 기술은 영화에서는 오래 전부터 활용되어 왔고, 최근에는 컴퓨터 특히 게임 분야에서 이용하고 있음 5.5.1 개요 • 입체 음향은 영화나 TV, 오디오 같은 분야에서는 서라운드(Surround)라는 방식으로 제공 • 컴퓨터 분야에서는 한 걸음 더 나아가 사용자의 입력에 영향을 받는 즉 상호작용을 지원하는 입체 음향을 이용 49

  50. (1) 서라운드(Surround) • 돌비 서라운드(Dolby Surround)가 가장 대표적 • 사람이 있는 위치를 기준으로 사방에서 소리를 들려주는 방식 : 공간감, 입체감 • 스테레오와 마찬가지로 청취자가 음의 중심점에 있어야 입체감을 적절하게 느낄 수 있음 Surround System 50

More Related