컴퓨터 과학도를 위한 첫 전공서

1. 컴퓨터 과학 개론 √ 원리를 알면 IT가 맛있다 컴퓨터 과학도를 위한 첫 전공서 ehanbit.net

2. Chapter 09. 멀티미디어

3. 학습목표 • 멀티미디어의 정의와 발전 배경을 살펴본다 • 멀티미디어 데이터 종류를 살펴본다 • 멀티미디어 시스템을 구성하는 하드웨어와 소프트웨어를 살펴본다 • 멀티미디어 데이터의 처리와 관련해서 이해를 높인다 • 여러 가지 압축 기법을 살펴보고 해당 압축 기술의 원리를 이해한다 • 멀티미디어가 활용되고 있는 여러 분야를 살펴본다.

4. Section 9. 멀티미디어 개요 • 멀티미디어(multimedia) 정의 • ‘다중’ 또는 ‘여러 가지’ 의미를 갖는 멀티(multi)와 ‘매체’ 또는 ‘매개 수단’ 의미인 미디어(media)가 합쳐져서 만들어진 합성어 • ‘다중 매체’ 또는 ‘여러 가지 매개 수단’ • 텍스트, 사운드, 이미지, 애니메이션 및 비디오와 같은 여러 형태의 각종 미디어를 컴퓨터를 통해 통합하고, 새롭게 표현하며 저장하는 기능 등을 가짐

5. 멀티미디어의 발전 • 고든 무어(Gordon Moore) • 로버트 노이스(Robert Noyce)와 함께 인텔을 창업 • 1965년에 반도체의 집적도가 18개월마다 2배로 증가한다고 주장 • 무어의 법칙

6. 멀티미디어 발전(계속) • 멀티미디어 기술의 발전 • 컴퓨터 하드웨어의 발전과 함께 진행 • CD-ROM과 DVD는 방대한 양의 멀티미디어 정보를 처리할 수 있는 저장매체 • 멀티미디어 데이터를 압축하고 복원하는 기술의 발전 • JPEG, MPEG, H.261, H.263 • 초고속 정보통신망 구축 • 고속 인터넷 환경 구축 • 홈쇼핑, 온라인 게임 및 가상대학 등의 분야에서 멀티미디어 기술 활용

7. 멀티미디어 데이터 • 텍스트(text) • 주로 숫자와 문자로 구성 • 멀티미디어 데이터 중에서 가장 일반적으로 사용되는 데이터 • 사운드(sound) • 단순한 소리나 악기 소리인 음악(music), 사람의 목소리인 음성(voice, speech) 등을 통칭 • 음파의 형태로 표현

8. 확대한 비트맵 이미지 확대한 벡터 이미지 멀티미디어 데이터(계속) • 이미지(image) • 비트맵 방식 • 그림을 픽셀(pixel)이라고 하는 여러 개의 점으로 표시하는 방식 • 벡터 방식 • 그림을 좌표 개념을 도입한 벡터 형태로 표시하는 방식

9. 멀티미디어 데이터(계속) • 애니메이션(animation) • 연속된 그림을 사용하여 표현하는 데이터 • 컴퓨터를 이용하여 1초에 24~30장의 그림(프레임)이 연속적으로 보이도록 제작 • 만화, 영화, 광고, 게임 등에 널리 활용 • 비디오(video) • 카메라를 사용하여 촬영한 연속적인 이미지 • 애니메이션이나 비디오의 경우 최소 초당 15프레임을 보여주어야 움직임이 있는 연속된 동작으로 인식

10. Section 2. 멀티미디어 시스템 • 멀티미디어 시스템의 구성 • 멀티미디어 데이터들을 이용하여 멀티미디어 컨텐츠를 제작하기 위해 필요한 하드웨어와 소프트웨어로 구성

11. 하드웨어 • 멀티미디어 시스템 하드웨어 • 스캐너(scanner) • 빛을 이용하여 문서나 사진 등을 미세한 점으로 분해하여 디지털 데이터로 입력하는 장치

12. 하드웨어(계속) • 디지털 비디오 카메라(digital video camera) • 주로 영상을 입력하기 위해 사용 • MIDI(Musical Instrument Digital Interface) • 컴퓨터 또는 전자악기 사이에 신호를 주고받기 위한 통일된 국제표준규약 • 사운드 카드를 기본으로 하여 신디사이저, 키보드, MIDI 소프트웨어 등으로 구성

13. 하드웨어(계속) • 그래픽 카드 • 컴퓨터와 모니터를 연결하기 위한 인쇄 회로기판 카드 • 비디오 보드(video board) • 방대한 양의 비디오 정보를 고속으로 압축, 저장하고 복원하여 모니터상에 재생 • 사운드 카드 • 컴퓨터에 장착되어 소리를 처리하는 하드웨어

14. 소프트웨어 • 멀티미디어 운영체제 • 멀티미디어 장치와 미디어 편집 소프트웨어, 멀티미디어 컨텐츠 저작도구 간의 인터페이스 제공 • 윈도우즈 계열의 운영체제 • 사용자가 손쉽게 다양한 멀티미디어 기능을 사용할 수 있도록 지원

15. 소프트웨어(계속) • 미디어 편집 소프트웨어 • 하드웨어를 통하여 입력된 데이터를 수정하고 편집하기 위해 사용되는 소프트웨어

16. 소프트웨어 –미디어 편집 소프트웨어(계속) 포토샵 페인트샵 프로 3D Studio MAX 플래시

17. 소프트웨어(계속) • 멀티미디어 컨텐츠 저작 도구 • 미디어 편집 소프트웨어 등을 이용하여 생성된 멀티미디어 데이터를 통합하여 CD-ROM 타이틀을 구성하고 웹 페이지를 제작하는 데 필요한 소프트웨어 • CD 타이틀 저작 도구 • 오서웨어(Authorware), 디렉터(Director), 툴북(ToolBook) 등 • 웹 페이지 저작 도구 • 프론트페이지(FrontPage), 드림위버(Dreamweaver), 나모 웹 에디터 등

18. Section 3. 멀티미디어 데이터 처리 - 텍스트 • 문자 코드 • 일반적으로 아스키 코드 사용 • 7비트(또는 8비트)를 사용하여 세계 여러 나라의 언어를 표현하는 데는 한계가 있음 • 유니코드(Unicode) • 16비트(2바이트)를 사용하여 세계 여러 나라에서 사용되는 모든 문자에 코드를 부여함 • 텍스트 파일 포맷

19. 사운드 • 음악(music), 음성(voice), 음향 효과(sound effect) • 공기의 진동인 음파로 사람의 귀에 전달 • 음파의 구성 • 주파수(frequency), 진폭(amplitude), 음색(tone color) 등 • 주기와 진폭

20. 사운드(계속) • 주파수(frequency) • 주기와 역수의 관계 • 소리의 높낮이를 결정하는 것 • Hz를 측정 단위로 사용 • 사람은 대략 20Hz부터 20KHz까지의 소리를 들을 수 있음 • 진폭(amplitude) • 파형의 기준선에서 최고점까지의 거리 • 소리의 크기와 관련 있음 • 소리의 크기는 데시벨(dB)이라는 단위 사용 • 사람이 가장 편하게 들을 수 있는 소리의 범위는 0dB부터 90dB 사이 • 음색(tone color) • 악기마다 고유한 소리의 특성을 가지고 있음

21. 사운드(계속) • 디지털 사운드로의 변환 • 마이크로폰에 의해 아날로그 전기 신호로 바뀐 사운드 정보는 ADC(Analog-to-Digital Converter) 장치에서 샘플링(sampling)의 과정을 거쳐서 디지털 정보로 바뀜 • 샘플링 • 아날로그 파형을 디지털 형태로 변환하기 위해 표본을 취하는 것 • 나이퀴스트(Nyquist) 샘플링 이론 • 원래의 아날로그 신호가 갖는 주파수의 2배 이상으로 샘플링을 하여야 원음을 그대로 반영할 수 있음

22. 사운드(계속) • 사운드 압축 • 디지털 사운드 파일은 시간이 길어질수록 용량이 증가 • 압축해서 저장하거나 전송해야 함 • 아날로그 사운드 • PCM(Pulse Coded Modulation) 방식으로 샘플링되어 디지털 사운드로 변환 • PCM 방식이 용량이 크기 때문에 ADPCM(Adaptive Differential Pulse Coded Modulation) 방식을 주로 사용 • 최대 4:1까지의 사운드 압축 가능 • MP3 • 동영상 압축 표준인 MPEG에서 오디오 Layer-3을 뜻하는 것 • 평균 10대 1 정도의 높은 압축률

23. 사운드(계속) • 사운드 파일 포맷

24. 사운드 –사운드 파일 포맷(계속)

25. 이미지 • 색상 • 모든 이미지는 픽셀(pixel)로 표시 • 모니터상에 나타나는 각 픽셀들은 R(red), G(green), B(blue)의 색상을 적절히 배합시켜서 색을 나타냄

26. 이미지 –색상(계속) • 색상 모델(color model) • 어떤 색상과 다른 색상들과의 관계를 표현하는 방법 • RGB 모델 • 모니터의 색상에 기초하여 색을 구현하는 모델 • 각 축의 모서리가 Red, Green, 그리고 Blue인 3차원 입방체로 표현

27. 이미지 –색상 –색상 모델( 계속) • CMY/CMYK 모델 • 청록색(Cyan), 자홍색(Magenta), 그리고 노랑색(Yellow)으로 구성 • 적색, 녹색, 청색에 대한 각각의 보색(complement) • 감할 수 있는 원색 • CMY 모델은 컬러 프린터나 인쇄 등에서 유용하게 쓰일 수 있으나, 실제로 적용될 때는 CMYK 모델 사용 • K(Kappa)는 검정색을 의미 • 가산에 의한 색상과 감산에 의한 색상

28. 이미지 –색상 –색상 모델( 계속) • HIS 모델 • 인간의 시각 시스템과 유사한 색상 모델 • H는 색조(Hue), S는 채도(Saturation), I는 명암(Intensity)

29. 이미지(계속) • 이미지 압축 • GIF(Graphics Interchange Format) • JPEG와 함께 웹에서 지원되는 그래픽 파일 포맷 • LZW(Lempel-Ziv-Welch)라고 알려진 알고리즘을 사용 • 반복 길이(RL, Run-Length) 코딩 기법을 기본으로 사용 • 그래픽 이미지의 경우에 압축 효과가 큼 • JPEG(Joint Photographic Experts Group) • 사진의 압축을 위해 고안된 표준 • 압축률을 변화시킬 수 있음 • 30:1정도의 압축까지 가능

30. 이미지(계속) • 이미지 파일 포맷

31. 애니메이션 • 잔상에 의한 착시효과를 이용한 것 • 애니메이션의 역사 • 1895년 뤼미에르(Lumiere) 형제 • 시네마토그래프(cinematograph)라는 영화 촬영기 발명 • 1908년에 프랑스의 에밀 콜(Emil Cohl) • 세계 최초의 애니메이션인 「판타스마고리」상영 • 1909년에 윈져 맥케이(Windsor Mckay) • 미국 최초의 애니메이션인 「공룡거티」상영 • 1920년대~1930년대 월트 디즈니 • 「미키 마우스」, 「도날드 덕」등 제작 • 1988년 디즈니의 극장용 장편 애니메이션「누가 로저 래빗을 모함했나」가 성공을 거둠

32. 애니메이션(계속) • 애니메이션의 종류 • 셀 애니메이션(cel animation) • 종이에 그린 그림을 투명한 셀룰로이드(celuloid)에 그대로 옮긴 뒤, 그 뒷면에 채색을 한 다음 배경 위에 놓고 촬영하는 애니메이션 기법

33. 애니메이션 –애니메이션의 종류(계속) • 키 프레임 애니메이션(key frame animation) • 먼저 키 프레임(key frame)만을 편집하고 키 프레임 사이에 존재하는 중간 프레임들은 컴퓨터에 의해서 완성시키는 기법 • 중간 프레임들은 트위닝(tweening) 기법을 이용

34. 애니메이션 –애니메이션의 종류(계속) • 모핑(morphing) • 2개의 서로 다른 이미지나 3차원 모델 간에 서서히 변하는 모습을 보여주는 과정 영화 어비스와 터미네이터2

35. 애니메이션(계속) • 애니메이션의 활용 • 만화 영화, 영화, 광고, 게임 등의 분야에서 매우 다양하게 활용 • 최근 들어 컴퓨터를 이용한 3차원 애니메이션 많이 사용 • 만화 영화 • 「토이 스토리」,「니모를 찾아서」,「마리 이야기」,「원더풀 데이즈」 • 영화 • 「포레스트 검프」, 「구미호」,「성냥팔이 소녀의 재림」 • 광고 • 주로 모핑이나 크로마키(chroma key) 기법 많이 사용 • 크로마키 기법은 움직이는 피사체를 다른 화면에 합성하는 화면합성기법 • 게임 • ‘스타크래프트(Starcraft)’와 같은 네트워크 게임 • 모바일 환경의 발전으로 인한 휴대폰 게임

36. 애니메이션 –애니메이션의 활용(계속) SM3(크로마키 기법) 마리 이야기 스타크래프트

37. 비디오 • 동영상(moving image) • 컴퓨터에서도 비디오를 처리하는 것이 가능 • 비디오 압축의 표준: MPEG(Moving Picture Experts Group) • 비디오 파일 포맷

38. Section 4. 데이터 압축 • 데이터의 압축이 가능한 이유 • 멀티미디어 데이터의 중복성(redundancy) • 압축 기법 • 무손실 압축(loseless compression) • 손실 압축(lossy compression) • 혼성 압축(hybrid compression) • 정지영상(이미지)을 위한 JPEG(Joint Photographic Expert Group) • 동영상(비디오)을 위한 MPEG(Moving Picture Expert Group)

39. 무손실 압축(loseless compression) • 반복 길이(RL, Run-Length) 코딩 기법 • 반복되는 정보의 값과 그 값의 반복 횟수로 나타내는 것 • 허프만(Huffman) 코딩 기법 • 데이터를 구성하는 단위 정보들의 빈도수를 기반으로, 각 단위 정보를 표현하는 비트 수를 효율적으로 할당하는 방법

40. 손실 압축(lossy compression) • 변환(transformation) 기법 • 데이터의 영역을 DCT(Discrete Cosine Transform) 등과 같은 변환을 통하여 다른 영역으로 옮겨서 압축하는 기법 • DCT

41. 손실 압축(lossy compression)(계속) • 예측(prediction) 기법 • DPCM(Differential Pulse Code Modulation) • 사운드나 정지영상 데이터를 압축하기 위해  바로 앞 신호와의 차이만을 저장하거나 전송하는 예측 기법 • ADPCM(Adaptive Differential Pulse code Modulation) • 인접한 값과의 차이가 크면 진폭을 나누는 단계를 크게 하고, 인접한 값과의 차이가 작으면 진폭을 나누는 단계를 작게 하면서 가변적으로 진폭의 단계를 나누는 것

42. 손실 압축(lossy compression)(계속) • 양자화(quantization) 기법 • 미리 정의되어 있는 정보인 양자(quantum)를 이용하여 주어진 데이터를 변환시키는 기법 • 스칼라 양자화(scalar quantization) • 벡터 양자화(vector quantization) • 입력된 데이터를 벡터들로 분할한 후, 코드집(code book)에서 일치하는 패턴을 찾아 그 인덱스 값을 저장하거나 전송하는 것 • 보간(interpolation) 기법 • 연속된 비슷한 정보들 중에서 몇 개만 남기고 나머지 정보는 삭제하는 방법

43. 혼성 압축(hybrid compression) • JPEG(Joint Photographic Expert Group) • 컬러 또는 그레이스케일(grayscale) 정지영상의 압축 표준 • DCT 변환 단계 • DC 계수(DC-coefficient) • DCT 변환된 이후의 주파수 도메인에서 최상위 왼쪽의 계수 • AC 계수(AC-coefficient) • DC 계수를 제외한 그 밖의 계수들

44. 혼성 압축(hybrid compression) – JPEG(계속) • 양자화(quantization) 단계 • DCT에 의해 생성된 8×8 행렬에서 각각의 값들을 양자화 테이블의 값들로 나눔(손실성) • 무손실 압축 단계 • 지그재그 스캐닝(zig-zag scanning) • 허프만(Huffman) 코딩 기법과 반복 길이(RL, Run-Length) 코딩 기법 등 이용

45. 혼성 압축(hybrid compression)(계속) • MPEG(Moving Picture Expert Group) • 동영상 압축 표준 • MPEG-1 • VHS(Video Home System) 수준의 영상을 CD-ROM에 저장할 목적으로 제정된 압축 표준 • DCT를 사용하여 공간적 중복성(spatial redundancy) 제거 • 프레임 간의 움직임을 보상하기 위한 쌍방향 예측 기법을 사용하여 시간적 중복성(temporal redundancy) 제거 • GOP(Group of Picture) • I 픽처(Intra coded picture), P 픽처(Predictive coded picture), B 픽처(Bidirectional predictive coded picture) • 하나의 I 픽처와 다음 I 픽처 사이의 프레임들

46. 혼성 압축(hybrid compression) – MPEG – MPEG-1(계속) GOP의 구성 MPEG-1에서의 쌍방향 예측의 예

47. 혼성 압축(hybrid compression) – MPEG(계속) • MPEG-2 • DVD나 디지털 TV에 사용할 수 있는 고화질의 영상을 실현하기 위한 압축 표준 • MPEG-2에서는 순차주사(noninterlace) 방식과 비월주사(interlace) 방식 모두 허용 • MPEG-4 • 인터넷 유선망 뿐만 아니라 비디오 전화와 같은 이동통신 시스템에서의 오디오와 비디오의 압축을 위해 제안된 표준 • MPEG-7 • 멀티미디어 데이터 내용을 표현하는 방법에 관한 표준 • MPEG-21 • 멀티미디어 컨텐츠의 전달과 소비를 위한 하부인프라를 구성하는 많은 요소들 간의 관계와 통합할 수 있는 표준을 만드는 것이 목적

48. 혼성 압축(hybrid compression)(계속) • H.261 • 실시간으로 동영상의 압축과 복원이 가능하도록 제정된 동영상 압축 표준 • 원격 화상회의를 위한 표준안으로 제안 • 기본적인 알고리즘 • DCT 변환 기법과 프레임간의 예측 기법을 사용

49. Section 5. 멀티미디어의 활용 • CD-ROM 타이틀 • 개인에게 배포할 목적으로 CD-ROM 형태로 제공되는 멀티미디어 컨텐츠 • 교육용, 오락용 및 참고 자료용 등 • 웹 페이지 • 초기의 웹 브라우저 • 주로 문자와 특정 포맷의 이미지만을 표현 • 현재의 웹 브라우저 • 애니메이션, 동영상 등의 정보도 플러그인 프로그램을 이용하여 재생 가능

50. 멀티미디어의 활용(계속) • 전자상거래 • 비용의 절감과 편리성 증대 • 대규모의 데이터베이스를 유지해야 함 • 전자 결제 등에 따른 보안이 유지돼야 함 • 인터넷 쇼핑몰 • 다양한 상품을 준비해놓고 인터넷을 통해 판매