CAP (Camera Application Processor) 와 MAP (Multimedia Application Processor) 의 변화와 동향 분석 2004. 10

1. CAP (Camera Application Processor)와 MAP (Multimedia Application Processor)의 변화와 동향 분석 2004. 10

2. Contents • 이동통신 단말기 산업의 변화 • 단말기 산업의 새로운 성장동력 –카메라 폰 • 카메라 폰 관련 부품의 발전과 전망 • CAP의 설계 동향 • MAP의 설계 동향 • CAP와 MAP의 향후 전망

3. 1. 이동통신 단말기 산업의 변화

4. 단말기의 변화 방향 멀티 네트워크화 TV폰 복합기기화 캠코더폰 MP3폰 디자인/폼팩터 다양화 카메라 폰 컬러폰 이동통신 기술의 고도화 폴더폰 2G폰 2.5G폰 90년대 후반 00년대 초반 00년대 후반 이동통신 단말기의 변화 방향 • 현재는 카메라 폰이 시장 성장 주도 • 2005년까지 복합기기의 일반화, 미래에는 멀티 네트워크 제품이 시장 선도

5. 이동통신 인프라 기술의 발전 2G (1992~2000+) 2.5G (2002~) 3G (2004~) 4G (2007~) Seamless Network All IP 유무선 통합 GSM GPRS W-CDMA W-CDMA 네트워크 진화 EDGE TD-SCDMA TDMA CDMA CDMA 2000 1x 1x EV-DO 3x RTT 데이터 통신속도 (bps) 20M~100M 9.6K~14.4K 64K~171K 384K~2.4M • 음성중심 • SMS 기능 부가 • 컬러/그래픽 • 인터페이스 강화 • 문자 기반 • 무선인터넷 기능 • 화상통화 가능 • 멀티미디어 강화 • 그래픽 기반 • 무선인터넷 및 • 컴퓨팅 기능 강화 • 멀티미디어, 인터넷, • 컴퓨팅 기능 고도화 • 무선 VoIP • 개인용 통합 • 멀티미디어 단말기 단말기 구현기능 이동통신 인프라 기술의 진화 방향 광대역화의 진전으로 음성 이외에 다양한 멀티미디어 Application 구현 지원

6. 디지털 카메라/ 캠코더 게임기 MP3 휴대용 TV Convergence의 진전 이동통신 단말기 Data 통신 Application 확장 A V 컴퓨팅 전자수첩 PDA HPC 네비게이션 Voice 통화 중심 복합기기화 되는 이동통신 단말기 Application의 확장으로 복합 이동통신 단말기로 변화 복합 이동통신 단말기로 변모

7. 복합기기 단말기의 3대 진화 방향 커뮤니케이션 디바이스 개인 개인 전화, 사진/동영상 첨부 채팅, 메일 퍼스널 디바이스 현실세계와의 게이트웨이 개인 개인 실세계 카메라, 게임, 웹브라우저 전자북 리더, 주소록/스케줄러 2D 바코드 리더, 지문인식, 전자머니 GPS네비게이션, 리모콘 복합기기 단말기의 3대 진화 트랜드 이동통신 단말기는 카메라화, 게임기화, 현실세계와의 게이트화 하면서 진화할 전망

8. 2. 단말기 산업의 새로운 성장동력 - 카메라 폰

9. 주요 제품별 월별 판매량 비중 변화 (국내 기준) 소비자 욕구충족 100 80 60 40 20 0 단위 : % 2.5G폰 (CDMA 1x) 컬러폰 카메라 폰 새로운 주도 제품의 부상 01년 1월 01년 7월 02년 1월 02년 7월 03년 1월 03년 7월 이동통신 단말기의 Killer Application –카메라 폰 카메라 폰은 소비자의 욕구를 충족하며 이동통신단말기의 Killer Application으로 등장 • 1. 소비자의 요구가 • 디자인/폼팩터 중심에서 • 기능 복합화 중심으로 변화 • 2. 커뮤니케이션과 엔터테인먼트 • 기능을 요구하는 소비자의 Needs • 3. 소비자의 선택적인 부가비용 발생 • 메모리 카드 및 PC 인터페이스 사용시 • 부가비용 발생요인이 없음 • 폰 to 폰 전송시에만 부가비용 발생

10. 카메라 폰 도입기 카메라 폰 대중화 캠코더 폰 대중화 기 술 력 국내기업 (코아로직) 일본기업 300만 화소급 카메라 폰 등장 2분기 MPEG-4, 500만 화소 지원이 가능한 캠코더 폰 용 Processor 출시 (코아로직) 1분기 4분기. 300만 화소급 카메라 폰 등장 (일본) Mega 픽셀 급 카메라 폰 출시 (일본) 5월 6월. 국내 최초 Mega 픽셀 급 내장형 카메라 Processor 개발 (코아로직) 세계 최초 카메라 폰 출시 (일본 J-phone) 11월 내장형 VGA 카메라 폰 출시(일본) 12월 8월. 국내 최초 VGA급 내장형 Processor 개발 (코아로직) 5월. 세계 최초 USB 외장형 카메라 폰 개발 (코아로직) 2000 2001 2002 2003 2004 2005 카메라 폰의 발전 과정 • 일본기업이 카메라 폰 시장 창출 • 2004년을 기점으로 국내기업이 카메라 폰 시장의 기술 선도 예상

11. LCD CPU Interface CCD/ CMOS Camera IC Modem CPU Video Interface Serial Interface 카메라 폰의 발전 과정 • Serial I/F(UART / USB / 전용 serial I/F)를 사용한 카메라 폰 • 개발은 용이하나, 느린 전송 속도 및 사용이 불편하여 곧 사라지게 됨

12. LCD LCD Interface CCD/ CMOS Camera IC Modem CPU CPU Interface Video Interface 카메라 폰의 발전 과정 • Parallel I/F (Memory Bus)를 사용한 카메라 폰 • 현재 카메라 폰의 대세를 이루고 있으나, bandwidth의 증가로 위협

13. 높은 부가가치 창출 대체수요 및 신규제품에 대한 수요 촉진 (노키아 7650 카메라 폰) 이동통신단말기의 대체 수요 (2002년 기준): 일본: 50%이상 vs 서유럽 28.2% $450 카메라 폰 이용자의 ARPU(일본) : 일반 이용자 대비 40% 높음 카메라 기능 선도 출시에 따른 Premium $311 서비스 응용범위 확대 : 영상 콘텐츠 시장수요 개척의 첨병 $128 컬러LCD, 카메라 기능 재료비 증가분 $45 흑백 GSM폰 평균판가 $139 흑백 GSM폰 해당 재료비 $83 IC, 디스플레이, 메모리 칩 등 디바이스 시장으로 확대 추정 총 원가 평균 판가 카메라 폰의 시장매력도 고성장, 고수익 사업으로 정착

14. 2003년 국내시장 판매비중 (카메라 폰 vs 일반 단말기) 카메라 폰 세계시장 전망 단위 : 백만대 카메라 폰 일반 단말기 구분 2002 2003 2004 2005 2006 일본 11.7 29.0 38.0 40.0 41.5 100% 미국 1.0 7.8 17.5 38.3 42.7 유럽 1.8 9.9 21.6 39.6 46.3 80% 한국 2.1 5.8 9.4 10.7 12.2 60% 중국 0.1 1.1 6.1 11.9 29.5 40% 기타 - 7.5 13.8 18.2 24.8 42.8 37.7 35.2 20% 31.9 29.4 24.0 합계 16.7 61.1 106.4 158.7 197.0 0% 1월 2월 3월 4월 5월 6월 카메라 폰은 단말기 시장의 성장 견인 • 카메라 폰은 일반 단말기를 급속히 대체하며 시장 성장 견인 • 2003년 말 국내 카메라 폰 시장의 70%이상 점유 • 일본을 시작으로 한국이 시장 주도 향후, 전세계시장으로 급속히 보급될 전망

15. 3. 카메라 폰 관련 부품의 발전과 전망 - 카메라 폰의 핵심부품

16. 카메라 모듈이 탑재된 단말기 구성 카메라 폰 구성도 CAP 렌즈와 센서의 모듈화 CAP, MAP LCD Lens, Image Sensor 카메라 모듈 Modem CPU 카메라 폰의 카메라 모듈 구성도 CAP : Camera Application Processor MAP : Multimedia Application Processor

17. 일본 기업과의 기술적 차이 H/W로 CAP 기술 구현 Camera Application Processor - 일본기업 대부분은 S/W로 기술 구현 - 국내 기업은 H/W 기술로 구현 • H/W 기술실현의 장점 정지화상 촬영 캠코더 기능 우수한 성능 실현 Image Rotation 화질 개선 단말기 메이커의 개발비 감소 Zoom-in/out 연속촬영 빠른 개발 기간 Image Effects OSD Modem CPU부하 최소화 카메라 어플리케이션 프로세서(CAP)란? 센서에 입력된 영상을 실시간 압축재생 및 촬영하거나, 영상을 가공하여 저장 및 디스플레이를 하는 핵심 Processor

18. CMOS 센서와 CCD 센서의 특징 비교 시장 현황 이미지 센서란? 이미지를 포착하기 위해 사용되는 센서 칩으로 CCD와 CMOS 방식으로 분류 • 2003년 모바일 폰 카메라 세계시장 점유율 : CMOS 센서 60%, CCD 센서 40% • - 한국 및 유럽시장의 경우 주로 CMOS 채택, 일본은 주로 CCD 채택 • CMOS는 국내에서 하이닉스가 세계시장 12% 점유, Color CCD는 현재 국내 양산업체 없음 • CMOS와 CCD 센서는 서로 다른 특징을 상호 보완하며 발전 중

19. CCD 센서 • 1969 년 Bell lab 의 Boyle, Smith 에 의해 그 구조가 처음 제안됨 • 영상 신호를 전기적 신호로 바꿈 • CCD Type 에 따라 IT(IL)-CCD, FT-CCD, FIT-CCD 세가지로 분류

20. CMOS 센서 • CIS : CMOS Image Sensor 또는 Contact Image Sensor 라고도 함 • 1967 년부터 Fairchild, RCA 등에서 개발 시작 • 1993년 Edinburgh 대학에서 최초로 발표 • 국내 : 하이닉스(구 현대전자) 시스템 IC 사업본부에서 국내 최초 개발 • 1-TR, 3-TR, 4-TR 등 픽셀당 사용된 TR 의 개수에 따라 구분

21. 센서의 동작 원리 • 컨베이어 시스템과 유사 • 빗방울 : 빛(Photons of Light) • 각 픽셀마다 담긴 색의 양(광량값)을 serial line 을 통해서 전달 • 각 픽셀마다 정해진 규칙의 color filter array 를 사용 종 류 구조 및 특징 Interline Transfer Sensor 구조 간단 기계식 셔터가 필요 없음 소프트웨어적으로 특정 부분의 광량 제어가 가능(Integration time 조절) 폰카메라 등 소형 이미징 장비에 적합 빠른 frame rate(동영상에 유리) Full Frame Sensor 구조 복잡 기계식 셔터가 필요 소프트웨어적으로 특정 부분(픽셀)의 광량 제어 불가능 고급 디지털 카메라(셔터+조리개 기능)에 적합 느린 Frame rate(동영상에 불리) 이미지 품질이 좋음 대형 크기의 센서 제작이 가능

22. Color Filter Array • Photodiode 에 색차단 필터를 사용하여 RGB 색을 따로 분리 • GR-GB Bayor 패턴을 많이 사용 • RGB 삼원색의 조합으로 모든 색을 만듬 + + = 24-bit Blue 8-bit Red 8-bit Green 8-bit Blue De-mosaic algorithm 적용

23. CMOS Image Sensor (CIS) 시장의 지속적인 확대 화질과 가격의 trade-off 광학 줌 및 AF 기능을 탑재한 모듈의 출현 감도(Sensitivity) 개선 Mechanical shutter 지원 새로운 구조의 센서 출현 : 나노 센서 센서의 변화와 발전 동향

24. 응용에 따른 display의 형태 • Notebook • Monitor • TV/Handheld TV 128×160 176×240 Panel TFT • Mobile Phone • PDA • CNS • Portable Game • Medical • Automotive • Handheld PC OLED Driver IC MSTN CSTN Mobile TFT • TV (PDP, LCD, LCoS) • Others QCIF+(176×220) QVGA (240×320)

25. MSTN CSTN TFT OLED 휴대폰 용 display의 동향 • ’07년까지 color (CSTN, TFT, OLED) 비율 급속 확대 : • ’03년 = 37%, ’05년 = 74%, ’07년 = 79% • MSTN : ’03년 3.7억 개로 전체의 61%, ’04년 이후 매년 20 ~ 25% 감소세 • CSTN : color 폰의 보급에 따라 최근 2년간 300% 급성장. ’05년 정점 후 하락 반전 • TFT : ’05년 main 1.9억 개, ’06년 sub 0.9억 개로 각부문의 주력 제품 군으로 부상 • OLED : sub 외에, ’05년부터 main에 적용되면서 TFT의 후속 제품 군으로 유력 【 Main Display 】 【 Sub Display 】 166M 525M 538M 495M 509M 140M 133M 138M 468M 125M 405M 79% 78% 74% 64% 73M 37% 62M 273M 59M 240M 45M 195M 31M 17% 23M 154M 76M 40M ‘02 ‘03 ‘04 ‘05 ‘06 ‘07 ‘02 ‘03 ‘04 ‘05 ‘06 ‘07 (Source: ’03.4Q, Display Search)

26. 휴대폰 용 display module의 동향 • ’03년 3Q 월평균 생산량 기준 : main = 평균 47Mpcs, sub = 평균 13Mpcs • main display : big4 maker가 M/S 64% (’03년 3Q 기준) • Epson 22%, SDI 21%, Philips 13%, Sharp 8% • sub display : 휴대폰의 평균 sub-display 탑재율 21 % 수준 Sub Display Main Display Wintek(8%) Epson(5%) Sharp(5%) Others(21%) Epson(22%) Others(19%) SDI(23%) Wintek(4%) 47,005K 13,220K SDI(21%) Sharp(8%) Optrex(12%) Hyundai(17%) Philips(13%) TMDT(6%) Hitachi(11%) Hyundai(5%) (Source : ’03.4Q, Display Search)

27. 휴대폰 용 display의 방향 QCIF+ Resolution QVGA CIF, VGA Color 65K, 260K Color(18bit) 16,777K Color(24bit) Interface Parallel Type (CPU, RGB) Serial Type for MIPI, MDDI CKT Design Technique Low-power TFT driving High Contrast Low Current Control Gamma Correction Low-voltage Interface(RSDS, LVDS) Driving Voltage 1.8V(Typ.) 1.65V(Typ.) 1.5V(Typ.) 1.3V(Typ.) Power Consumption 7 mW 5 mW 3 mW 1 mW New Panel LTPS Hybrid(Glass/Film) PMOLED AMOLED 2003 2004 2005 2007 2006

28. 주요 휴대폰 용 display의 방향 -노키아 • Platform의 단순화 : 노키아 고유의 I/F 채택 • - 4 platform 체계 : cost-driven, size-driven, one-handed operation, two-handed operation • Technology의 변화 : CSTN -> TFT • Resolution의 변화 : 128x128에서 QCIF나 QVGA 급으로 Platform One-handed Operation Two-handed Operation Cost-driven Size-driven 208x208 65K Mobile Set Nokia 6600 Nokia 9210 Nokia 1100 Nokia 6800 96x65 128x128 176x208 208x208 640x200 Display Technology TFT / TFD Fast Response time (CSTN -> TFT) Nokia Interface (8bit-system) CSTN Low-power consumption

29. 주요 휴대폰 용 display의 방향 -모토로라 • Application에 따른 category의 분류, platform의 다양화 • - 5 category : communication, entertainment, technology, valuable, advanced • low end : 4K 이하의 bar-type. 단순 graphic display 수준 • high end : 65 K 이상 folder-type. 동영상 display Mobile Set T725 V600 A830 C350 E380 96x65 130x130 120x160 176x220 208(240)x320 TFT Graphic Processor Memory-less LCD Driver Display Technology CSTN 8-/16 bit CPU interface 외부 부품 최소화

30. 주요 휴대폰 용 display의 방향 -삼성전자 • High-end 시장에서 탈피, 중저가 시장까지 M/S 확대 • - high-end 향 W/W M/S : 40% (전체 규모에서 high-end phone 비중 20%) • W/W M/S 확대를 위한 중저가 시장 promotion 강화 • OLED 분야에서 leadership 확보 박차(차별화 point, 호응도 분석 등) Mobile Set SPH-A600 E170 MITs M400 SCH-E160 SGH-X600 96x64 128x128 128x160 176x220 240x320 TFT / TFD 차별화 Point로 260K Color Driving Display Technology CSTN 8-/16- bit CPU interface

31. 휴대폰 기구 변화의 동향 바 형에서 플립 형을 거쳐 폴더 형 / 슬라이드 형 등 다양하게 기구 발전

32. 고속 Serial I/F의 필요성 신호선의 개수를 줄여 신뢰성을 증대 저전력, 저 EMI 단순한 프로토콜, 적은 gate 수 대용량 데이터 전송에 적합 : 수백 Mbps Mega-Pixel 센서 : 2Mpixel, 15 frame/sec 2M x 2 (4:2:2 format) x 15 x 8 (byte->bit) = 480 Mbps CIF/QVGA 급 이상의 LCD 352 x 288 x 18 (260K color) x 30 = 54.743 Mbps Serial I/F의 재등장

33. Serial I/F의 비교

34. Serial I/F의 비교

35. 4. 카메라 어플리케이션 프로세서(CAP) 동향 - 카메라 폰의 핵심부품

36. 카메라 어플리케이션 프로세서 세계 M/S CAP 제조기업 현황 • 국내기업의 세계시장 점유율 : 2002년 5% 미만 2003년 25%로 급상승 • 카메라 폰 중 50% 정도가 일본 내수 시장으로 일본 기업의 점유율이 현재는 높으나 • 전세계적인 카메라 폰의 급속한 확산으로 해외 수출에 주력하고 있는 • 국내 기업의 시장점유율은 더욱 상승할 전망 대부분 일본 내수용 카메라 폰에 사용 • H/W적인 기술실현으로 카메라 폰의 • 본격적인 성장과 더불어 세계 시장진출에 강점보유 • 세계 시장을 선도하는 국내 단말기 메이커와 • 중국시장 내 높은 시장 점유율 보유

37. 국내 전문기업의 성장요소 세계적으로 카메라 폰이 본격화 되는 2004년부터 세계 시장석권이 가능할 것으로 전망 국내 단말기 메이커의 높은 세계 시장 점유율 해외시장 선점 및 기술 선도 효과 • - 2003년 세계 시장 M/S 23% • - 삼성전자 세계 3대 단말기 메이커 • LG전자 CDMA분야 2003년 세계 1위 • (코아로직 칩을 사용한 고급형 카메라 폰이 성장의 주역) • 경쟁업체인 일본기업 대부분은 내수소비 • 코아로직은 거대 중국시장 내 • 카메라 폰 시장 70% 점유 • 카메라 폰 분야의 세계적인 기술력 보유

38. 카메라 기술 반도체 설계 기술 • 실시간 영상 압축 기술 • 정지영상 : JPEG • 동영상 : Motion JPEG, MPEG-4 • Image Sensor Interface 기술 • VGA/ MEGA • Image Enhancement 기술 • Auto White Balance • Auto Exposure • Gamma Correction SoC설계 기술 저전력/저전압 설계 기술 메모리 컨트롤 기술 핵심 기술 Interface DSC Camcorder Multimedia Audio Synchronization Zooming when recording Editing Zoom-in/Out Continuous Shots OSD & Overlay Image Rotation Color Effects 2-Way Communication 2D/3D Graphics Java MP3 SPI UART USB 1.1/2.0, OTG Memory Storage Interface 부가 기술 CAP 개발의 핵심 기술 카메라 어플리케이션 프로세서를 개발하기 위한 핵심 기술은 카메라 기술과 반도체 설계 기술

39. CAP 설계 목표 1. CAP 설계 목표 • 상용화된 DSC (Digital Still Camera)에 대한 benchmarking • A. 디지털 카메라 기본 기능 지원 • - digital zoom, continuous-shot, multi-shot, M-JPEG, OSD, … • B. 디지털 카메라 부가 기능 지원 • - color effects, lens effects, 스티카 사진, thumbnail 지원, … • 기존 Serial I/F를 사용하는 방식의 문제점 해결 • - 느린 frame rate • - Modem CPU의 부하 2. 카메라 폰 개발자의 개발을 쉽도록 command driven I/F 채택 Command driven I/F 카메라 폰 개발자의 개발 기간 단축 쉽게 중국 시장 침투

40. CAP의 블락 구성도 CLC346 Flash Memory Frame Buffer (Stacked SRAM) MSM/ GSM Modem CPU Interface Memory Controller System Controller Strip Buffer Sub-LCD Module YUV to RGB Converter Video Scaler (Zoom) JPEG/Motion JPEG CODEC LCD/OSD Controller Main LCD Module CCD/CIS Interface & Control CCD or CIS

41. CAP 시장의 변화 Raw data (RGB) 센서의 지원 ISP (Image Signal Processor, CCD Analog I/F 지원) UI style의 변화 Full-screen display 방식 선호 Mega-pixel 센서의 지원 고속 동작 요구 AF, 광학 줌 지원이 필요 DSC 기능 보강 가격 변화 Flow control 방식 Memory card, NAND flash I/F 지원 Modem chip의 기능 확장 USB, GPIO 지원, TV I/F 다기능 화 CAP + MP3, CAP + MIDI, CAP + JAVA CAP의 기능 변화

42. CAP의 기능 변화 SARA MSM/ GSM Optional Function (MP3, MIDI, JAVA) FIFO Memory USB/GPIO TV I/F Modem CPU Interface NAND Flash/ Memory Card Memory Card NAND Flash Video Scaler (Zoom) Flash Memory Memory Controller System Controller Strip Buffer Sub-LCD Module ISP & AF/Zoom Control YUV to RGB Converter JPEG/Motion JPEG CODEC LCD/OSD Controller Main LCD Module CCD or CIS CCD/CIS Interface & Control

43. 공정의 변화 0.25/0.28um -> 0.13/0.09um Low leakage current Voltage Down Converter 내장 2.8/1.8 I/O 지원 (ARM9/ARM7 Modem CPU 지원) 메모리 사용 방식의 변화 Stack memory -> embedded memory Buffer -> FIFO 센서 / LCD 모듈 I/F의 변화 Parallel -> Serial Package 변화 MCP -> 단일 칩 패키지 CAP의 기능 변화에 따른 설계 변화

44. 5. MAP의 발전과 설계 동향

45. Mobile multimedia의 주요 구동 요인 Cellular 대역폭의 증가 연산 능력의 증가 및 저전력 장치의 증가 배터리 기술의 발달 멀티미디어의 표준화 (MPEG4, H.264, ..) 응용 프로그램의 증가 모바일 환경의 변화

46. 모바일 환경의 변화 • Wireless Infrastructure Roadmap • 2 G : Pioneer A/V services • 2.5 G : Test all business models and applications • 3 G : Mass market

47. MPEG4 Profile 결과 (Audio-Visual)

48. Profile을 위한 환경 S3C2410X(ARM920T) 202.8MHz 16K/16K I/D cache MPEG4 video encoding QCIF Search range : -16 ~ +16 4MV mode, half-pel mode MPEG4 설계를 위한 profiling (Visual)

49. YCbCr (YUV) DCT Q Coeff pred VLC encoding - I-Q ME IDCT Recon MEM Bit Stream MC + MPEG4 설계를 위한 profiling (Visual) Intra-VOP Coding 결과 10 ms 7 ms 7 ms 10 ms Qp : 8 2973 Byte/VOP 40 ms/VOP

50. YCbCr (YUV) DCT Q Coeff pred VLC encoding - I-Q ME IDCT Recon MEM Bit Stream MC + MPEG4 설계를 위한 profiling (Visual) Inter-VOP Coding 결과 10 ms 7 ms 10 ms 7 ms 510 ms 4 ms Qp : 8 , Full Search, 522 Byte/VOP 588 ms/VOP 11 ms