What is Multimedia?

1. What is Multimedia? • Multimedia can have a many definitions these include: • Multimedia means that computer information can be represented through audio, video, and animation in addition to traditional media (i.e., text, graphics drawings, images).

2. What is Multimedia? (cont’d) • Multimedia is the field concerned with the computer-controlled integration of text, graphics, drawings, still and moving images (Video), animation, audio, and any other media where every type of information can be represented, stored, transmitted and processed digitally.

3. Multimedia Application • A Multimedia Application is an Application which uses a collection of multiple media sources e.g. text, graphics, images, sound/audio, animation and/or video. • Hypermedia can be considered as one of the multimedia applications.

4. رسانه چیست؟ • روشهای گوناگون ارتباطی بین انسان و کامپیوتر • رسانه یا دستگاه I/O • رسانه روش ارتباط است. • دستگاه I/O: وسیله ارتباط • مثال: تصویر و انیمیشن • دو رسانه مختلف هستند • هر دو از طریق مانیتور منتقل می شوند

5. انواع رسانه • در قديم بيشتر از متن استفاده مي‌شده است. • از طريق Keyboard ورود اطلاعات • از طريق مانيتور يا چاپگر خروج اطلاعات • با افزایش قدرت محاسباتيسيستم هاي كامپيوتري، امكان ارتباط با كامپيوتر با روشهاي مختلف امكان‌پذير شده است • Speech (Voice) ، Sound • Animation, graphic, Image و ...

6. چند رسانه ای چیست؟ • سیستمی که شامل رسانه ای بیش از رسانه های رایج باشد. • رسانه های رایج: • متن • طراحی • تصویر • انواع دیگر رسانه: • انیمیشن • صوت • برنامه چندرسانه ای: • برنامه ای که از منابع مختلف چندرسانه ای استفاده می کند.

7. چندرسانه‌ای چیست؟ • یک فروشندهٔ PC: • کامپیوتری با قابلیت پخش صدا، درایو DVD-ROM و میکروپروسسورهایی با کیفیت بالا • یک مصرف کننده: • یک تلویزیون کابلی با قابلیت دریافت صدا کانال دیجیتال، یا یک سرویس اینترنتی • یک دانش‌جوی علوم کامپیوتر یا فن‌آوری اطلاعات: • برنامه‌های کاربردی که از مدل‌سازی‌های مختلف شامل متن، تصویر، گرافیک، انیمیشن، ویدیو، صدا همراه با گفتار و تعامل بین کامپیوتر و کاربر بهره می‌گیرند سیستم‌های چندرسانه‌ای

8. رسانه • روشی برای ذخیره، انتقال و بازیابی اطلاعات • رسانه‌هایی که در علم کامپیوتر با آن‌ها سر و کار داریم: • صدای دیجیتال • تصویر • گرافیک • متن • ویدیو • اینترنت • شبکه‌های کامپیوتری 8 سیستم‌های چندرسانه‌ای

9. چندرسانه‌ای و علوم کامپیوتر گرافیک، رابط انسان و کامپیوتر، تصویرسازی، فشرده‌سازی داده‌ها، تئوری گراف، شبکه، سیستم‌های پایگاه داده، چندرسانه‌ای و ابررسانه‌ای. سیستم‌های چندرسانه‌ای

10. سیستم‌های چندرسانه‌ای

11. چندرسانه‌ای و ابررسانه‌ای • تاریخچه ای چندرسانه‌ای: • روزنامه: شاید اولین رسانه ارتباط جمعی است که در آن از متن، گرافیک و تصویر ها استفاده شده است. • تصویر های متحرک: به نظر در حدود سال 1830 آغاز شد. به منظور ایجاد تصاویر متحرک با سرعت بالاتر از تشخیص چشم انسان. • ارسال رادیویی بی سیم: Guglielmo Marconiدر Pontecchio(Italy) در 1895. • تلویزیون: رسانه جدید قرن بیستم است. ویدئو به عنوان یک رسانه معمول و در دسترس عمومی مورد استفاده قرار گرفته و قسمت عمده ارتباطات جهانی را تغییر داده است. سیستم‌های چندرسانه‌ای

12. کامپیوترها • 1945- V. Bush مقاله‌ای تخصصی در مورد یک سیستم ابررسانه‌ای به نام Memex • 1960- Ted Nelson سیستم ابر متن را اختراع کرد. • 1967- Nicholas Negroponte گروه ماشین معماری (Architecture Machine Group) را طراحی کرد. • 1968-Douglas Engelbart سیستم on-line System (NLS) را ا که یک برنامه ابر متن بسیار بدوی بود را تولید کرد. • 1969- Nelson و van Dam در دانشگاه Brown یک ویرایشگر ابر متن اولیه به نام Fressساختند. • 1976-گروه ماشین معماری MIT یک پروژه به نام رسانهٔ چندگانه (Multiple Media) پیشنهاد کردند که منجر به تولید Aspen Movie Map (اولین ویدئو دیسک ابررسانه‌ای در سال 1978) شد. سیستم‌های چندرسانه‌ای

13. 1985- NegropontrوWiesner،MIT Media Lab را اختراع کردند. • 1989- Tim Berners-Lee ،World Wide Web را پیشنهاد کردند. • 1990- Kristina Hooper Woolsey ، Apple Multimedia Lab را تاسیس کرد. • 1991- MPEG-1 به عنوان استاندارد بین‌المللی برای ویدئوی دیجیتال پذیرفته شد که به استانداردهای جدیدتری از جمله MPEG-2و MPEG-4 و MPEGهای بعدی در دهه سال 1990 منجر شد. • 1991- با معرفی PDA ها در سال 1991 دوره جدیدی از استفاده کامپیوتر ها در چند رسانه ای آغاز شد. • 1992- JPEG به عنوان استاندارد بین‌الملی فشرده‌سازی تصاویر پذیرفته شد. در نهایت منجر به تولید استاندارد JPEG2000 شد. • 1992- اولین مدل‌های Multicast با نام MBone در شبکه ساخته شد. • 1993-دانشگاه Illinois National Centerبرای محاسبات،برنامه‌های کاربردی NCSA Mosaic را تولید کرد و اولین browser کامل بود. • 1994-Jim Clark و Mark Andreessen برنامه Netscape را ساخت. • 1995- زبان Java برای تولید و توسعه برنامه‌های کاربردی مستقل ساخته شد. Multimedia Systems

14. 1996- ویدئوی DVD و فیلم‌های با کیفیت بالا و تمام صفحه که در یک دیسک ذخیره بود معرفی شد. • 1998-XML 1.0 به عنوان پیشنهادW3C معرفی شد. • 1998- اولین ابزارهای پخش MP3 دستی با 32MB حافظه، ابتدا طبق سلیقه مصرف کنندگان در پاییز 1998 ساخته شد. • 2000- اندازه WWW بیش از یک بیلیون صفحه تخمین زده شد. سیستم‌های چندرسانه‌ای

15. Multimedia Systems • A Multimedia System is a system capable of processing multimedia data and applications. • A Multimedia System is characterized by the processing, storage, generation, manipulation and rendition of Multimedia information.

16. Characteristics of a Multimedia System • A Multimedia system has four basic characteristics: • Multimedia systems must be computer controlled. • Multimedia systems are integrated. • The information they handle must be represented digitally. • The interface to the final presentation of media is usually interactive.

17. Components of a Multimedia System • Capture devices • Video Camera, Video Recorder, Audio Microphone, Keyboards, mice, graphics tablets, 3D input devices, tactile sensors, VR devices. Digitising/Sampling Hardware • Storage Devices • Hard disks, CD-ROMs, Jaz/Zip drives, DVD, etc • Communication Networks • Ethernet, Token Ring, FDDI, ATM, Intranets, Internets. • Computer Systems • Multimedia Desktop machines, Workstations, MPEG/VIDEO/DSP Hardware • Display Devices • CD-quality speakers, HDTV,SVGA, Hi-Res monitors, Colour printers etc.

18. Challenges for Multimedia Systems • Multimedia systems may have to render a variety of media at the same instant – a distinction from normal applications. • There is a temporal relationship between many forms of media (e.g. Video and Audio. Two of the main problem here are: • Sequencing within the media: playing frames in correct order/time frame in video • Synchronization: inter-media scheduling (e.g.Video and Audio). Lip synchronization is clearly important for humans to watch playback of video and audio and even animation and audio.

19. Challenges for Multimedia Systems (cont’d) • The key issues multimedia systems need to deal with here are: • How torepresentand store temporal information. • How to strictly maintain the temporal relationships on play back/retrieval • What process are involved in the above.

20. Challenges for Multimedia Systems (cont’d) • Data has to represented digitallyso many initial source of data needs to be digitize: translated from analog source to digital representation. They will involve • scanning (graphics, still images), • sampling (audio/video). • The data is largeseveral Mb easily for audio and video -- therefore storage, transfer (bandwidth) and processing overheads are high. Data compression techniques very common.

21. کاربردها (ادامه) • تولید جلوه‌های قابل جستجو درون ویدئوهای جدید و افزودن این امکان به تمامی محصولات تولید شده با این روش • قابلیت ویرایش برای اجزای چندرسانه‌ای • تولید برنامه‌های کاربردی “Inverse-Hollywood” که قابلیت تولید دوباره فرآیند‌ها از طریق ویدئو‌های از قبل ساخته شده را دارند. • استفاده از شناسایی صدا (Voice-recognition) برای ساخت محیط پویا که به آن یک “kitchen wall web browser” گفته می‌شود سیستم‌های چندرسانه‌ای

22. پروژه‌ها وموضوعات تحقیقاتی در زمینهٔ چندرسانه‌ای کد گذاری و پردازش چندرسانه‌ای پشتیبانی سیستم‌های چندرسانه‌ای در شبکه ابزارهای چندرسانه‌ای، سیستم‌های نهایی (End Systems) و برنامه‌های کاربردی تعامل در چندرسانه‌ای و ترکیب آن‌ها سیستم‌های چندرسانه‌ای

23. پروژه‌های چندرسانه‌ای تکنولوژی ره‌گیری اشیا توسط دوربین: کنترل اتوماتیک کل فرایند. ضبط تصاویر سه بعدی (3D motion capture): ساختن خودکار مدل‌های واقعی پویا با حرکت طبیعی. زوایای دید چندگانه: تصویر‌های واقعی (کیفیت ویدئویی) ترکیبی از بازیگرهای مجازی که توسط یک یا چند دوربین با نورپردازی‌های متفاوت گرفته شده. سیستم‌های چندرسانه‌ای

24. Desirable Features for a Multimedia System • Given the above challenges the following feature a desirable (if not a prerequisite) for a Multimedia System: • Very High Processing Power • needed to deal with large data processing and real time delivery of media. • Special hardware commonplace. • Multimedia Capable File System • needed to deliver real-time media -- e.g. Video/Audio Streaming. Special • Hardware/Software needed e.g RAID technology.

25. Desirable Features for a Multimedia System (cont’d) • Data Representations/File Formats that support multimedia • Data representations/file formats should be easy to handle yet allow for compression/ decompression in real-time. • Efficient and High I/O • input and output to the file subsystem needs to be efficient and fast. Needs to allow for real-time recording as well as playback of data. e.g. Direct to Disk recording systems.

26. Desirable Features for a Multimedia System (cont’d) • Special Operating System • to allow access to file system and process data efficiently and quickly. Needs to support direct transfers to disk, real-time scheduling, fast interrupt processing, I/O streaming etc. • Storage and Memory • large storage units (of the order of 50 -100 GB or more) and large memory (50 - 100 Mb or more). Large Caches also required and frequently of Level 2 and 3 hierarchy for efficient management. • Network Support • Client-server systems common as distributed systems common. • Software Tools • user friendly tools needed to handle media, design and develop applications, deliver media.

27. Applications • Examples of Multimedia Applications include: • World Wide Web • Hypermedia courseware • Video conferencing • Video-on-demand • Interactive TV • Groupware • Home shopping • Games • Virtual reality • Digital video editing and production systems • Multimedia Database systems

28. چرا چندرسانه ای؟ • بسیار جذاب تر است. • تکنولوژی برای آن آماده است. • همگرایی کامپیوتر ها، مخابرات و تلویزیون (NBTel، AOL/Time Warner، MSNBC و ...) • همکاری و محیط مجازی • به شدت آینده را با بهبود یادگیری، سرگرمیها و سطح زندگی تحت تأثیر قرار خواهد داد.

29. سیستم‌های چندرسانه‌ای

30. سیستم‌های چندرسانه‌ای

31. پروتکل انتقال ابر متن (HTTP) • HTTP: پروتکلی که در اصل برای انتقال ابر متن طراحی شده بود، اما می‌تواند انتقال هر نوع فایل را انجام دهد. • HTTP یک پروتکل درخواست / پاسخ بدون حالت است: هیچ اطلاعاتی برای درخواست بعدی نگه داشته نمی‌شود. مدل پایه ای درخواست (Request) Method URI Version Additional-Headers(سربرگ های اضافه شده) Message-body(بدنه پیغام) • مشخصه منبع یکنواخت (URI): مشخصه‌ای برای منبع دست یافته، برای مثال: نام میزبان. همیشه با http:// شروع می‌شود. Multimedia Systems

32. زبان افزودنی ابر متن (HTML) HTML : زبانی است برای انتشار ابررسانه‌ای در شبکهٔ جهانی web (استفاده از SGMLبه صورت زیر تعریف می شود) HTML از ASCII که قابل انتقال به همه نوع سخت افزار کامپیوتراست استفاده می کند (حتی آنهایی که سازگار با سیستم binary نیستند) نسخهٔ فعلیhtml نسخه 4.01 است. W3C روی نسخهٔ 5 کار می‌کند. نسل بعدی HTML، XHTML است (یک فرمول بندی جدید از html با استفاده از XML) HTMLاز tag (بر چسب) برای تعریف اجزای document استفاده می‌کند – به معنای یک نقطه شروع می باشد <token params> — نقطه پایان یک دستور </token> – بعضی از دستورات tag پایانی ندارند. Multimedia Systems

33. یک صفحهٔ HTML ساده در زیر نمایش داده شده است : <HTML> <HEAD> <TITLE> A sample web page. </TITLE> <META NAME = "Author" CONTENT = "Cranky Professor"> </HEAD> <BODY> <P> We can put any text we like here, since this is a paragraph element. </P> </BODY> </HTML> • به طور طبیعی، HTML ساختارهای مرکب زیادی دارد و می‌تواند با استانداردهای دیگر ترکیب شود. Multimedia Systems

34. What is a medium? • The word medium means to be between two ends/extremes. • In the case of human communication, it is the process by which ideas are manifested and then experienced by people.

35. What is a medium?

36. What is meant by medium? • Carrier Medium: A substance or substrate in which energy and/or information is transmitted or carried. For example magnetic tape, paper, electromagnetic waves, copper, etc.

37. What is meant by medium? (cont’d) • Human Communication Medium: A form of expression in which thoughts are converted into a form that can traverse the physical world and be re-converted by one or more senses back into thoughts. [adapted from McCloud 1993];

39. The progression of HC media • Cave painting • written language • sculpting • Musical notation • Books (hand written) • Books (printing press) • newspapers (periodical information)

40. The progression of HC media (cont’d) • photography • stereoscope (Wheatstone) • stereo photography • recorded audio • animated images • motion pictures - mass visual presentation • telegraph • telephone

41. The progression of HC media (cont’d) • radio • television - very mass visual presentation • digital computer (ENIAC developed at U Penn) • flight simulation • computer graphics • First HMD • video games • picture phone • video teleconferencing • the Internet (telnet, ftp, sockets, etc.)

42. The progression of HC media (cont’d) • color frame buffers for computers • computer graphics animation • networked computer discussion forums (USENET, etc.) • stereo computer graphics • interactive computer graphics • immersive interactive computer display (i.e. VR) • the CAVE (theater-like virtual reality) • the World-Wide-Web

43. How are ideas transmitted? • Communicant’s mental model • Select medium (painting, music, written words,…) • Composition of virtual world • Result of composition (e.g. a visual image for a painting or musical notes for a music) • Performance (tools, venue, time, …) • Experience (e.g. listening for the music) • Recipient's mental mind)

44. Note • Mismatches between the life experiences of the parties can result in a loss of communication. Perhaps the recipient will receive a whole unplanned/undesired message.

45. Cyberspace • location that exists only in the minds of the participants • often as a result of technology that enables geographically distant people to interactively communicate

46. Telepresence • The ability to directly interact (often via computer mediation) with a physically real remote environment from the first or second person point of view. • There are no restrictions on where the remote environment can be, or how large the remote interface device is.

47. Modalities • Different sort of perception is called modalities • Examples: reading a text, looking at pictures, listening to sound, …

48. Multimedia vs. Multiple Media • In multiple media production we switch between modalities. • Example: we read a text then we look at a picture. • Many early multimedia presentations were like this. • True multimedia require us to combine modalities, or even develop new ones, to cope with the combination of media • Example: video clips

49. Delivery • Online: using a network to send information from one computer (server) to user’s computer (client). Example: www • Offline: using some removable storage device: CD ROM, DVD, VHS, …

50. Interactivity • A feature that distinguishes digital multimedia from TV. • Interactivity empowers the end users to control the content and flow of information • Note: only choices that are coded into the program are allowed.