1 / 30

T-111.350 Multimediatekniikka

T-111.350 Multimediatekniikka. Tiivistelmä tenttiä varten. Mitä on multimedia? . Monta mediaa Teksti, grafiikka, animaatio, kuva, ääni, video Vuorovaikutus Aika Eri medioiden tahdistus  synchronous Media sisäinen tahdistus  isochronous Ajallinen ulottuvuus esim. Juoni MultimediaPC 3:

macha
Download Presentation

T-111.350 Multimediatekniikka

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. T-111.350 Multimediatekniikka Tiivistelmä tenttiä varten Heikki Kukkonen

  2. Mitä on multimedia? • Monta mediaa • Teksti, grafiikka, animaatio, kuva, ääni, video • Vuorovaikutus • Aika • Eri medioiden tahdistus  synchronous • Media sisäinen tahdistus  isochronous • Ajallinen ulottuvuus esim. Juoni • MultimediaPC 3: • 8/16 bit näytteet; 8-44,1 kHz taajuudella • Pulse Code Modulation –kodekki • 16 bit stereo vie max 13% prosessoriajasta • CD-ROM digitaalisella audiolla • Kaksi kaiutinta (120-17.5 kHz) • Subwoofer (40-250 Hz) • MIDI-portti Heikki Kukkonen

  3. Mitä on hypermedia? • Eri medioita • Rajallinen vuorovaikutus • Ei ajallista ulottuvuutta • Ei synkronointia • Hyperlinkit Heikki Kukkonen

  4. Multimediajärjestelmä • Nykyiset tietojärjestelmät sopivat huonosti: • Psosessorien teho ei riitä • Tiedostojärjestelmät optimoitu tilan suhteen • Tietoverkot optimoitu purskeiden lähettämiseen; • Hallinta: • Synkronointi • Jatkuva-aikainen media • Tiukat rajat synkronoinnille • Vaaditaan vakioviiveet  QoS, puskurointi • Orkestrointi • Useiden resurssien varausten ohjaus yhtäaikaa • Jokainen resurssin ohjausyksikkö ohjaa omia resurssejaan • Tiedostojärjestelmä: pääsy tiedostoihin • Verkko: liikenteen ohjaus Heikki Kukkonen

  5. QoS • Laatuparametrit • Kaista • Viive • Huojunta • Virheet • Taattu/paras yritys • Laatuparametrit neuvotellaan ennen tiedonsiirron aloittamista Heikki Kukkonen

  6. Multimedian sovellusalueita • Etäopetus • Sähköinen kaupankäynti • Pankki, sähköiset kirjat, ostospaikat; myynti-markkinointi-tuotanto-jakelu-hallinnointi  voidaan hyödyntää koko sekvenssissä • Uutiset ja viihde • Rahoitus: mainostulot, sisältömaksut, lisäarvopalvelut • Portaalit • Paikkatietojärjestelmät • Terveydenhuolto • Haasteet: tietosuoja, tiedon määrä, helppokäyttöisyys • Tiedotus, neuvonta, potilastietojärjestelmät, diagnisointi • Viestintä • Voip, chat • Videokonferenssit Heikki Kukkonen

  7. Konvergenssi • Tietotekniikka: multimedia PC • Tietoliikenne: puhelut, dataliikenne, lisäarvopalvelut, Internet • Viihde-elektroniikka: interaktiiviset palvelut • samoja sovelluksia voidaan käyttää eri päätelaitteissa: MPC, Palm, känny, Digi-TV • eri päätelaitteet käyttävät samoja verkkotekniikoita: LAN, POTS, kaapeli-TV • viihde-elektroniikka ja tietokoneet lähenevät toisiaan Arvoketju: • Tuottaja – Pakkaaja – Siirtäjä – Jakelija – Kuluttaja • Palvelu – Kauppap. – Runkov. – ISP – Käyttäjä Heikki Kukkonen

  8. CD-levyt CD-levyjen eri standardit: • CD-DA (red book): digitaalinen audio • CD-ROM (yellow book): teksti&data, audio&video • CD-I (green book): teksti, grafiikka, audio ja videot pelit • DVI : Indeo video (72 min) • CD-XA (eXtended yellow book): parempi audio ja video • PhotoCD: max 100 kompressoitua kuvaa • VideoCD (white book): MPEG1 video 74min • CD-R (orange book): kertaalleen tallentava Heikki Kukkonen

  9. DVD-levyt • Suurempi tallennuskapasiteetti kuin CD:ssä • pienempi kuopan väli (n. 0,5x) • pienempi uran väli (< 0,5x) • lyhyempi aallonpituus laserissa • kaksi puolta • kaksi kerrosta • Kapasiteetti 4,7Gtavua  17 Gtavuun. • Salaa vain osan sisällöstä  säästetään purkuaikaa • Purkaa salauksen laitteistolla • Salausavain löytyy levyltä, vain lisenssin hankkineet tietää miten Heikki Kukkonen

  10. USB – Universal Serial Bus • Etuja: • Ei tarvitse määritellä asetuksia • Ei tarvitse avata tietokonetta • Ei erillisiä sähköjohtoja • Näppäimistö, hiiri, tulostin, skanneri, digi-kamera, puhelin, joystick, TV • Nopeus 1,5Mbps ja 12 Mbps • Neljä johdinta – tähtitopologia (HUB), maksimietäisyys 5m • Tukee: • Isokroninen videon ja audion siirto • Reaaliaikaiset keskeytykset • Suurten datamäärien siirto paras yritys –metodilla • Ohjausdatan siirto • USB 2.0  40 kertainen nopeus, uudet oheislaitteet, yhteensopiva 1.1 Heikki Kukkonen

  11. FireWire • Kuten USB, mutta suurempi siirtonopeus jopa 400 Mbps • Laiteryhmät liitetään toisiinsa käyttäen siltoja • Yksi kaapeli max 4,5m , kaapelissa kaksi datajohdinparia ja virtajohtimet • Etuja: • Väylä skaalautuu hyvin • Joustava topologia • Laitteita voi liittää aktiiviseen väylään • Väylä on helppo käyttää, ei asetuksia • Suunniteltu kulutuslaitteisiin, halpa • Tällä hetkellä tarjolla rajoitetusti Heikki Kukkonen

  12. Käyttöjärjestelmät • Nykyisin käyttöjärjestelmä suorittaa paljon toimintoja, resurssienhallinta tehotonta • Reaaliaikaiset käyttöjärjestelmät: • pieni koko: ylimääräiset ominaisuudet poistettu (ikkunointi, hajautetut tiedostojärjestelmät) • keskeytysten käsittely: ruuhkautuminen estetty • reaaliaikainen skedulointi: suorituksen ajoitus • tehokas muistinhallinta: jaettu muistialue • nopea viestinvälitys: eri tasojen völinen kommunikointi on optimoitu • resurssien varaus: tehtävää ei oteta suoritettavaksi jos siihen ei kyetä • MicroKernel: • ydin on tehty pieneksi ja reaaliaikaiseksi • muut ominaisuudet suoritetaan käyttäjäprosesseina • haluttu kokoonpano voidaan koota eri moduleista • Sulautettu Linux • kiinnostava vaihtoehto • MMX: SIMD-arkkitehtuuri, sama operaatio usealle data-alkiolle, ongelmana rautaan koodattujen algoritmien vaikea päivitys Heikki Kukkonen

  13. Digitaalinen audio • Sovellusalueet • tietokoneella tuotettu ääni • äänen tallennus ja käsittely • vastaajapalvelu • puhesyntikka ja puheentunnistus • tiedon esittäminen äänenä • Psykoakustiikka • taajuusalue: ihmisellä n. 20 Hz - 20 kHz • dynaaminen alue: 0dB-100dB, aistihavainto ei suoraan mitattavissa • taajuusominaisuudet: useiden taajuuksien summa, F-analyysi, pakkaus • ajan vaikutus: oikeassa äänessä kolme osaa: nousu, vakaa, vaimeneminen • maskaus: äänet voivat peittää toisiaan, kriittinen raja = min. f etäisyys, jolla kuullaan erillisinä • vaihe: eri vaiheiset äänet voivat peittää toisensa • binauraalinen kuulo ja lokalisaatio: ihminen pystyy paikallistamaan äänilähteen, matalat taajuudet heikommin Heikki Kukkonen

  14. Audion koodaus • Näytteistys taajuus vähintään kaksi kertaa maksimitaajuus • deltamodulaatio DPCM, koodaa vain peräkkäisten näytteiden eron • Fourier-muunnos FFT:llä taajuuskomponenteiksi  lähetetään vain kertoimet, siirto tehokkaampaa ja robustisempaa • Myös maskaamista voidaan hyödyntää koodauksessa • Subband Coding  signaali jaetaan taajuusalueisiin, esim MP3 ja MPEG • Puhetta voidaan koodata synteesin avulla, lineearisen ennustuksen avulla, enkooderi valitsee lähinnä puhenäytettä olevan syötesignaalin Heikki Kukkonen

  15. JPEG • Kompressiosuhde/kuvanlaatu valittavissa • Neljä eri moodia: hukkaavissa 8x8 pix DCT-koodaus • sekventaalinen koodaus: lohkojen DCT-kertoimet lähetetään lohko kerrallaan alkuperäisessä järjestyksessä • progressiivinen koodaus: kertoimet tallennetaan muistiin ja lähetetään ryhmissä • hierarkinen koodaus: valitaan erilaisia resoluutioita koodattaviksi interpoloidaan alkuperäisen ja pieniresoluutioisen kuvan väliltä • hukkaamaton koodaus: ennustava koodaus  täydellinen toisto • DCT-koodauksessa kertoimet esitetään matriisina • kertoimet zig-zag muodossa  nollat loppuun  RunLength-koodaus • Huffman • tarvitsee taulukon • aritmeettinen koodaus • Vaatii enemmän laskentaa, parempi kompressio Heikki Kukkonen

  16. Videotekniikka • videokamera skannaa kuvaa vaakaviivoina vasemmalta ylhäältä oikealle alas • resoluutio: kyky toistaa yksityiskohtia, vaakasuorassa pisteiden lkm yhdellä rivillä, pystysuorassa rivien lkm. • tarvitaan lisäksi synkronointi-impulssi • voidaan laskea vierekkäisten pystysuorien MV viivojen lukumääränä  80 viivaa = 1MHz, • NTSC-standardissa 4,5 MHz 360 viivaa, juovia 625 (USA 525) • kuvataajuus 25 tai 30 kuvaa/sekunti • välkkymisen estäminen 50 kuvaa/sekunti ei onnistu  lomitetaan kuvia  Nopeasti liikkuvissa kappaleissa sahanreuna, terävät viivat välkkyy • RGB-videosignaali: valo erivärisistä komponenteista RGB, • Komposiittisignaali: luminanssi (monokromi) ja krominanssi (väri) • luminanssi perustaajuudella ja krominanssi korkeammalla taajuudella, (kr-taajuus n*juova-taajuus /2), silmä ei ole herkkä krominanssille • vähän häiriöitä, helmpompi siirtää, • NTSC: luminanssi (4,5MHz) ja krominanssi (1,5 ja 0,5 MHz) (USA) • PAL: sama kaistanleveys molemmilla • Summaus: RGB, Vähennys: BR-RG-Y (CMY); väriTV-RGB Heikki Kukkonen

  17. Videokompressointi • Usein koostuu useasta eri menetelmästä: • yksinkertaiset: tarkkuden alentaminen, Run Length –koodaus, väritaulu • Interpolaatio: osa koodataan loput interpoloidaan • Ennustus: ennustetaan seuraava pikseli / juova, esim DPCM • Muunnokset: DCT, perustaaj. kertoimet, tarvitaan käänteismuunnos • Tilastolliset menetelmät: Huffman, tarvitaan koodikirja, yleisimmät lukuarvot koodataan lyhyemmksi merkeiksi • videon peräkkäisissä kuvissa paljon redundanssia, liikkenkompensointi • vaikea erottaa muuttumatonta muuttuvasta  lohkotetaan ja koodataan lohkot • H.261: kuvien välinen ennustus ja DCT • MPEG: toisto mistä tahansa kohtaa mahdollista, editointi mahdollista, audio/video synkronointi, neljä eri koodaustyyppiä (esim. {I,B,B,P,B,B,I}): • I : kuvat muista riippumattomia (eniten tilaa) • P : kuvat ennustettuja (liike) muista (I ja P) (3:1) • B : kuvat interpoloituja sekä edellisistä, että tulevista (I ja P) (2-5:1) • D : kuvat ovat nopeaa etsimistä varten • Bittivirta: videosekvenssi  ryhmä kuvia  kuva  osakuva  makrolohko lohko Heikki Kukkonen

  18. Siirtoformaatit • alusta- ja ohjelmistoriippumattomia siirtoformaatteja, mahdollistavat eri sovellusten keskustelun; sovellukset, mediapalvelin, tietokanta, verkko • joko tiedostoformaatteja tai reaaliaikaista siirtoa varten • perustana joko raita- tai oliomalli • Raitamalli: multimediadokumentti on lista, joka kertoo missä järjestyksessä komponentit esitetään, hakujärjestys määritelty ajan perusteella • Oliomalli: hakujärjestys määritelty tietorakenteen mukaisesti, sallii paremmin vuorovaikutuksen toteuttamisen • Menetelmät: • objektien sijainti: samanaikaisesti tarvittavat mediaobjektit lähekkäin • osittainen haku: isot objektit paloissa, ei voida esittää kerralla • objektien järjestys: hakumekanismi ylläpitää esitysjärjestyksen • objektien indeksointi: luodaan nopea objektien hakutaulu • objektien lomittelu: isoja objekteja vuorotellen • kuvauksen ja sisällön haku erikseen: sisällön siirto voidaan optimoida • progressiivinen haku: ensin pienellä resoluutiolla • resurssisuositukset: ilmoitetaan ensin resurssivaatimukset Heikki Kukkonen

  19. Siirtoformaatit • Erilaisia siirtoformaatteja: • QuickTime: eri mediatyyppien luominen, integrointi ja esittäminen, ei voi määrittää interaktiivisia toimintoja, perustuu raitamallille, Apple, • MHEG: ISO:n ryhmän tekemä, oliopohjainen multi/hypermedian siirtoformaatti, tukee interaktiivisuutta ja reaaliaikaista siirtoa, synkronointi, alustariippumattomia komponentteja, vähän käytetty • HTML: teksti ja ohjauskomennot, ei tue elementtien sijoittelua, synkronointia eikä interaktiivisuutta, CSS  sijoittelu, ECMAScriptillä interaktiivisuus DOM(Doc. Obj. Mod.):in avulla, DOM-olio-orientoitunut puumainen rakenne • SMiL: useita tiedostoja tai mediavirtoja, synkronointi, eri versiot dokkareista tarpeen mukaan • XML: metakieli, XSL, interaktiivisuus ECMAScriptillä ja DOM-mallilla, synkronointi SMiL:n avulla, • Macromedia: Shockwave:isot tiedostot, Flash:vektorigraffa, raita-malli Heikki Kukkonen

  20. Siirtoformaatit Vertailu: Heikki Kukkonen

  21. Multimediatuotanto • Useita eri alojen ammattilaisia, materiaalin tuottaminen kallista • Koostuu: • projektisuunnitelma • käsikirjoitus • käyttöliittymäsuunnittelu ja toteutus • prototyypit • toteutus • testaus • Tarvitaan kehittyneitä työkaluja • Haasteina: • materiaali- ja tuotantokustannukset • laatu: kallista • omistusoikeudet: monimutkaisia hallita • standardien puute: sovellusten levittäminen vaikeaa • ideoiden puute Heikki Kukkonen

  22. Access-verkot • Tarvitaan laajakaistaiset verkot kaikkialle, kuitu kallista • XDSL: käytetään olevia kuparipareja, tehokas signaalinkäsittely modeemeissa, • IDSL=ISDN • ADSL, R-ADSL: epäsymmetrinen ~ 4Mbps/100Kbps • HDSL, SDSL: symmetrinen, H tarvii 2-3 parikaapelia, S vainyhden • VDSL: asymmetrinen, ~20Mbps/2Mbps • KaapeliTV: alunperin yksisuuntainen, • UMTS: GSMWAPHSCSDGPRSEDGEWCDMAUMTS • operaattoreille ja valmistajille avoin standardi • nopeus aina 2Mbps, erikokoiset solut, valmis 2005??, • WLAN • FireWire • BlueTooth: 10-100m taajuushyppely, pikoverkot Heikki Kukkonen

  23. Access-verkot • XDSL-modeemeissa tehokas signaalinkäsittely, kaksi modulaatiotekniikkaa: • Discrete MultiTone DMT, tehokkaampi, mutta hankalampi, taajuusalue jaetaan 256 alikaistaan • Carrierless Amplitude Phase CAP • Molemmat perustuvat Quadrature Amplitude Modulationiin Heikki Kukkonen

  24. Digi-TV • Digitaaliset lähetykset: enemmän kanavia, parempi kuva • Vastaanottimina Set-Top-Box:it • Lähetyksessä eri tekniikoita: • modulaatio: vaihdetaan vaihetta ja amplitudia  kerralla 4,16,64 bittiä • virheiden suojaustaso • monikantoaalto: useita vierekkäisiö taajuuksia, suojavälit • yksi- tai monitaajuusverkko • MPEG-2 koodattu videosignaali • päätelaite purkaa digitaalisen lähetyksen • salattua lähetystä varten erillinen kortti • paluukanava Heikki Kukkonen

  25. Videoneuvottelu • Etuja: • matkakulut • palauteaika • body-language, seksipalvelut • Kaksi tyyppiä: • Videoneuvottelutilat: ryhmiä varten • Videoneuvotteluohjelmistot: yksilöitä varten • Kaksi yhteystyyppiä: • Kahdenväliset • Monipisteneuvottelut: automaattinen vuoronvalinta / puheenjohtaja • Portinvartija huolehtii käytettävän kapasiteetin varaamisesta • Portti (GateWay): siirtoformaattien, kommunikointiprotokollien, audio- ja videokoodekkien väliset muunnokset sekä yhteyksien solmiminen ja purku • Monipistepalvelin: >2 osapuolta, ohjain ja prossu, Unicast/Multicast/Broadcast • CTI (Computer Telephone Integration): vastaajapalvelu, alanumerot, älykäs reititys Heikki Kukkonen

  26. Videoneuvottelu • Standardiperheet: • H.320 : ISDN • H.321 : tukee laatuparametrejä QoS, ISDN/ATM-pohjainen, • H.322 : tukee laatuparametrejä QoS, Ethernet-pohjainen • H.323 : paikallisverkot ilman QoS:ia, RTP, GateWayn avulla muualle • H.324 : analogisissa puhelinverkoissa (POTS), paremmat pakkausmentelmät kuin H.320:ssa, jopa 28,8 kbps modeemilla • T.120 : kuvien siirto, jaetut työtilat, tiedostojen siirto, monipisteneuvottelut Heikki Kukkonen

  27. QoS • Skeduleri hoitaa sisääntulleet paketit ulos reitittimessä: • Jonotus: • FIFO-jono, tasoittaa purskeet, ei priorisointia, ruuhkassa hukataan paketteja • Prioriteetti-jono, helppo toteuttaa, pakettien luokittelu vaikeaa, korkean prioriteetin liikenne voi tukkia reitittimen • Palveluluokka-jono, kullekin eri palveluluokalle on om jono, skaalautuu huonosti, eri palveluluokat  eri hinnat • Painotettu jono, jaetaan liikennemäärän perusteella, pineikapasiteettinen liikenne saa etusijan, omat vuokohtaiset jonot, yksi virta ei tuki koko liikennettä, laskenta aiheuttaa kuormaa, ryhmittely hankalaa • ATM: sovitaan parametrit etukäteen, virtuaaliyhteys (pysyvä tai ei pysyvä) • Liikenteen hallinnassa: • vuotava ämpäri • kolikkoämpäri • RED (Random Early Detection): paketteja ruvetaan hukkaamaan suuremmalla tod.näk. kun liikenne lisääntyy Heikki Kukkonen

  28. Multicast • Kolme lähetystapaa: • Unicast: kohdistetaan yhdelle • Broadcast: tarjotaan kaikille, ottaa ken tahtoo • Multicast: kohdistetaan monelle, yksi lähetys • Ryhmien hallinta: ryhmäosoitteet, tietokone liittyy mihin tahtoo/reititin kertoo vaihtoehdoista • Reititys: reititystaulut, etäisyysvektori(naapureille etäisyydet muihin reitittimiin, ei skaalaudu) tai linkin tila(Djikstra, skaalautuu)  Multicast-puut • DVMRP(Distance Vector MC Routing P.): ei skaalaudu, helppo • MOSPF(MC Extension to open Shortest Path First): vain lähialueelle, solmujen välille rakennetaan puu, joka pitää karsia, raskas puun laskenta • PIM(Protocol Independent Multicast), • MultiCast-puu: tulvimalla, paketit tulvivat kaikkiin reitittimen ulosmenoihin Heikki Kukkonen

  29. RSVP • Reaaliaikaiset siirto ja hallintaprotokollat: • RTP (UDP), Real-Time Transport Protocol • RTCP(ohjaa RTP), Real-Time Control Protocol • RTSP(käyttää RTP:tä ja RTCP:tä)), Real-Time Streaming protocol • Resurssien varaus: pelkät RT-protokollat eivät takaa siirtoa vaan resurssit on varattava koko matkalta  Resource ReSerVation Protocol RSVP: • Perustuu vastaanottajan tekemiin varauksiin • Lähettäjä lähettää ”path”-ilmoituksen • Reitittimet kirjaavat yhteyden ylös, ”pehmeä tila” = tiedot vanhenevat • Vastaanottaja lähettää ”resv”-varauksen • Reitittimet tarkistavat resurssit ja tekevät varaukset • ”resv”-ilmoituksella pyydetään tiettyjä QoS-parametrejä • RSVP ei vielä laajasti käytössä • resurssien tarkistamista varten ei ole olemassa sopivia algoritmeja • laskutus ja kirjanpito vielä päättämättä Heikki Kukkonen

  30. Sessioiden hallinta • Tarjolla olevien multicastyhteyksien hallintaan ja mainostamiseen on olemassa kolme protokollaa: • SDP: Session Description Protocol, välittää tietoa tarjolla olevista sessioista ja niiden asetuksista, kolme parametria: sessio, aika, media • SAP: Session Announcement Protocol, välittää sessioiden kuvaukset eri hakemistoihin multicastina, yleensä kuitenkin www-sivujen tai news-ryhmien välityksellä • SIP: Session Initation Protocol, voidaan kutsua vain tietyt osapuolet mukaan settiin • kutsuttavat voivat olla henkilöitä tai roboja (videokamerat ym) Heikki Kukkonen

More Related