T-111.350 Multimediatekniikka

1. T-111.350 Multimediatekniikka Tiivistelmä tenttiä varten Heikki Kukkonen

2. Mitä on multimedia? • Monta mediaa • Teksti, grafiikka, animaatio, kuva, ääni, video • Vuorovaikutus • Aika • Eri medioiden tahdistus  synchronous • Media sisäinen tahdistus  isochronous • Ajallinen ulottuvuus esim. Juoni • MultimediaPC 3: • 8/16 bit näytteet; 8-44,1 kHz taajuudella • Pulse Code Modulation –kodekki • 16 bit stereo vie max 13% prosessoriajasta • CD-ROM digitaalisella audiolla • Kaksi kaiutinta (120-17.5 kHz) • Subwoofer (40-250 Hz) • MIDI-portti Heikki Kukkonen

3. Mitä on hypermedia? • Eri medioita • Rajallinen vuorovaikutus • Ei ajallista ulottuvuutta • Ei synkronointia • Hyperlinkit Heikki Kukkonen

4. Multimediajärjestelmä • Nykyiset tietojärjestelmät sopivat huonosti: • Psosessorien teho ei riitä • Tiedostojärjestelmät optimoitu tilan suhteen • Tietoverkot optimoitu purskeiden lähettämiseen; • Hallinta: • Synkronointi • Jatkuva-aikainen media • Tiukat rajat synkronoinnille • Vaaditaan vakioviiveet  QoS, puskurointi • Orkestrointi • Useiden resurssien varausten ohjaus yhtäaikaa • Jokainen resurssin ohjausyksikkö ohjaa omia resurssejaan • Tiedostojärjestelmä: pääsy tiedostoihin • Verkko: liikenteen ohjaus Heikki Kukkonen

5. QoS • Laatuparametrit • Kaista • Viive • Huojunta • Virheet • Taattu/paras yritys • Laatuparametrit neuvotellaan ennen tiedonsiirron aloittamista Heikki Kukkonen

6. Multimedian sovellusalueita • Etäopetus • Sähköinen kaupankäynti • Pankki, sähköiset kirjat, ostospaikat; myynti-markkinointi-tuotanto-jakelu-hallinnointi  voidaan hyödyntää koko sekvenssissä • Uutiset ja viihde • Rahoitus: mainostulot, sisältömaksut, lisäarvopalvelut • Portaalit • Paikkatietojärjestelmät • Terveydenhuolto • Haasteet: tietosuoja, tiedon määrä, helppokäyttöisyys • Tiedotus, neuvonta, potilastietojärjestelmät, diagnisointi • Viestintä • Voip, chat • Videokonferenssit Heikki Kukkonen

7. Konvergenssi • Tietotekniikka: multimedia PC • Tietoliikenne: puhelut, dataliikenne, lisäarvopalvelut, Internet • Viihde-elektroniikka: interaktiiviset palvelut • samoja sovelluksia voidaan käyttää eri päätelaitteissa: MPC, Palm, känny, Digi-TV • eri päätelaitteet käyttävät samoja verkkotekniikoita: LAN, POTS, kaapeli-TV • viihde-elektroniikka ja tietokoneet lähenevät toisiaan Arvoketju: • Tuottaja – Pakkaaja – Siirtäjä – Jakelija – Kuluttaja • Palvelu – Kauppap. – Runkov. – ISP – Käyttäjä Heikki Kukkonen

8. CD-levyt CD-levyjen eri standardit: • CD-DA (red book): digitaalinen audio • CD-ROM (yellow book): teksti&data, audio&video • CD-I (green book): teksti, grafiikka, audio ja videot pelit • DVI : Indeo video (72 min) • CD-XA (eXtended yellow book): parempi audio ja video • PhotoCD: max 100 kompressoitua kuvaa • VideoCD (white book): MPEG1 video 74min • CD-R (orange book): kertaalleen tallentava Heikki Kukkonen

9. DVD-levyt • Suurempi tallennuskapasiteetti kuin CD:ssä • pienempi kuopan väli (n. 0,5x) • pienempi uran väli (< 0,5x) • lyhyempi aallonpituus laserissa • kaksi puolta • kaksi kerrosta • Kapasiteetti 4,7Gtavua  17 Gtavuun. • Salaa vain osan sisällöstä  säästetään purkuaikaa • Purkaa salauksen laitteistolla • Salausavain löytyy levyltä, vain lisenssin hankkineet tietää miten Heikki Kukkonen

10. USB – Universal Serial Bus • Etuja: • Ei tarvitse määritellä asetuksia • Ei tarvitse avata tietokonetta • Ei erillisiä sähköjohtoja • Näppäimistö, hiiri, tulostin, skanneri, digi-kamera, puhelin, joystick, TV • Nopeus 1,5Mbps ja 12 Mbps • Neljä johdinta – tähtitopologia (HUB), maksimietäisyys 5m • Tukee: • Isokroninen videon ja audion siirto • Reaaliaikaiset keskeytykset • Suurten datamäärien siirto paras yritys –metodilla • Ohjausdatan siirto • USB 2.0  40 kertainen nopeus, uudet oheislaitteet, yhteensopiva 1.1 Heikki Kukkonen

11. FireWire • Kuten USB, mutta suurempi siirtonopeus jopa 400 Mbps • Laiteryhmät liitetään toisiinsa käyttäen siltoja • Yksi kaapeli max 4,5m , kaapelissa kaksi datajohdinparia ja virtajohtimet • Etuja: • Väylä skaalautuu hyvin • Joustava topologia • Laitteita voi liittää aktiiviseen väylään • Väylä on helppo käyttää, ei asetuksia • Suunniteltu kulutuslaitteisiin, halpa • Tällä hetkellä tarjolla rajoitetusti Heikki Kukkonen

12. Käyttöjärjestelmät • Nykyisin käyttöjärjestelmä suorittaa paljon toimintoja, resurssienhallinta tehotonta • Reaaliaikaiset käyttöjärjestelmät: • pieni koko: ylimääräiset ominaisuudet poistettu (ikkunointi, hajautetut tiedostojärjestelmät) • keskeytysten käsittely: ruuhkautuminen estetty • reaaliaikainen skedulointi: suorituksen ajoitus • tehokas muistinhallinta: jaettu muistialue • nopea viestinvälitys: eri tasojen völinen kommunikointi on optimoitu • resurssien varaus: tehtävää ei oteta suoritettavaksi jos siihen ei kyetä • MicroKernel: • ydin on tehty pieneksi ja reaaliaikaiseksi • muut ominaisuudet suoritetaan käyttäjäprosesseina • haluttu kokoonpano voidaan koota eri moduleista • Sulautettu Linux • kiinnostava vaihtoehto • MMX: SIMD-arkkitehtuuri, sama operaatio usealle data-alkiolle, ongelmana rautaan koodattujen algoritmien vaikea päivitys Heikki Kukkonen

13. Digitaalinen audio • Sovellusalueet • tietokoneella tuotettu ääni • äänen tallennus ja käsittely • vastaajapalvelu • puhesyntikka ja puheentunnistus • tiedon esittäminen äänenä • Psykoakustiikka • taajuusalue: ihmisellä n. 20 Hz - 20 kHz • dynaaminen alue: 0dB-100dB, aistihavainto ei suoraan mitattavissa • taajuusominaisuudet: useiden taajuuksien summa, F-analyysi, pakkaus • ajan vaikutus: oikeassa äänessä kolme osaa: nousu, vakaa, vaimeneminen • maskaus: äänet voivat peittää toisiaan, kriittinen raja = min. f etäisyys, jolla kuullaan erillisinä • vaihe: eri vaiheiset äänet voivat peittää toisensa • binauraalinen kuulo ja lokalisaatio: ihminen pystyy paikallistamaan äänilähteen, matalat taajuudet heikommin Heikki Kukkonen

14. Audion koodaus • Näytteistys taajuus vähintään kaksi kertaa maksimitaajuus • deltamodulaatio DPCM, koodaa vain peräkkäisten näytteiden eron • Fourier-muunnos FFT:llä taajuuskomponenteiksi  lähetetään vain kertoimet, siirto tehokkaampaa ja robustisempaa • Myös maskaamista voidaan hyödyntää koodauksessa • Subband Coding  signaali jaetaan taajuusalueisiin, esim MP3 ja MPEG • Puhetta voidaan koodata synteesin avulla, lineearisen ennustuksen avulla, enkooderi valitsee lähinnä puhenäytettä olevan syötesignaalin Heikki Kukkonen

15. JPEG • Kompressiosuhde/kuvanlaatu valittavissa • Neljä eri moodia: hukkaavissa 8x8 pix DCT-koodaus • sekventaalinen koodaus: lohkojen DCT-kertoimet lähetetään lohko kerrallaan alkuperäisessä järjestyksessä • progressiivinen koodaus: kertoimet tallennetaan muistiin ja lähetetään ryhmissä • hierarkinen koodaus: valitaan erilaisia resoluutioita koodattaviksi interpoloidaan alkuperäisen ja pieniresoluutioisen kuvan väliltä • hukkaamaton koodaus: ennustava koodaus  täydellinen toisto • DCT-koodauksessa kertoimet esitetään matriisina • kertoimet zig-zag muodossa  nollat loppuun  RunLength-koodaus • Huffman • tarvitsee taulukon • aritmeettinen koodaus • Vaatii enemmän laskentaa, parempi kompressio Heikki Kukkonen

16. Videotekniikka • videokamera skannaa kuvaa vaakaviivoina vasemmalta ylhäältä oikealle alas • resoluutio: kyky toistaa yksityiskohtia, vaakasuorassa pisteiden lkm yhdellä rivillä, pystysuorassa rivien lkm. • tarvitaan lisäksi synkronointi-impulssi • voidaan laskea vierekkäisten pystysuorien MV viivojen lukumääränä  80 viivaa = 1MHz, • NTSC-standardissa 4,5 MHz 360 viivaa, juovia 625 (USA 525) • kuvataajuus 25 tai 30 kuvaa/sekunti • välkkymisen estäminen 50 kuvaa/sekunti ei onnistu  lomitetaan kuvia  Nopeasti liikkuvissa kappaleissa sahanreuna, terävät viivat välkkyy • RGB-videosignaali: valo erivärisistä komponenteista RGB, • Komposiittisignaali: luminanssi (monokromi) ja krominanssi (väri) • luminanssi perustaajuudella ja krominanssi korkeammalla taajuudella, (kr-taajuus n*juova-taajuus /2), silmä ei ole herkkä krominanssille • vähän häiriöitä, helmpompi siirtää, • NTSC: luminanssi (4,5MHz) ja krominanssi (1,5 ja 0,5 MHz) (USA) • PAL: sama kaistanleveys molemmilla • Summaus: RGB, Vähennys: BR-RG-Y (CMY); väriTV-RGB Heikki Kukkonen

17. Videokompressointi • Usein koostuu useasta eri menetelmästä: • yksinkertaiset: tarkkuden alentaminen, Run Length –koodaus, väritaulu • Interpolaatio: osa koodataan loput interpoloidaan • Ennustus: ennustetaan seuraava pikseli / juova, esim DPCM • Muunnokset: DCT, perustaaj. kertoimet, tarvitaan käänteismuunnos • Tilastolliset menetelmät: Huffman, tarvitaan koodikirja, yleisimmät lukuarvot koodataan lyhyemmksi merkeiksi • videon peräkkäisissä kuvissa paljon redundanssia, liikkenkompensointi • vaikea erottaa muuttumatonta muuttuvasta  lohkotetaan ja koodataan lohkot • H.261: kuvien välinen ennustus ja DCT • MPEG: toisto mistä tahansa kohtaa mahdollista, editointi mahdollista, audio/video synkronointi, neljä eri koodaustyyppiä (esim. {I,B,B,P,B,B,I}): • I : kuvat muista riippumattomia (eniten tilaa) • P : kuvat ennustettuja (liike) muista (I ja P) (3:1) • B : kuvat interpoloituja sekä edellisistä, että tulevista (I ja P) (2-5:1) • D : kuvat ovat nopeaa etsimistä varten • Bittivirta: videosekvenssi  ryhmä kuvia  kuva  osakuva  makrolohko lohko Heikki Kukkonen

18. Siirtoformaatit • alusta- ja ohjelmistoriippumattomia siirtoformaatteja, mahdollistavat eri sovellusten keskustelun; sovellukset, mediapalvelin, tietokanta, verkko • joko tiedostoformaatteja tai reaaliaikaista siirtoa varten • perustana joko raita- tai oliomalli • Raitamalli: multimediadokumentti on lista, joka kertoo missä järjestyksessä komponentit esitetään, hakujärjestys määritelty ajan perusteella • Oliomalli: hakujärjestys määritelty tietorakenteen mukaisesti, sallii paremmin vuorovaikutuksen toteuttamisen • Menetelmät: • objektien sijainti: samanaikaisesti tarvittavat mediaobjektit lähekkäin • osittainen haku: isot objektit paloissa, ei voida esittää kerralla • objektien järjestys: hakumekanismi ylläpitää esitysjärjestyksen • objektien indeksointi: luodaan nopea objektien hakutaulu • objektien lomittelu: isoja objekteja vuorotellen • kuvauksen ja sisällön haku erikseen: sisällön siirto voidaan optimoida • progressiivinen haku: ensin pienellä resoluutiolla • resurssisuositukset: ilmoitetaan ensin resurssivaatimukset Heikki Kukkonen

19. Siirtoformaatit • Erilaisia siirtoformaatteja: • QuickTime: eri mediatyyppien luominen, integrointi ja esittäminen, ei voi määrittää interaktiivisia toimintoja, perustuu raitamallille, Apple, • MHEG: ISO:n ryhmän tekemä, oliopohjainen multi/hypermedian siirtoformaatti, tukee interaktiivisuutta ja reaaliaikaista siirtoa, synkronointi, alustariippumattomia komponentteja, vähän käytetty • HTML: teksti ja ohjauskomennot, ei tue elementtien sijoittelua, synkronointia eikä interaktiivisuutta, CSS  sijoittelu, ECMAScriptillä interaktiivisuus DOM(Doc. Obj. Mod.):in avulla, DOM-olio-orientoitunut puumainen rakenne • SMiL: useita tiedostoja tai mediavirtoja, synkronointi, eri versiot dokkareista tarpeen mukaan • XML: metakieli, XSL, interaktiivisuus ECMAScriptillä ja DOM-mallilla, synkronointi SMiL:n avulla, • Macromedia: Shockwave:isot tiedostot, Flash:vektorigraffa, raita-malli Heikki Kukkonen

20. Siirtoformaatit Vertailu: Heikki Kukkonen

21. Multimediatuotanto • Useita eri alojen ammattilaisia, materiaalin tuottaminen kallista • Koostuu: • projektisuunnitelma • käsikirjoitus • käyttöliittymäsuunnittelu ja toteutus • prototyypit • toteutus • testaus • Tarvitaan kehittyneitä työkaluja • Haasteina: • materiaali- ja tuotantokustannukset • laatu: kallista • omistusoikeudet: monimutkaisia hallita • standardien puute: sovellusten levittäminen vaikeaa • ideoiden puute Heikki Kukkonen

22. Access-verkot • Tarvitaan laajakaistaiset verkot kaikkialle, kuitu kallista • XDSL: käytetään olevia kuparipareja, tehokas signaalinkäsittely modeemeissa, • IDSL=ISDN • ADSL, R-ADSL: epäsymmetrinen ~ 4Mbps/100Kbps • HDSL, SDSL: symmetrinen, H tarvii 2-3 parikaapelia, S vainyhden • VDSL: asymmetrinen, ~20Mbps/2Mbps • KaapeliTV: alunperin yksisuuntainen, • UMTS: GSMWAPHSCSDGPRSEDGEWCDMAUMTS • operaattoreille ja valmistajille avoin standardi • nopeus aina 2Mbps, erikokoiset solut, valmis 2005??, • WLAN • FireWire • BlueTooth: 10-100m taajuushyppely, pikoverkot Heikki Kukkonen

23. Access-verkot • XDSL-modeemeissa tehokas signaalinkäsittely, kaksi modulaatiotekniikkaa: • Discrete MultiTone DMT, tehokkaampi, mutta hankalampi, taajuusalue jaetaan 256 alikaistaan • Carrierless Amplitude Phase CAP • Molemmat perustuvat Quadrature Amplitude Modulationiin Heikki Kukkonen

24. Digi-TV • Digitaaliset lähetykset: enemmän kanavia, parempi kuva • Vastaanottimina Set-Top-Box:it • Lähetyksessä eri tekniikoita: • modulaatio: vaihdetaan vaihetta ja amplitudia  kerralla 4,16,64 bittiä • virheiden suojaustaso • monikantoaalto: useita vierekkäisiö taajuuksia, suojavälit • yksi- tai monitaajuusverkko • MPEG-2 koodattu videosignaali • päätelaite purkaa digitaalisen lähetyksen • salattua lähetystä varten erillinen kortti • paluukanava Heikki Kukkonen

25. Videoneuvottelu • Etuja: • matkakulut • palauteaika • body-language, seksipalvelut • Kaksi tyyppiä: • Videoneuvottelutilat: ryhmiä varten • Videoneuvotteluohjelmistot: yksilöitä varten • Kaksi yhteystyyppiä: • Kahdenväliset • Monipisteneuvottelut: automaattinen vuoronvalinta / puheenjohtaja • Portinvartija huolehtii käytettävän kapasiteetin varaamisesta • Portti (GateWay): siirtoformaattien, kommunikointiprotokollien, audio- ja videokoodekkien väliset muunnokset sekä yhteyksien solmiminen ja purku • Monipistepalvelin: >2 osapuolta, ohjain ja prossu, Unicast/Multicast/Broadcast • CTI (Computer Telephone Integration): vastaajapalvelu, alanumerot, älykäs reititys Heikki Kukkonen

26. Videoneuvottelu • Standardiperheet: • H.320 : ISDN • H.321 : tukee laatuparametrejä QoS, ISDN/ATM-pohjainen, • H.322 : tukee laatuparametrejä QoS, Ethernet-pohjainen • H.323 : paikallisverkot ilman QoS:ia, RTP, GateWayn avulla muualle • H.324 : analogisissa puhelinverkoissa (POTS), paremmat pakkausmentelmät kuin H.320:ssa, jopa 28,8 kbps modeemilla • T.120 : kuvien siirto, jaetut työtilat, tiedostojen siirto, monipisteneuvottelut Heikki Kukkonen

27. QoS • Skeduleri hoitaa sisääntulleet paketit ulos reitittimessä: • Jonotus: • FIFO-jono, tasoittaa purskeet, ei priorisointia, ruuhkassa hukataan paketteja • Prioriteetti-jono, helppo toteuttaa, pakettien luokittelu vaikeaa, korkean prioriteetin liikenne voi tukkia reitittimen • Palveluluokka-jono, kullekin eri palveluluokalle on om jono, skaalautuu huonosti, eri palveluluokat  eri hinnat • Painotettu jono, jaetaan liikennemäärän perusteella, pineikapasiteettinen liikenne saa etusijan, omat vuokohtaiset jonot, yksi virta ei tuki koko liikennettä, laskenta aiheuttaa kuormaa, ryhmittely hankalaa • ATM: sovitaan parametrit etukäteen, virtuaaliyhteys (pysyvä tai ei pysyvä) • Liikenteen hallinnassa: • vuotava ämpäri • kolikkoämpäri • RED (Random Early Detection): paketteja ruvetaan hukkaamaan suuremmalla tod.näk. kun liikenne lisääntyy Heikki Kukkonen

28. Multicast • Kolme lähetystapaa: • Unicast: kohdistetaan yhdelle • Broadcast: tarjotaan kaikille, ottaa ken tahtoo • Multicast: kohdistetaan monelle, yksi lähetys • Ryhmien hallinta: ryhmäosoitteet, tietokone liittyy mihin tahtoo/reititin kertoo vaihtoehdoista • Reititys: reititystaulut, etäisyysvektori(naapureille etäisyydet muihin reitittimiin, ei skaalaudu) tai linkin tila(Djikstra, skaalautuu)  Multicast-puut • DVMRP(Distance Vector MC Routing P.): ei skaalaudu, helppo • MOSPF(MC Extension to open Shortest Path First): vain lähialueelle, solmujen välille rakennetaan puu, joka pitää karsia, raskas puun laskenta • PIM(Protocol Independent Multicast), • MultiCast-puu: tulvimalla, paketit tulvivat kaikkiin reitittimen ulosmenoihin Heikki Kukkonen

29. RSVP • Reaaliaikaiset siirto ja hallintaprotokollat: • RTP (UDP), Real-Time Transport Protocol • RTCP(ohjaa RTP), Real-Time Control Protocol • RTSP(käyttää RTP:tä ja RTCP:tä)), Real-Time Streaming protocol • Resurssien varaus: pelkät RT-protokollat eivät takaa siirtoa vaan resurssit on varattava koko matkalta  Resource ReSerVation Protocol RSVP: • Perustuu vastaanottajan tekemiin varauksiin • Lähettäjä lähettää ”path”-ilmoituksen • Reitittimet kirjaavat yhteyden ylös, ”pehmeä tila” = tiedot vanhenevat • Vastaanottaja lähettää ”resv”-varauksen • Reitittimet tarkistavat resurssit ja tekevät varaukset • ”resv”-ilmoituksella pyydetään tiettyjä QoS-parametrejä • RSVP ei vielä laajasti käytössä • resurssien tarkistamista varten ei ole olemassa sopivia algoritmeja • laskutus ja kirjanpito vielä päättämättä Heikki Kukkonen

30. Sessioiden hallinta • Tarjolla olevien multicastyhteyksien hallintaan ja mainostamiseen on olemassa kolme protokollaa: • SDP: Session Description Protocol, välittää tietoa tarjolla olevista sessioista ja niiden asetuksista, kolme parametria: sessio, aika, media • SAP: Session Announcement Protocol, välittää sessioiden kuvaukset eri hakemistoihin multicastina, yleensä kuitenkin www-sivujen tai news-ryhmien välityksellä • SIP: Session Initation Protocol, voidaan kutsua vain tietyt osapuolet mukaan settiin • kutsuttavat voivat olla henkilöitä tai roboja (videokamerat ym) Heikki Kukkonen