MULTIMEDIJ SK O UMRE ŽAVANJE

1. MULTIMEDIJSKO UMREŽAVANJE

2. Ciljevi • Principi • Klasifikacija multimedijalnih aplikacija • Identifikacija mrežnih servisa za potrebe aplikacija • Iskoristiti najbolje od servisa • Mehanizmi za obezbeđivanje QoS - a • Protokoli i arhitekture • Posebni protokoli • Arhitekture za obezbeđivanje QoS - a

3. Razlozi za izučavanje multimedijskog umrežavanja • Aktuelna tema • Sveprisutnost multimedije • Veliki broj otvorenih pitanja

4. Kratak pregled • Klasifikacija multimedijskih aplikacija • Arhitekture i mehanizmi za multimedijsko umrežavanje • Protokoli • Obezbeđivanje QoS - a

5. Multimedijske aplikacije umrežavanja • Primeri multimedijskih aplikacija: • Protok memorisanog zvučnog/video signala u realnom vremenu • Protok zvučnog/video signala uživo • Interaktivni zvuk/video u realnom vremenu • Osnovne karaktersitike • Osetljivost na kašnjenja • Tolerantnost na gubitke • Razlikuju se od elastičnih aplikacija (Web mail, FTP, Telnet) • Jitter - treperenje paketa • promene kašnjenja paketa unutar toka

6. Protok memorisanog zvučnog/video signala u realnom vremenu • Istaknuta svosjtva: • Memorisan medijum • Protok signala u realnom vremenu • Kontinualna repordukcija

7. 2. video koji se šalje 3. video prihvaćen, reprodukcija na kijentu • uskledišten • video mreža kašnjenje streaming:klijent reprodukuje materijal sa jednog mesta u datoteci dok preuzima ostale delove datoteke od servera. Protok memorisanog zvučnog/video signala u realnom vremenu time

8. Protok zvuka i videa uživo • Primeri: • Internet radio • Sportski prenos uživo • Streaming • Playback buffer • Tolerancija kašnjenja veća od 10 sec • Osetljivost na kašnjenje i dalje prisutno • Interaktivne operacije • Nemoguće brzo napredovanje kroz medijum • Premotavanje unazad i pauza moguća

9. Interaktivni zvuk i video u realnom vremenu • Aplikacije: • Internet telefon, • Video konferencije • Kašnjenja: • Audio: • < 150 msec čovek ne primećuje • 150 – 400 msec prihvatljivo • > 400 smetnje

10. Prepreke za multimediju na današnjem Internetu • TCP/UDP/IP: Ne daje garancije kašnjenja • Multimedijske aplikacije zahtevaju QoS (Quality of service) • Jitter • Internet usluge I i II klase? • Arhitekture koje imaju za cilj da otklone ograničenja

11. Kako bi Internet trebalo da se razvija da bi bolje podržao multimedije? • Neophodne arhitekture koje obezbeđuju QoS • INTSERV • Fundamentalne promene Interneta koje obezbeđuju rezervacijau propusnog opsega od kraja do kraja • Komponente arhitekture: • Protokol koji rezerviše porpusni opseg • Izmena politike raspoređivanja u redovima u ruterima • Opis saobraćaja za slanje • Mreža mora da poseduje sredstvo za utvrđivanje raspoloživosti propusnog opsega

12. Kako bi Internet trebalo da se razvija da bi bolje podržao multimedije? • LAISSEZ-FAIRE • ISP: • Skaliraju mreže da bi odgovorile potražnji. • Dodaju više propusnog opsega i komunikacionog kapaciteta • Mreže za distribuciju sadržaja (CDN) • Mreže za višeznačno prekrivanje (Multicast overlay networks) • DIFSERV • Uvođenje saobraćajnih klasa

13. duplicate creation/transmission duplicate duplicate R2 R3 R4 R2 R3 R4 R1 R1 (b) (a) Source-duplication versus in-network duplication. (a) source duplication, (b) in-network duplication

14. Protok memorisanog zvučnog/video signala u realnom vremenu • Uskladišteni audio ili video • Prenošenje fajlova kao HTTP objekata: • Preuzimanje matreijala u potpunosti • Onda prosledjivanje medijumu i reprodukcija

15. Protok memorisanog zvučnog/video signala u realnom vremenu • PROCES • Server usmerava datodeku ka klijentu tako što je šalje na soket • TCP soket • UDP soket • Datoteka se deli na segmete, a segmenti se enkapsulrijau • RTP protokol vrši enkapsulaciju • RTSP protokol vrši interakciju • Media player vrši: • Dekompresiju • Uklanjanje treperenja • Ispravljanje grešaka

16. STREAMING vs. DOWNLOAD uskladišten sadržaj • STREAMING • Reprodukcija u toku preuzimanja fajla sa servera: • Mala osetljivost na kašnjenje • Reception Rate >= Playback Rate • DOWNLOAD • Reprodukcija tek nakon prihvatanja celog sadržaja: • Velika osetljivost na kašnjenje • ~ 4GBMPEG II filma neophodno 2 sata

17. Pristupanje zvuku i videu kroz veb server - Korisnik mišem bira hiperlink za zvučnu /video datoteku. - Hiperlink ne pokazuje direktno na zvučnu/video datoteku, nego umesto toga na metadatoteku. Metadatoteka sadrzi URL stvare zvučne/video datoteke. HTTP odzivna poruka koja enkapsulira metadatoteku uključuje liniju zaglavlja sa vrstom sadržaja koja pokazuje specifičnu aplikaciju zvuka/videa. - Klijent čitača ispituje liniju zaglavlja sa vrstom sadržaja, pokreće pridruženi media player i prosleđuje celo telo odzivne poruke (odnosno, metadatoteku) media player-u. - Media player uspostavlja TCP konekciju direktno sa HTTP serverom. Media player šalje HTTP poruku sa zahtevom za zvučnom/video datotekom u TCP konekciju. - Zvučna/video datoteka se šalje unutar HTTP odzivne poruke media player - u. Media player reprodukuje zvučnu/video datoteku.

18. Slanje multimedija iz servera za protok signala u relanom vremenu • Arhitektura slična prethodnoj • Dva servera: • HTTP za metadatoteke • STREAMING server za zvučnu/video datoteku • Zaobilaženje HTTP –a, samim tim i TCP – a • Korišćenje UDP – a za slanje datoteka media player – u

19. Slanje multimedija iz servera za protok signala u relanom vremenu • Opcije za isporučivanje zvuka/videa mediaplayer – u 1. • Slanje medijuma preko UDP - a • Zvuk/video se šalje preko UDP – a konstantnom brzinom jednakoj brzini prihvatanja kod primaoca • NPR. Ako je zvuk komprimovan korišćenjem GSM – a brzinom od 13kb/s, onda server sinhronizuje komprimovanu zvučnu datoteku na 13kb/s

20. Slanje multimedija iz servera za protok signala u relanom vremenu • Opcije za isporučivanje zvuka/videa mediaplayer – u 2. • CLIENT BUFFERING • Isto kao prva opcija • Zadržavanje reprodukcije 2-5 sec. zbog kašnjenja u klijentovu privremenu memoriju • Brzina punjenja memorije x(t) = brzini pražnjenja d (osim kada postoji gubitak paketa)

21. client video reception constant bit rate video playout at client variable network delay buffered video client playout delay constant bit rate video transmission time *CLIENT BUFFERING

22. * Klijentova privremena memorija koja se puni brzinom x(t), a prazni brzinom (d)

23. Slanje multimedija iz servera za protok signala u relanom vremenu • Opcije za isporučivanje zvuka/videa mediaplayer – u 3. • Slanje medijuma preko TCP - a • Server gura datoteku medijuma u TCP soket što brže • Klijent (mediaplayer) učitava iz TCP soketa što brže može i smešta video u privremenu memoriju mediaplayer – a • Početno kašnjenje od 2-5 sec. • Mediaplayer čita iz svoje memorije brzinom d i prosleđuje na kompresiju i reprodukciju • Zavisnost od klijentove privremene memorije

24. Slanje multimedija iz servera za protok signala u relanom vremenu • Opcije za isporučivanje zvuka/videa mediaplayer – u • KORIŠĆENJE TCP – a u 3. slučaju: • Ponovo prenosi izgubljene pakete, čime može da obezbedi bolji kvalitet zvuka od UDP – a • Brzina punjenja x(t) se koleba u vremenu zbog TCP kontrole zagušenja i kontrole toka okvira: • Kada se paket izgubi TCP kontrola zagušenja može da smanji trenutni brzinu na manje od d u dugim vremenskim periodima. • To može da isprazni klijentovu privremenu memoriju i unese nepoželjne pauze

25. RTSP – protokol za protok signala u realnom vremenu • HTTP • Ne pokazuje na lokaciju sadržaja multimedije • Ne podržava interakciju (komande za brzo napredovanje, play, stop...) • RTSP • Klijent/server aplikacijski protokol • Podržava interakciju (play, ff, rew, stop, pause) • ŠTA RTSP NE RADI • Ne definiše šeme kompresije za svuk i video • Ne definiše kako se zvuk i video enkapsuliraju • Ne postavlja ograničenja kako se medijski protok prenosi • Ne postavlja ograničenja kako mediaplayer stavlja zvuk/video u privremenu memoriju

26. Šta RTSP radi • Dopušta media player – u da kontroliše prenos toka medijuma • Protokol van opsega • Poruke RTSP koriste različit broj porta (544) • Sličan FTP kontrolnom kanalu (FTP ima 2 para soketa)

27. RTSP primer • Media player zahteva datoteku opisa prezentacije od veb severa • Svako pozivanje na datoteku pocinje sa URL metodom rtsp:// • Tokom reprodukcije, player može da bira između dva zvučna zapisa • Veb server enkapsulira datoteku u HTTP odzivnoj poruci • Čitač prihvata HTTP poruku i šalje je mediaplayer – u • Mediaplayer (MP) i server (S) šalju niz poruka: • MP: šalje RTSP zahtev SETUP • S: šalje RTSP zahtev OK • MP: šalje RTSP zahtev PLAY • S: šalje RTSP zahtev OK • MP: šalje RTSP zahtev PAUSE • S: šalje RTSP zahtev OK • MP: šalje RTSP zahtev TEARDOWN • S: šalje RTSP zahtev OK

28. * Interakcija između klijenta i servera upotrebom RTSP-a

29. Sadržaj stvarne RTSPporuke C: SETUP rtsp://audio.examp1e.com/twister/audio RTSP/1.0 Cseq: 1 Transport: rtp/udp; compression; port=3056; mode=PLAY s: RTSP/1.0 200 OK Cseq: 1 Session: 4231 C: PLAY rtsp://audio.examp1e.com/twister/audio.en/1ofi RTSP/l.O Range: npt=O­Cseq: 2 Session: 4231 s: RTSP/1.0 200 OK Cseq: 2 Session: 4231' C: PAUSE rtsp://audio.examp1e.com/twister/audio.en/1ofi RTSP/1.0 Range: npt=37 Cseq: 3 Session: 4231 s: RTSP/1.0 200 OK Cseq: 3 Session: 4231 C: TEAR DOWN rtsp://audio.examp1e.com/twister/audio.en/ lofi RTSP/l.O Cseq: 4 Session: 4231 s: RTSP/1.0 200 OK Cseq: 4 Session: 4231 * Sadržaj RTSP poruka, sesija između klijenta (C:) i servera (S:)

30. Gubitak paketa • UDP segment enkapsuliran u IP datagramu prolazi kroz privremene memorije u ruterima • Memorije u ruterima pune • IP datagram se odbacuje • Eliminasnje gubitaka slanjem preko TCP – a • Mehanizmi za ponovan prenos paketa neprihvatljivi za interaktivne aplikacije jer povećavaju kašnjenje od kraja do kraja • Brzina prenosa kod pošiljaoca < brzine pražnjenja kod primaoca • Sve postojeće aplikacije koriste UDP

31. Kašnjenje od kraja do kraja • Akumulacija prenosa, obrade i kašnjenje redova u ruterima • Kašnjenja prostiranja u linkovima • Kašnjenja obrade na krajnjem sistemu

32. Treperenje paketa • Slučajna kašnjenja u redovima čekanja • Promenljiva kašnjenja predstavljaju treperenje paketa – jitter • Primer: • pošiljalac salje drugi paket 20 ms nakon prvog • prvi stiže u prazan red na ulazu u ruter • pre nego sto drugi stigne, veliki broj paketa iz drugih izvora stiže pre • drugi paket dugo ceka u redu • prvi i drugi paket postaju razmaknuti za više od 20 ms • Uklanjanje treperenja kod primaoca: • Stavljanjem broja sekvence • Stavljanjem vremenskih oznaka • Kašnjenjem reprodukcije kod primaoca

33. Fiksno kašnjenje repordukcije • Mehanizmi uklanjanja treperenja u kombinaciji mogu da olakšaju ili odstrane efekte treperenja • Dve strategije reprodukcije: • Fiksno kašnjenje reprodukcije • reprodukcija dela za tačno q ms nakon što je on generisan • Prilagodljivo kašnjenje • t – vremenska oznaka paketa • r – vreme kada je primalac primio paket • p – vreme reprodukcije paketa • d – procena srednjeg mrežnog kašnjenja • u – fiksna konstanta (npr. u = 0.01) • v – srednje odstupanje od prosečnog srednjeg kašnjenja

34. Oporavljanje od gubitaka paketa • Očuvanje prihvatljivog kvaliteta u prisustvu gubitaka • Gubitak paketa: • paket se gubi ako nikada ne stigne do primaoca • paket se gubi ako stigne posle planiranog vremena za reprodukciju • Šeme za predviđanje gubitaka: • FEC (Forward Error Correction) – ispravljanje grešaka unapred • prvi mehanizam šalje redundantni kodovani deo posle svakih n delova. Redundantni deo se dobija operacijom ekskluzivnog ILI nad n originalnih delova • pored nominalnog toka zvuka šalje se tok zvuka male rezolucije kao redundantna informacija • INTERLEAVING – preplitanje • preuređivanje jedinica zvučnih podataka pre prenosa (preplitanje jedinica po delovima)

35. * FEC primer

36. * INTERLEAVING primer

37. Popravka oštećenih zvučnih tokova na strani primaoca • Zamena za izgubljeni paket koja je slična originalu • Osobine tehnika: • uspešne kod malih gubitaka • kada se dužina gubitka približi dužini fonema, tehnike ne uspevaju • Vrste tehnika: • Ponavljanje paketa • zamena izgubljenih paketa kopijama paketa koji su stigli pre gubitka • Interpolacija • koristi zvuk pre i posle gubitka

38. Standardi za interaktivne aplikacijeRTP, SIP i H.323 • RTP: • Radi sa UDP – om • Predajna strana enkapsulira deo medijuma unutar RTP paketa, a zatim enkapsulira RTP paket u UDP segment • Najčešće korišćeni standard za Internet telefoniju • Dopušta dodeljivanje (npr. kameri) sopstveni nezvaisni RTP tok paketa • RTP paketi nisu ograničeni na jednoznačne (unicast) aplikacije • Šta RTP ne radi: • Osiguranje pravovremene isporuke paketa • Garancija kvaliteta usluge • Isporuka ili sprečavanje isporuke paketa

39. RTP ZAGLAVLJE * Polja RTP zaglavlja

40. Standardi za interaktivne aplikacije • Polja u zaglavlju RTP paketa • Vrstatereta • 7 bit – ova • Vrsta zvučnog ili video kodovanja (zavisno od toka) • Brojsekvence • 16 bit – ova • Povećava se za jedan za svaki poslat paket • Otkrivanje gubitaka paketa • Vremenskaoznaka • 32 bit – a • Trenutak uzorkovanja prvog bajta • Otkrivanje treperenja paketa • Identifikator izvora sinhronizacije (SSRC) • 32 bit – a • Izvor RTP toka • Svaki tok u RTP sesiji ima različit SSRC • SSRC nije IP adresa, već broj koji izvor slučajno dodeljuje kada se pokrene novi tok

41. RTP kontrolni protokol – RTCP • RTCP paket: • Periodično slanje • Izveštaji u kojima se objavljuju statistički podaci • Broj poslatih paketa • Broj izgubljenih paketa • Treperenje između dolazaka • Ne enkapsulira delove zvuka ili videa

42. SIP • Usmeravanje poziva ka korisniku, nezavisno od lokacije na kojoj se nalazi ili uređaja koji koristi • SIP: • Obezbeđuje mehanizme za uspostavljanje poziva • Obezbeđuje mehanizme za određivanje IP adrese • Odezeđuje mehanizme za upravljanje pozivima • SIP proksi • SIP registrator

43. * SIP uspostavljanje poziva između Alise i Boba

44. INVITEsip:bob@domain.comSIP/2.0 Via: SIP/2.0/UDP 167.180.112.24 From: sip:alice@hereway.com To:sip:bob@domain.com Call-ID: a2e3a@pigeon.hereway.com Content-Type: application/sdp Content-Length: 885 c=IN IP4 167.180.112.24 m=audio 38060 RTP/AVP 0 REGISTER sip:domain.com SIP/2.0 Via: SIP/2.0/UDP 193.64.210.89 From: sip:bob@domain.com To: sip:bob@domain.com Expires: 3600 * SIP pozivna i registraciona poruka

45. H.323 • H.323: • Specifikacija kako krajnje tacke pregovaraju o zvučnim/video kodovanjima • Specifikacija kako se zvučni i video delovi enkapsuliraju i šalju • Specifikacija kako krajnje tačke komuniciraju • Specifikacija kako Internet telefoni komuniciraju kroz mrežni prolaz

46. Distribuiranje medijuma: mreže za distribuciju sadržaja • CDN – Content Distribution Network • CDN rešava probleme: • Kada je klijent daleko od servera (gubitak paketa) • Kada je popularan video poslat mnogo puta (trošenje propusnog opsega) • Način funkcionisanja: • CDN kompanija instalira na stotine CDN servera • Replicira sadržaj od svojih kupaca • Mehanizam isporuke sadržaja klijentu (najbliži server)

47. Izvorni server u Severnoj Americi CDN distribuciona tačka CDN server uJ. Americi CDN server u Aziji CDN server u Europi *Primer rada sa CDN serverima

48. Usmeravanje objekta posrednika ka svojim CDN serverima • Čitac šalje svoj zahtev za osnovni HTML objekat serveru sa koga on potice, www.foo.com. koji citacu salje trazeni HTML objekat. Čitac parsira HTML datoteku i otkriva referencu na http://www.foo.com/sports/ruth.mpg. • Čitac onda izvršava pretraživanje DNS na www.cdn.com. što predstavlja ime računara za referencirani URL. DNS je tako konfigurisan da se svi upiti owww.cdn.com koji dolaze na osnovni DNSserver šalju na autoritativni DNS server za www.cdn.com. Kada autoritativni DNS server primi upit, on izdvaja IP adresu zahtevajućeg čitaca. Koristeći internu mapu mreže koja je konstruisana za ceo Internet, CDN-ov DNS server vraca lP adresu CDN servera koja je verovatno najbolja za zahtevajući čitač (često je to CDN server koji je najbliži čitaču). • DNS u zahtevajućem klijentu prima DNS-ov odgovor sa IP adresom. Čitac onda šalje svoj HTTP zahtev CDN serveru sa tom IP adresom. Čitac dobija ruth. mpg od tog CDN servera. Za sledeće zahteve sa www.cdn.com.klijent nastavlja da koristi isti CDN server, zato što je IP adresa za www.cdn.com u DNS kešu (u klijentovom računaru ili lokalnom DNS serveru imena).

49. HTTP request for www.foo.com/sports/sports.html Origin server 1 DNS query for www.cdn.com 2 CDNs authoritative DNS server 3 HTTP request for www.cdn.com/www.foo.com/sports/ruth.gif Nearby CDN server * CDN usmerava objekte posrednika ka svojim CDN serverima

50. Mehanizmi za rasporedjivanje i upravljanje • QoS – Quality Of Service • Disciplina raspoređivanja linka – način na koji se paketi koji čekaju u redu biraju za prenos na linku • Discipline: • FIFO – First In First Out • Čekanje sa prioritetom • ROUND ROBIN i WFQ – Kružno dodeljivanje i težinsko fer čekanje • Upravljanje: “Šuplja kofa” • “Šuplja kofa” + WFK