Mitrache Ramona-Catalina <ramona.mitrache@CS.PUB.RO >

1. UNIVERSITY POLITEHNICA of BUCHAREST DEPARTMENT OF COMPUTER SCIENCE Transmisiadatelor multimedia in retele de calculatoare “Scalable and Efficient Video Coding Using 3-D Modeling” Mitrache Ramona-Catalina <ramona.mitrache@CS.PUB.RO>

2. I. Introducere • O data cu dezvoltareaaplicatiilor video prinintermediuldispozitivelor internet si wireless , a telefoanelorsi a PDA-urilor, compresia video a devenit o problemacheie. • Codarea video se bazeaza in principal pepredictiapixelilorsaupeparadigme de corectie , algoritmi care ofera o compresieeficientapentrucontinutulsecventelor video • Standardul in codarea video e H264 ITU/MPEG4-AVC

3. I. Introducere • O altametoda de codare video care se foloseste in cazul video-conferinteloresteacela care exploateazafaptul ca scenacontineobiectecunoscutepentru care exista un model 3D disponibilsipoatefitransmis o data cu parametrii de animatiesitextura. • Pentru o scena cu obiectenecunoscuteaceastametoda se poatefolosidacascena e statica, faraobiecte de miscareinauntru;

4. I. Introducere • Totusi,pentru a eficientizaprocesulpentru scene cu obiectenecunoscute se propune idea de a ne bazape un set de modele 3D succesive, extrase din subsectiuni video, in loculuneisingure video sectiuni care sacontinatoatainformatia. • Avantaje • 1.consistenta informatiei 3D nu e necesara • 2.setul de modele 3D furnizeaza un format stream • 3.aparatul fotode miscare este fara restrictii

5. II. Prezentaremetodei • Reprezentareapropusa e bazatapeinformatie 3D obtinuta din algoritmul de reconstructieGalpin • Alg. Galpin : • Descoperireainformatiei 3D din seturi de secvente ale imaginilornecalibrate in contextulunei scene statice • input- secventa video  output – catevamodele VRML(virtual reality modeling language – standard pentrureprezentarea 3D)

6. RezultateexperimentaleGalpin Imaginile de inceputsi de sfrasit Secventa video init. Secv. video VRML

7. II. Prezentareametodei - cont. • Pt. fiecaresubsectiune a secventei, numita GOF (group of frames), alg produce o hartaaprofundatasi camera se pozitioneaza pt fiecare frame in GOF. • Primul pas este de a transforma fiecare harta aprofundată într-o ierarhie de ochiuri 3-D triunghiulare.

8. II. Prezentareametodei - cont. • Pt. fiecaresubsectiune a secventei, numita GOF (group of frames), alg produce o hartaaprofundatasi camera se pozitioneaza pt fiecare frame in GOF. • Primul pas este de a transforma fiecare harta aprofundată într-o ierarhie de ochiuri 3-D triunghiulare. Coef. wavelets

9. II. Prezentareametodei - cont. • Pt. fiecaresubsectiune a secventei, numita GOF (group of frames), alg produce o hartaaprofundatasi camera se pozitioneaza pt fiecare frame in GOF. • Primul pas este de a transforma fiecare harta aprofundată într-o ierarhie de ochiuri 3-D triunghiulare. Coef. wavelets Coef. de scalare

10. II. Prezentareametodei - cont. • Pt. fiecaresubsectiune a secventei, numita GOF (group of frames), alg produce o hartaaprofundatasi camera se pozitioneaza pt fiecare frame in GOF. • Primul pas este de a transforma fiecare harta aprofundată într-o ierarhie de ochiuri 3-D triunghiulare. Coef. wavelets Coef. de scalare Coef. Pt. codarea diferentiata

11. III. 3D Generation Models • Metoda de reconstrucţieaxatapepreluareamodelului 3-D potrivitpentruretrocedarea video sicompatibil cu achizitia video necontrolata. Exemplu de harta adancime (b) extrasa din secventa video Street,modelul asociat VRML (c), precum si imaginea corespunzatoare, in secventa (a).

12. III. 3D Generation Models - cz • Pasul de reconstrucţie 3D, prevedeastfel, pt fiecare GOF:• modelul geometric 3D:o harta densain profunzime a sceneivazuta din prima imagine din GOF; • modelul de textura 3D: prima imagine din GOF; • parametrii aparatului de fotografiat pentru fiecare cadru in GOF;

13. IV. Modele 3D Ierarhice • A. Single-Connectivity Mesh and Global Indexing • Metodaisi propune sa construiasca o prelevare de probe coerente pentru toate modelele 3-D cu varfuricorespunzatoare punctelor fiziceidentice • Acestlucru se face prinseparare de conectivitatesigeometrie single connectivity mesh (SCM) • SCM este descris ca o lista de triunghiuri exprimate in noul sistem de indexare la nivel mondial. SCM, de asemenea, ofera unindice unic pentru fiecare fatain SCM. • Descompunerea wavelet bazata pe SCM este consecventa pentru toate modelelesi duce la codificari compacte.

14. IV. Modele 3D Ierarhice • B. Base Meshes Construction • Ochiurile de plasadinbaza utilizeaza triangulatie neuniforma, cu scopul de a asiguracoerenta globala de conectivitate si tranzitia usoaraintremodele • In plus, pentru a reprezenta mai bine continutul video,plasa de baza trebuie, sa se potriveasca caracteristicilor scenei. • Folosestedetectorul de colturi Harris sitriangulatia 2D Delaunay

15. Triangulatia2D Delaunay

16. IV. Modele 3D Ierarhice • C. Wavelet Decomposition • Scopul descompunerii waveleteste de a decorela informatiile geometrice, a.i. la primul pas sa procedezecatrecompresie. In plus, aspectul multirezolutie al transformarii permite reconstructia si transmisiain timp realfoarteeficiente.

17. C. Wavelet Decomposition Exemplu pentru secventa Thabor: ochiuri progresive reconstruite cu(a) clasicasi (b)adaptiva descompunere wavelet.

18. C. Wavelet Decomposition • Avantaje • Pozitiile vertex pot fiadaptatepentruconţinutulscena; • Corespondenta vertex vertexintremodelesuccesive e implicit furnizata de structuraochiului de plasasi, prinurmare nu e nevoiesa fie transmisasauestimata la parteadecodor. • Aceastapermite o tranzitieusoaraintremodele 3D prin morphing implicit folosind o simplainterpolareliniaraintrevarfuri.

19. V. Compresie a reprezentarii • A. Inter-Relations Between Different Media • O observatie cheie este ca fluxurile de informatii care trebuiesc transmisenu sunt independente si un algoritm eficient de codificarear trebui sa ia in considerare aceastaredundantaatatpentru nivelul de comprimare catsi pt. calitatea secventei reconstruite.

20. A. Inter-Relations Between Different Media Inter-relations between the media in 3-D model-based coding

21. A. Inter-Relations Between Different Media Thabor sequence: predicted images. (a) Image from original sequence. (b) Associated predicted image.

22. V. Compresie a reprezentarii • B. Camera Encoding • Pozitiilecheie ale ap. foto sunt codificatediferentiat si pozitiileintermediare ale ap. foto sunt preluate prin interpolare liniara intre pozitii cheie. • C. Texture Encoding • Un sistem de IPP este utilizat in cazul in care imaginea prezisa esteobtinuta prin reproiectia modelului precedent texturat pepozitia cheiecurenta.

23. V. Compresie a reprezentarii • D. Connectivity and 3-D Geometry Encoding • Codarea 3D de informatii se bazeaza pe baza ochiului de plasa (mesh)si un set de coeficienti wavelet pentru rafinamente. Thabor sequence: (a) texture image and (b) reconstructed image.

24. VI. Rezultate • A. Visual Quality and PSNR • In timpce PSNR e adecvatpentrumasurareaerorilor de baza ale blocului, el e lipsit de senscand e vorba de distorsiunigeometrice. • B. Compression Results • Ne arată rezultate de compresie pentru o secventa de 110 de cadrepentru rate de biti scazute sau foarte scazute. • Nu se pot face comparatii cu H264 daca cu o rata atat de scazuta nu se poate ajunge la 25 Hz..

25. B. Compression Results Thabor sequence: Image : (a) original sequence (CIF, 25 Hz) and (b) reconstructed images at 125 kb/s with H264 coder, (c) with Galpin coder, and (d) with our coder.

26. B. Compression Results Thabor sequence: Reconstructed images at 30 kb/s with (a) Galpin coderand with (b) our coder.

27. C. Scalability Results Thabor sequence: spatial scalability Image from the (a) original sequence (CIF, 25 Hz) and reconstructed images at 125 kb/s at different level of wavelet decomposition: (b) 0, (c) 2, and (d) 3.

28. D. Virtual Navigation Results Thabor sequence: Reconstruction of original path around a transition between two successive models. Successive reconstructed images without posttreatment (no morphing nos fading) (a) and (b). Successive reconstructed images with our coder (c) and (d).

29. D. Virtual Navigation Results Street sequence: Reconstruction on virtual path with (a) Galpin and (b) proposed method.

30. VII. Concluzii • Am prezentat un nou model bazat pe sistemul de codarevideo staticacu grain-scalabilitatebuna, care sa permita adaptarea continutuluipeste un spectru foarte larg de terminale si retele. • Acestaschema profita de conţinutul video specific, de exemplu, o scena fixadobandita cu o camerain miscare, pentru a construi o reprezentare 3D care permite performante mai bune si functionalitati avansate. • Coder-ul, exploateazatoataputerea de a douageneratie wavelets implicit morphing-ul

31. VIII. IntrebarisiRaspunsuri