Taller d’expressió multimèdia

1. Taller d’expressió multimèdia Història i evolució de la tecnologia multimèdia J. Ignasi Ribas

2. Les tecnologies de la interactivitat multimèdia

3. Índex Analògic i digital Memòries Òptiques LaserVision La família CD Idea de la compressió de vídeo MPEG DVD

4. Índex Analògic i digital Senyal analògic de vídeo en blanc i negre

5. Índex • RGB: Senyals de color (vermell, verd, blau) • YUV: Components de vídeo • Luminància: • Y = 0’3 R + 0’59 G + 0’11 B • Crominàncies: • U = B - Y • V = R - Y Analògic i digital Senyals analògics de vídeo en color

6. Índex Analògic i digital El micròfon: codificació analògica del so

7. Índex Analògic i digital Numeració en base 2

8. Índex Analògic i digital Digitalització: passos.

9. Índex Analògic i digital Mostreig: passos.

10. Índex Analògic i digital Un senyal mostrejat a diverses freqüències.

11. Índex Analògic i digital Digitalització del so: diverses opcions

12. Índex 4:2:2 Y mostrejada a 13,5 Mhz. V = R-Y i U = B-Y mostrejades a 6,75 Mhz. 4:4:4 Y mostrejada a 13,5 Mhz. V = R-Y i U = B-Y mostrejades a 13,5 Mhz. 4:1:1 Y mostrejada a 13,5 Mhz. V = R-Y i U = B-Y mostrejades a 3,375 Mhz. 4:2:0 Y mostrejada a 13,5 Mhz. V = R-Y i U = B-Y mostrejades a 6,75 Mhz. una línia de cada dues. Analògic i digital Diversos formats de mostreig del vídeo

13. Índex Analògic i digital Diversos codis de canal.

14. Índex Analògic i digital El soroll en senyals analògics i digitals.

15. Índex Analògic i digital Píxel

16. Índex • 640 x 480 = 307.200 pixels = 307.200 bits / 8 = 38.400 bytes = 37,5 Kbytes. Analògic i digital Imatge en blanc i negre i memòria corresponent.

17. Índex Analògic i digital Tres plans de bits, 8 nivells de grissos.

18. Índex Analògic i digital “Frame buffer” i visualització per milions de colors.

19. Índex Memòries Òptiques Un làser potent impressiona una reïna fotosensible sobre el disc "master" de vidre. Amb un procés de revelat es produeixen els foradets.

20. Índex Memòries Òptiques Del "master" es fan "pares", "mares" i "fills" o estampadors en un procés semblant al del cinema.

21. Índex Memòries Òptiques Per estampació s'obtenen les còpies desitjades.

22. Índex Memòries Òptiques La llum del làser passa a través del plàstic protector transparent, és reflectida per l'alumini, i així es pot detectar on hi ha i on no hi ha foradets.

23. Índex Aquests són l'aspecte de la superfície d'un disc (vista pel microscopi electrònic) i les seves minúscules dimensions. Memòries Òptiques

24. LaserVision Índex Primer format de memòria òptica. Comercialitzat en 1979-80. Barreja en un sol senyal, vídeo i dos canals de so, tots analògics. Dos formats diferents, CLV (Constant Linear Velocity) i CAV (Constant Angular Velocity) LaserVision

25. Format CAV (1) Índex Una imatge (dues trames) per volta. Codi de frame i codi de capítol en el retorn de trama. CAV: Velocitat angular constant: PAL: 25 voltes/segon = 25 imatges/segon. NTSC: 30 voltes/segon = 30 imatges/segon. 54000 voltes = imatges per cara PAL: fins a 36 minuts de vídeo. NTSC: fins a 30 minuts de vídeo. LaserVision

26. Format CAV (2) Índex Accés aleatori. Pausa perfecte. Qualitat equiparable a vídeo industrial. Possibilitat d’una estructuració interna de la informació a base de números de frame i de capítol. Possible control amb comandament a distància: nivell I d’interactivitat. LaserVision

27. Índex Format CAV (3)Nivell III d’interactivitat Control per un programa d’un ordinador extern. Visualització a 2 pantalles o a 1 pantalla Estructura informàtica. Contingut audiovisual LaserVision

28. Format CLV Índex CLV: Velocitat linial constant: Velocitat angular diferent segons la imatge. Les imatges ocupen sempre la mateixa longitud: Més imatges a la perifèria que a l’interior. Difícil accés aleatori. 3 temps per trobar una imatge : Trobar la pista. Canviar la velocitat de gir. Trobar el principi de la imatge dins la pista. Codi de temps, no de frame. Duració superior, fins a una hora per cara. El CD-ROM és un disc CLV. LaserVision

29. Índex Digitalització: del vídeo interactiu als sistemes interactius multimèdia Conseqüències de la digitalització: Tractament uniforme dels diversos mitjans. Accés aleatori als diversos elements multimèdia: vídeo, àudio, imatges, text. Integració informàtica senzilla i homogènia. Simplificació del hardware. Pausa perfecte (resolució “ad hoc”) i il·limitada. La informació en memòria es “bolca” en pantalla. Estructuració i contingut estan al mateix mitjà, el mitjà digital. LaserVision

30. Índex Tres tecnologies òptiques Memories òptiques només de lectura o editorials: Producció a fàbrica. Nombroses còpies. Platejats. Exemple: LaserVision, CD-Audio, CD-ROM (1984). Enregistrables o WORM (Write Once Read Many): Producció un a un Impossibilitat de reescriure Exemple: CD-R (1990). Daurat. Re-enregistrables: Producció un a un Es poden esborrar i tornar a escriure Exemple: CD-RW (1997) La família CD

31. Índex Tres nivells d’especificació d’un CD-ROM Especificacions físiques: estructura macroscòpica i microscópica del disc Format físic: la organització física de les dades, la forma de convertir-les en “pits” i “lands”. Format i espai de dades, direccionament de la informació, códis de correcció d’errades, códis de canal bàsics, etc. Format lògic: estructura lògica de les dades digitals a emmagatzemar La família CD

32. Índex Especificacions físiques Diàmetre: 120 mm. Gruix: 1,2 o 1,3 mm. Diàmetre del forat central: 15 mm. Pes: 20 grams. Profunditat dels forats: 0,12 micres. Amplada dels forats: 0,6 micres. Separació entre pistes: 1,6 micres. Densitat: 16.000 pistes per polzada. Longitud de “pits” i “flats”: 0,9 a 3,3 micres. Longitud de l’espiral: més de 5 quilómetres. Nombre de forats: uns 2.000.000.000 Informació al llarg d’una espiral, doncs es tracta d’un disc CLV. La família CD

33. Índex Els colors del CD RB: Àudio digital YB: Dades informàtiques GB: Capacitats multimèdia en CD-I YB: Multimèdia en CD-ROM/XA OB: Possibilitat d’escriptura WB: vídeo MPEG-1 BB: Àudio i multimèdia OB(III): Possibilitat d’escriure i esborrar La família CD

34. Índex Del CD-Audio al CD-ROM Philips i Sony aprofiten tecnologies del CD-Audio per a un disc d’emmagatzematge informàtic Les mateixes especificacions físiques Format físic amb més fiabilitat Millors mecanismes de correcció d’errades Direccionament absolut dels blocs de dades Part dels sectors es dediquen a capçaleres i dades de sincronització Sectors Mode 1: per a dades d’ordinador Sectors Mode 2: per a audio o imatge comprimits La família CD

35. Índex CD-Audio: format físic Informació en pistes i sectors Pista: seqüència contínua de dades Duració mímina: 4 segons (=300 sectors) Fins a 99 pistes per CD, accessibles directament Sector: format per 2352 bytes d’usuari + 882 bytes per a correcció d’errades i control Direccionats per minuts, segons i sectors Lectura: 75 sectors per segon = 176.400 bytes/s = 1,41 Mbits/s Àudio de qualitat: explorat a 44,1 KHz a 16 bits i estéreo = 44100 x 16 x 2 = 1,41 Mbits/s Correcció d’errades: CIRC: Codi Reed-Solomon d’Interfoliació Creuada La família CD

36. Índex CD-ROM: format físic Direccionament exacte dels sectors i de blocs lògics en els sectors Sectors Mode 1: 2048 bytes d’usuari Detecció d’errors addicional ECC superposat Sectors Mode 2: 2336 bytes d’usuari Fiabilitat CD-Audio: 1 error en 109 bytes Fiabilitat CD-ROM: 1 error en 1025 bytes La família CD

37. Índex Del CD-ROM al CD-ROM/XA Una mateixa pista pot contenir dades diferents (codi, text, vídeo, àudio) en sectors consecutius Ideal per a aplicacions que depenen del temps, per exemple audiovisuals. Es pot entrellaçar àudio i vídeo Sectors de dos tipus: Forma 1: dades d’ordinador Forma 2: dades amb menys correcció Basat en el CD-I de Philips Discos bridge: poden llegir tots dos La família CD

38. Índex Els CD-R (enregistrables) Tecnologia completament diferent però de lectura compatible amb la de només lectura. Per tant accepta els mateixos formats. Diverses sessions fins a omplir el disc. Sobre la base de policarbonat i el metall reflectant es col·loca un tint o pintura orgànica (cianina o phtalocianina). El làser gravador fa que aquesta capa canvii les seves propietats d’absorció de la llum. Discos preformatats: contenen solcs en el substracte de policarbonat per a facilitar el seguiment i controlar la velocitat. La família CD

39. Índex Diverses tecnologies del CD-R Diverses maneres de modificar la superfície: Pérdua de color del tint Bombolletes creadas per l’expansió que provoca el làser Lleugera deformació de la capa de policarbonat La família CD

40. Índex Més colors CD-Video: per a contenir 72 minuts de vídeo en format MPEG-1 CD-Extra: Conté dues sessions: Sessió 1: pistes d’àudio Sessió 2: pista amb informació multimèdia Els reproductors d’àudio només veuen la sessió 1 Els reproductors de CD-ROM llegeixen les dues Complement multimèdia de CD de música Rainbow-CD: CD-Extra que funciona en lectors de CD Audio, CD-I, PC i Mac. La família CD

41. Índex Els CD reescrivibles(CD-E, CD-RW) Basats en tecnologia de canvi de fase Capa d’una aleació d’argent, indi, antimoni i teluri, inicialment en estat amorf que dispersa la llum del làser lector. El calor del làser gravador converteix petites zones en cristallines que reflecteixen la llum. Amb una altra temperatura es poden tornar les zones cristallinas a amorfes (esborrar). Entre 1000 i 1000000 de cicles d’enregistrament, segons la qualitat de l’aleació Reflectivitat baixa (15-20%), per tant no compatibles amb lectors de CD-ROM no modificats (65-70%) La família CD

42. Índex Redundàncies Els algoritmes de compressió d’imatge es basen en gran mesura en la cerca de redundàncies. Es produeix redundància quan una mateixa informació es transmesa més d’un cop. Hi ha redundància entre píxels quan diversos píxels adjacents són iguals. Hi ha redundància entre línies quan diverses línies adjacents són iguals. Hi ha redundància entre frames quan dos frames consecutius contenen zones iguals. Compressió de vídeo

43. Índex Pérdues Compressió sense pérdua Es codifica la mateixa informació de forma diferent i més econòmica. Hi ha un límit insuperable per a cada imatge. Es fa servir en aplicacions de tipus científic, médic, etc. en les quals és imprescindible el màxim rigor en la transmissió d’informació. Compressió amb pérdua El principi bàsic en aquest cas és que no cal mostrar més informació de la que l’usuari pot apreciar. Triar entre una u altra tècnica és ara una decisió subjectiva. Compressió de vídeo

44. Índex Técniques i algoritmes Una técnica és un métode, una aproximació peculiar al problema de la compressió. Un algoritme pot incorporar diverses técniques, fins i tot de diversos tipus i per a les diverses components de la imatge. Les técniques poden fer-se adaptatives, que canviin en funció del contingut. Hi ha tècniques de compressió d’imatges fixes. Per a la compressió d’imatges en moviment es fa ús de técniques d’imatges fixes seguides de técniques específiques per a la detecció de redundàncies entre frames. Compressió de vídeo

45. Índex Algunes técniques d’imatge fixa Técniques simples: Retall d’informació Indexat de colors (paleta de colors) Rul-Lenght (RL) Técniques interpolatives: Submostreig de color Técniques predictives: DPCM ADPCM Técniques de transformada: Transformada discreta del cosinus (DCT) Técniques de codificació estadística: Codificació de Huffman. Exemple: JPEG Compressió de vídeo

46. Índex Exemple: submostreig de color Compressió de vídeo

47. Índex Compressió d’imatge en moviment (“delta frame”) Aprofitar la informació que no canvia “a penes” entre dos fotogrames consecutius. Técniques de “comparació de blocs”. Compressió de vídeo

48. Índex Tres tipus d’imatges (MPEG) I (intra) o “Keyframes”: completes, només amb codificació espacial. Màxim 6:1. P (predictives): calculades a partir de la I o la P anterior per técniques “delta frame”. Ocupen un 30% de les I. B (bidireccionals): promig simple de les I i P que la envolten. Amb I, P, B es pot comprimir fins a 200:1. Compressió de vídeo

49. Índex Codecs Algoritmes de compressió/descompressió Solen ser asimétrics: La compressió es fa en la producció, amb hardware i software especialitzat i temps diferit. La descompressió es fa en el sistema de l’usuari i en temps real, mentres es veu el vídeo. Descompressió per hardware Necessitat de targetes addicionals Major qualitat (resolució, fotogrames/segon) Descompressió per software Només recursos de l’ordinador Menor qualitat (mida, fotogrames/segon) Compressió de vídeo

50. Índex Arquitectures i codecs Els codecs redueixen la mida dels arxius per a que puguin ser emmagatzemats i reproduits en ordinadors corrents. Les arquitectures tenen 3 elements: Serveis de software o extensions de sistema per a permetre a d’altres programes reproduir vídeo o àudio. Formats d’arxiu, la estructura sota la qual s’emmagatzema el vídeo. Suport per a codecs diversos i especialitzats. Arquitectures: QuickTime, Video for Windows, ActiveMovie, MPEG, ... Codecs: Cinepak, Indeo, MJPEG, Animation, MPEG, ... Compressió de vídeo