560 likes | 909 Views
Tekst i zvuk. Zapis tekstova u računaru. Šta je to tekst?. Tekst
E N D
Šta je to tekst? • Tekst • ... ili dokument je "informacija namenjena ljudskom sporazumevanju koja može biti prikazana u dvodimenzionalnom obliku... Tekst se sastoji od grafičkih elemenata kao što su karakteri, geometrijski ili fotografski elementi ili njihove kombinacije, koji čine sadržaj dokumenta." (ISO-definicija) • Iako obično tekst zamišljamo kao dvodimenzioni objekat, u računarima se tekst predstavlja kao jednodimenzioni (linearni) niz karaktera. • Potrebno je, dakle, uvesti specijalne karaktere koji označavaju prelazak u novi red, tabulator, kraj teksta i slično
Zapis karaktera u računaru • Računari su zasnovani na binarnoj aritmetici • Cele brojeve je moguće predstaviti u binarnom sistemu • Osnovna ideja je svakom karakteru pridružiti određeni ceo broj na unapred dogovoreni način • Ove brojeve zovemo kodovima karaktera (character codes) • Sedamdesetih godina su se pojavile tabele standardnih karakterskih kodova • Najpoznatiji su • EBCDIC – IBM-ov standard, korišćen uglavnom na mainframe računarima, pogodan za bušene kartice • ASCII – Standard iz koga se razvila većina današnjih standarda
ASCII • ASCII (American Standard Code for Information Interchange) • ASCII sedmobitan (broj karaktera je 128) • Pod kodnom stranom (Code page) tj. skupom karaktera (Character set, charset) podrazumevamo uređenu listu karaktera predstavljenih svojim karakterskim kodovima • Podaci se u računarima obično zapisuju bajt po bajt • ASCII je sedmobitni standard • ASCII karakteri se zapisuju tako što se u svakom bajtu bit najveće težine postavi na 0 • To ostavlja prostor za novih 128 karaktera čiji binarni zapis počinje sa 1
Kodne strane • Ovaj prostor se može popuniti na razne načine • Rešenje nije univerzalno, jer na svetu postoji više od 256 različitih karaktera • Postavljeni su razni standardi dopunjavanja ovih 128 karaktera • Svim ovim kodnim stranama je zajedničko prvih 128 karaktera i oni se poklapaju sa ASCII • Ovako napravljene kodne strane obično omogućuju kodiranje tekstova na više srodnih jezika (obično i geografski bliskih) • Nama su uglavnom važne kodne strane napravljene za centralno-evropske (Central European) latinice, kao i ćirilične kodne strane
Najčešće korišćene kodne strane kod nas • ISO 8859-2 (Latin2) • ISO 8859-5 (Ćirilična) • Windows 1250 • Windows 1251 (Ćirilična) (Prve dve su delo međunarodne organizacije za standardizaciju - InternationalStandard Organization, dok su naredne dve Microsoft-ovi standardi • UNICODE svakom karakteru dodeljuje dvobajtni kod • Prvih 128 karaktera se poklapaju sa ASCII standardom, dok su sledećih 128 napravljeni tako da se pokalapaju sa Latin1 standardom
Tekst i pismo • Piktografi i prvo pismo na glinenim tablicama nastali su u Mesopotamiji oko 5.000 g.pne kao tekstualni ekvivalent govora • Vrednost pisma kao ekvivalenta govora sačuvala se do savremenog doba, kroz knjige, časopise i druge pisane materijale. • Osnovni način komunikacije na Internetu takođe je tekst, a osnovni jezik Hypertext Markup Language (HTML).
Karakteri, Glifovi, Fontovi • Vrlo često se ne pravi jasna razlika između karaktera i njihove grafičke reprezentacije • Grafičku reprezentaciju karaktera nazivamo glifovima (glyph) • Skupove glifova nazivamo fontovima (font ) • Pismo (typeface) – porodica grafičkih znakova različitih tipova, stilova i veličina (npr. Helvetica, Times, Courier)
Pismo i digitalna štampa • Font – zbirka znakova iz neke porodice grafičkih oblika određenog stila i veličine (npr. Times Italic 12pt) • stil: polucrno (boldface), kurziv (italic) • veličina (size): štamparska jedinica mere veličine slova je point (1/72 deo inča, približno 0,35mm)
Rasterizacija (antialias) • Slovni oblici su vektorske krive, ali se prikazujuna diskretnom rasteru štampača ili ekrana • Utisak i lepota prikaza zavise od rasterizacije -popravljena rasterizacija (antialiased) daje čitljiviji i lepši rezultat za male rezolucije.
Primeri nekih poznatijih fontova (MS Windows) • Serifni • Times New Roman 28 • Palatino Linotype 28 • Courier New 28 (neproporcionalni) • Sans-Serif • Arial 28 • Verdana 28 • Dekorativni i umetnički • Broadway 28 • Jokerman 28 • Wingdings 28
Skupovi znakova • ASCII (128/256), UNICODE (64K) • vanevropska pisma - japanski (kanji - kineski piktografi, katakana, hiragana - fonetsko)
Gifovi mogu biti arhivirani kao: • Bitmapirana grafika • Prednost: lako se i brzo prikazuju na displeju • Mana: ne skaliraju se dovoljno dobro – gube se detalji (kada se prikazuju u veličini za koju nisu bili predviđeni) • Vektorska grafika • Portabl fontovi (obično 256 glifova tj. malih programa koji pored opisa glifova imaju i dodatne informacije koje popravljaju izgled glifova) • Postscript (Adobe) i TrueType (Apple) fontovi. • Pogodni za složeno formatirane tekstove
perioda Zvučni signali vazdušni pritisak amplituda vreme • Zvučni signal predstavlja promenu pritiska vazduha kroz vreme • Frekvencija predstavlja broj perioda u sekundi (mereno u hercima, ciklus/sekund). • Što signal češće menja svoju vrednost to nam se zvuk čini piskaviji. • Opseg frekvencija koju čovek čuje: 20 Hz -20 kHz (audio), glas je približno od 500 Hz do 2 kHz. • Amplituda zvuka je mera pomeraja pritiska vazdušnog talasa od njegove srednje vrednosti ili razlika između maksimalne i minimalne vrednosti signala. • Što je amplituda signala veća, signal je jači. • Ilustracija ovoga je moguća koristeći npr. Sound Recorder
Čujni raspon • U proseku, ljudsko uho može da čuje zvukove čija je frekvencija između 20Hz i 20 KHz, međutim precizni raspon je osobina svakog pojedinca. U principu, signale frekvencije iznad 10KHz većina ljudi veoma loše čuje. • Varijacije pritiska izražene koristeći logaritamsku skalu- nivo (jedinica: deciBel, dB) • intenzitet (dB) = 10 log10 (P/P0) • P0 – donja granica čujnosti 10-12 [W/m2] • 6dB veći nivo = dva puta veći pritisak • 20dB veći nivo = 10 puta veći pritisak • Veoma mala energija – 90dB ~ 10-3 W/m2 • Jačina zvuka koju ljudsko uho može da registruje se kreće od skoro 0Db (prag šuma) do 120Db (prag bola)
Digitalizacija zvuka • Prema Nyqist-ovoj teoremi, prilikom digitalizacije je dovoljno vrednost zvučnog signala semplirati dva puta češće od njegove najveće frekvencije. • Opšte prihvaćen CD audio standard se zasniva na učestanosti sempliranja od 44.1Khz. • DAT kasete, poznate muzičkim profesionalcima koriste učestanost od 48Khz • Većina zvukova u igricama je semplirana na 11 ili 22 KHz.
Brzina sempliranja (dinamički raspon) • Iako se ranije za digitalizaciju koristilo 8 bit-ova (jedan bajt), danas je standardno da se za zapis svakog sempla-odbirka koristi 16 bitova (dva bajta). Ovo omogućuje zapis 65536 raznih nivoa jačine zvuka, što daje dinamički raspon od nekih 96dB što se smatra prilično zadovoljavajućim. • Da bi se bolje dočarao prostorni raspored zvuka, koristi se stereo tehnika. Za digitalizaciju stereo zvuka potrebno je najmanje 2 mikrofona (dva kanala) • Ukoliko jednostavno zapišemo niz brojeva dobijenih digitalizacijom zvuka, dobijamo tzv. sirovi zapis (PCM – Pulse Code Modulation). Za zapis jednog minuta zvuka u stereo tehnici, potrebno je: 44100 * 2 bajta * 2 kanala * 60sekundi = 10,5 Mb
RIFF formati • RIFF je grupa formata za zapis mnogih tipova podataka, pre svega multimedijalnih (zvuka i videa). • Najpoznatiji RIFF formati su WAVE, AVI, DIVX... • Svi RIFF formati se sastoje od parčića (chunks). Svako parče ima svoj tip, koji se zapisuje pomoću 4 karaktera, za čim slede 4 bajta koji označavaju veličinu parčeta i zatim sam sadržaj. • RIFF datoteka je sama za sebe jedno parče čiji sadržaj počinje oznakom tipa RIFF datoteka, a zatim nizom drugih parčića.
WAVE format • WAV spada u grupu RIFF formata i namenjen je isključivo za zapis zvuka. • Zapis u WAV formatu se sastoji od parčeta (chunk) sa oznakom “fmt” i parčeta sa oznakom “data” • WAV format omogućava i nekoliko tipova kompresije, mada se najčešće koristi za zapis nekomprimovanog zvuka, tj. parče “data” sadrži PCM zapis.
Kompresija • Problem sa WAV zapisom je, naravno, to što zauzima previše memorijskog prostora • Pošto je zvuk objekat koji se veoma nepredvidivo menja, većina algoritama kompresije koji se zasnivaju na ponavljanjima podataka (kao npr. algoritmi korišćeni u ARJ, ZIP) pokazuju loše rezultate. • Zbog toga se pristupa primeni tzv. psihoakustičkih algoritama koji uglavnom spadaju u grupu Lossy algoritama.
Maskiranje • U toku dana ne vidimo zvezde. Razlog je što je svetlost zvezda maskirana jakom svetlošću sunca. • Većina algoritama za kompresiju zvuka se zasniva na sličnoj činjenici da će tihi zvuk u blizini mnogo glasnijeg biti skoro nečujan i da se na njegovo kodiranje ne isplati trošiti dragocene bajtove. • Koji su zvuci dovoljno tihi? Ovaj podatak se najčešće dobija eksperimentima i to sa ljudima koji slušaju zvuke i daju svoj sud. • Npr. Ukoliko imamo zvuk frekvencije 1000Hz i u njegovoj blizini zvuk od 1100Hz, ali 18 dB tiši drugi zvuk se neće čuti. • Međutim ako bi drugi zvuk bio frekvencije 2000Hz i iste glasnoće, on bi se čuo, zbog toga što je frekvencijski prilično udaljen od prvog. Pokazuje se da bi ovaj ton morao biti 45dB slabiji da bi bio nečujan. • Ovo znači da se maskiranje oslikava samo na frekvencijski bliskim zvukovima.
Maskiranje jakih zvukova • Sledi, dopušteno je podizanje nivoa šuma u blizini jakih zvukova, a čim je nivo dopuštenog šuma veći potrebno je manje bitova za zapis. • Još jedan značajan vid maskiranja je osobina da se vremenski bliski zvukovi maskiraju. • Premaskiranje kaže da se tihi ton koji se javi do 5 milisekundi pre glasnog neće čuti. • Postmaskiranje ima još mnogo duži efekat i traje do 100 milisekundi posle završetka jakog zvuka.
MPEG formati • MPEG – Moving pictures experts group • Ekspertska organizacija koja je pod pokroviteljstvom ISO napravila nekoliko standardnih formata za zapis zvukova, filma i ostalih multimedijalnih sadržaja • MPEG 1 – standard na kome su zasnovani formati kakvi su video CD i MP3 • MPEG 2 – standard na kome se zasniva digitalna televizija i DVD format • MPEG 4 – standard multimedije za fiksni i mobilni web • MPEG 7 – standard za opisivanje i pretragu audio i vizuelnog sadržaja
Audio Layer-i • Layer-i unutar MPEG čine oznake podstandarda koji se odnosi samo na zapis audio signala • Jedan od najpoznatijih MPEG-ovih audio layera je audio MPEG layer 3, ili pod drugim, čuvenijim imenom MP3. • MP3 je najčuveniji, MP1 je skoro zaboravljen, dok je MP2 ostvario svojevremeno i neki uticaj dok nije potisnut layerom MP3. • Audio layeri su međusobno kompatibilni prema niže što znači da programi koji mogu da tumače MP3 mogu da tumače i ostale layer-e.
Kratko o algoritmu • Audio MPEG deli celokupni zvučni pojas na 32 podpojasa. Ovi pojasevi su kod layera 1 i 2 bili po 625Hz, dok se kod layera 3 uvode pojasevi različite širine. Naime, uho jasno razlikuje 1Khz od 3Khz, dok se 15Khz od 18Khz veoma teško razlikuju (ako uopšte i čujemo nešto). • Ako npr. imamo ton od 1Khz jačine 60dB, on spada u 8 pojas. Koder izračunava da je maskirajući efekat ovog tona 35 decibela ispod ovog zvuka, što daje odnos signal/šum od 25 dB, što znači da je za zapis ovog dovoljno 4 bita. I još dodatno, ovaj maskirajući efekat se proteže od pojasa 5 do 13, naravno sve manje i manje.
Kratko o algoritmu • Poslednji deo zapisa je primena Huffmanovog (statičkog) kodiranja na rezultat dobijen primenom maskiranja. • Sve ovo čini proces mp3 kodiranja prilično računski zahtevnim. Proces dekodiranja je nešto jednostavniji, ali je i dalje komplikovan. • Osnovna ideja je da se karakteri koji se češće javljaju kodiraju kraćim sekvencama, dok je kod karaktera koji se ređe pojavljuju dozvoljeno koristiti i duže kodove. • Na početku je potrebno izgraditi sortiranu tabelu frekvencija pojavljivanja svih znakova koje želimo da kodiramo.
Izgradnja Huffman-ovog drveta • Pronađu se dva karaktera koja se najređe pojavljuju i ona se zamene novim “karakterom” čija je frekvencija zbir frekvencija polazna dva karaktera. Novo uvedeni karakter predstavlja čvor drveta čiji su čvorovi polazni karakteri. Postupak se ponavlja sve dok se ne izgradi kompletno drvo. • Sve grane drveta koje vode “na levo” se označe nulom, dok se sve grane koje vode “na desno” označe jedinicom. Kod svakog karaktera se određuje prikupljanjem oznaka grana putanje koja vodi do njega.
Huffmanovo drvo - primer • (32) • A(13)(19) • (11)(8) • B(6)(5) E(4) F(4) • C(3) D(2) • A 0, B 100, C 1010, D 1011, E 110, F 111 0 1 1 0 0 0 1 0
Format MP3 datoteke • Svaka MP3 datoteka se sastoji od više delova koji se nazivaju okviri (frames) • Svaki okvir se sastoji od 32 bitnog zaglavlja (header) i sadržaja. • Jedan okvir služi za zapis 1152 sempla kod Layer-a 2 i 3 • MP3 format se može proširiti dodatnim informacijama o muzici, izvođaču, tekstu pesme i slično. Standard koji ovo opisuje se zove ID3 i trenutno nosi oznaku verzije 2.4.0. Pošto se ovaj standard pojavio posle standardizacije MP3, ovakve dodatne oznake su se pisale na kraju MP3 datoteke. Tek od verzije 2, su oznake premeštene na početak.
ZVUK • Definicije • Zvuk • Govor • Osnovna svojstva zvuka
Definicije • Zvuk Varijacije pritiska vazduha (mehanički talasi koji se prostiru u vazduhu brzinom 340 m/s) • Govor Sposobnost govornog aparata čoveka da oblikuje glasove Sposobnost uha da razlikuje i prepoznaje izgovoreno
Digitalna obrada signala • Vrlo često se javlja potreba da se zabeleže određeni signali koji se javljaju u prirodi. Najčešće sretani primeri signala su svakako zvuk i slika, ali i drugi primeri se mogu lako naći (ekg signali, ultrazvuk, raznorazna zračenja, itd. ...) • Signali koje srećemo u prirodi se obično javljaju u kontinualnoj formi što znači da se menjaju neprekidno tokom vremena i/ili prostora.
Analogna tehnologija • Analogna tehnologija pokušava da napravi kontinualni zapis nekog signala na medijumu. • Na primer: gramofonska ploča ima oblik dugačke spirale. Kada bi se pogledao oblik udubljenja i ispupčenja zabeleženih na njoj, dobio bi se grafik koji veoma podseća na grafik zvučnog signala koji je bio sniman. • Grafik rasporeda namagnetisanja na magnetnoj traci takođe treba da odgovara vremenskom rasporedu zvuka koji je snimljen.
Analogna tehnologija - prednosti • Ulaganja koja su potrebna da bi se dobio zapis analognog signala su veoma mala, ukoliko se zadovoljimo relativno niskim kvalitetom. • Tehnološki, još su stari grci mogli da prave jednostavni gramofon, uz pomoć jednostavne igle prikačene na trepereću membranu
Analogna tehnologija - problemi • Osnovni problem analogne tehnologije je to što je jako teško na medijumu napraviti skoro identičnu kopiju posmatranog signala • Drugi problem je nestalnost medijuma tj. njegova promenjivost tokom vremena i osetljivost na spoljašnje uticaje • Zbog toga se za kvalitetni analogni zapis mora uložiti izuzetno puno truda za pravljenje jako kvalitetnih medijuma što je izuzetno skupo. U krajnjem slučaju, pravljenje medijuma koji će apsolutno identično zabležiti signal i koji će zadržati svoje karakteristike večno, i u svim spoljašnjim uslovima je nemoguće. • Svaka obrada ovako zapisanih signala je izuzetno komplikovana i takođe zahteva velika ulaganja
Digitalna tehnologija – osnovna ideja • Osnovna ideja digitalne tehnologije je zapis signala kao niza brojeva koji predstavljaju njegove vrednosti izmerene na diskretnim tačkama (u diskretnim vremenskim trenucima, odnosno na diskretnoj mreži tačaka prostora) • Izmerene vrednosti se ponovo predstavljaju preko određenog broja nivoa različitih vrednosti • Postupak merenja i zapisivanja vrednosti signala se često naziva sempliranje • Ukoliko je poznat izgled signala na zadatoj mreži moguće je rekonstruisati njegov izgled i u ostalim delovima vremena tj. prostora. • Postavlja se pitanje koliko je često potrebno meriti i zapisivati vrednost signala
Nyquist-ova teorema • Čuvena Nyquist-ova teorema daje odgovor na ovo pitanje • Da bi signal mogao da se apsolutno rekonstruiše potrebno je izmeriti ga dva puta češće od njegove najveće frekvencije • Npr. Čovekovo uho čuje frekvencije do nekih 20Khz. Zbog toga je zvuk u principu dovoljno semplirati nekih 40 000 puta u sekundi.
Digitalna tehnologija – simulacija na analognim uređajima • U prirodi su sve pojave suštinski analogne • Digitalnu tehnologiju je neophodno dakle modelirati na analognim uređajima. • Npr. Iako su današnji računari digitalni i smatra se da jedna memorijska ćelija npr. sadrži samo vrednosti 0 ili 1, realno vrednost napona u toj ćeliji može da varira i to obično od 0 do 5V. Postavljanjem praga na 2.5V, mi pomoću ovog analognog uređaja simuliramo digitalni
Digitalna tehnologija, problemi • Početna tehnološka ulaganja da bi se uopšte stiglo do iole upotrebljivog zapisa su jako velika. • Na primer: jako je teško napraviti uređaj koji toliko često meri vrednost zvuka, a prostor potreban da bi se mogla zapisati 1 njegova sekunda je 44000 brojeva što predstavlja skoro jednu celu papirnu svesku • Ovo je razlog zašto se digitalna tehnologija javila istorijski prilično kasno • Jako je teško bilo stići do tako gustog zapisa koji omogućuje zapis par stotina megabajta na površini dlana šake
Digitalna tehnologija - prednosti • Međutim, kada je početni tehnološki prag dostignut prednosti su postale neverovatne. • Inherentna kvarljivost medijuma, koja je predstavljala najveći problem analogne tehnologije, odjednom je postala nebitna. • Obrada postaje jednostavna i vrši se isključivo primenom matematičkih formula na brojeve
Digitalizacija zvuka • PCM (Pulse Code Modulation) • sempliranje • kvantizacija • kodiranje • Veličina zapisa – kompresija(codec) • Kvalitet zavisi od • frekvencije sempliranja (2 x najviša frekvencija) • rezolucije (broja nivoa kvantizacije - bita) • metoda kompresije
V Sempliranje t • Za računarsku obradu analogni signal se mora digitalizovati sempliranjem (uzorkovanjem) • Teorema sempliranja (Nyquist-Shannon1) • frekvencija sempliranja mora biti najmanje dva puta veća od najviše frekvencije analognog signala: fsample 2 fmax 1 Harry Nyquist 1928. godine, dokazao Claude E. Shannon 1949.
Ilustracija uticaja frekvencije sempliranja na kvalitet reprodukcije • originalni signal • frekvencija sempliranja • semplovi (podaci) • rekonstruisani signal • Rekonstrukcija signala nije moguća kada je frekvencija sempliranja suviše mala
Kvantizacija • Nivo signala u određenoj tački pamti se u računaru sa konačnom preciznošću (n bita, 2n diskretnih vrednosti) • Postupak zamene izmerene vrednosti oznakom intervala vrednosti kome pripada V 0..2n t
Osnovna svojstva zvuka • intenzitet (dB) 10 log10 (P/P0) P0 – donja granica čujnosti 10-12[W/m2] • frekvencija - visina (Hz) • frekvencija - broj promena u jedinici vremena • spektar - • kvalitet (%) • zavisi od prisustva viših harmonijskih frekvencija (overtones) amplituda vreme amplituda vreme osnovni ton više frekvencije (harmonci) amplituda frekvencija f
Kompresija audio zapisa • Kompresija je postupak sažimanja dužine zapisa zvučnog signala • Postoje metode kompresije bez gubitaka (lossless) i sa gubicima (lossy). • Kompresija bez gubitaka se zasniva na uklanjanju redundancije u podacima, bez ikakve njihove izmene (npr. kao kod arhiviranja podataka programom WinZip). • Kompresija sa gubicima se koristi prevashodno za slike, audio i video zapis, a zasniva se na uklanjanju redundancije i manje bitnih podataka, koji nisu važni za samu percepciju. • Program za kompresiju se često naziva codec (compressor/decompressor)
Ilustracija 1digitalna telefonija • govor: većina govornog sadržaja je u opsegu od 4KHz • teorema: sempliranje na 8KHz • ako se svaki uzorak kvantizuje sa 8 bit-ova, kanal za prenos podataka treba da ima kapacitet8 bit-ova/uzorku x8.000 uzoraka/s = 64.000 bita/s • kapacitet modernih ISDN linija • standard digitalne telefonije – kompresija MNP4 ili MNP5, ECC CCITT V42 ili V42 bis