Petar Ćurković, dipl. ing. Tomislav Stipančić, dipl. ing.

1. Segmentacija slike Petar Ćurković, dipl. ing. Tomislav Stipančić, dipl. ing. Bojan Šekoranja

2. Segmentacija slike • Pri analizi objekata na slici neophodno je razgraničiti “objekte od interesa” od ostatka slike • Tehnika koja izdvaja objekte od interesa se naziva segmentacija. • Metode segmentacije mogu se razdijeliti u tri grupe: thresholding– određivanje praga– izdvajanje cijelog objekta od pozadine edge-based segmentacija – pronalaženje rubova region-based segmentacija – segmentacija bazirana na regijama • Ne postoji univerzalna tehnika segmentacije koja će raditi na svim slikama niti je i jedna tehnika segmentacije savršena.

3. Segmentacija slike Potpuna segmentacija slike je kada je slika razdjeljena na konačan broj regija R1,..., Rs,

4. Tresholding-određivanje praga • Gray-level thresholding je najjednostavniji segmentacijski proces. • Mnogi objekti ili regije slike imaju karakterističnu konstantnu refleksiju ili apsorbciju svjetla na njihovim površinama – to nam omogućuje da odredimo neki konstantni iznos tj. pragkoji će razdvajati objekte od pozadine • Određivanje praga je računski nezahtjevna i jednostavna metoda – to je najstarija metoda koja još ima široku primjenu za jednostavnije zadatke • Vrlo se jednostavno izvodi u realnom vremenu uz pomoć adekvatne opreme

5. Tresholding-određivanje praga • Osnovni algoritam: Provjeriti sve pixele orginalne slike. Algoritam transformira ulaznu sliku u binarnu (segmentiranu) sliku i to na način: gdje je T prag, g(i,j) = 1 su objekti a g(i,j) = 0 pozadina ili obrnuto. • Ako se objekti međusobno ne dodiruju i ako se jasno razlikuju od pozadine onda je ovo prigodna metoda

6. Tresholding-određivanje praga • Vrlo je bitno odrediti dobar prag – samo u rjetkim slučajevima se dešava da je jedan prag dobar za cijelu sliku (globalni prag) pošto je već i kod dosta jednostavnih slika dolazi do varijacija – te varijacije mogu biti uzrokovane nejednakim osvjetljenjem i nizom drugih faktora • Segmentacija pomoću varijabilnih pragova – kada prag varira u različitim dijelovima slike kao funkcija lokalnih karakteristika slike može dati rješenja u tom slučaju

7. Tresholding-određivanje praga • Originalna slika • Threshold segmentacija • (c) Prag previsok • (d) Prag prenizak

8. Tresholding-određivanje praga Korištenje raspona g(i,j) = l for f(i,j)ЄD1, = 2 for f(i,j)ЄD2, = 3 for f(i,j)Є D3, … = n for f(i,j)ЄDn, = 0 u drugim slučajevima • Originalna slika • Detekcija rubova korištenjem raspona

9. Tresholding-određivanje praga • Metode određivanja praga se koriste da bi se odredio prag automatski. Ako unaprijed znamo neku značajku slike zadatak određivanja je pojednostavljen jer se određuje prag koji zadovoljava tu značajku. • Metode se baziraju na analizi oblika histograma -najčešće se koristi histogram prvog reda

10. Tresholding-određivanje praga • Histogram prvog reda predstavlja relativnu frekvenciju svjetlina točaka u slici • Histogram može biti bimodalan ili multimodalan • Histogram se može izračunati globalno ili lokalno • Mogući problem: Određivanje minimuma je teško zbog izlomljenosti krivulje histograma • Rješenje: Izgladiti histogram ili izvršiti interpolaciju glatkom funkcijom

11. Tresholding-određivanje praga Pristupi tresholding segmentaciji • Odrediti pragove pomoću minimuma u histogramu • Odrediti iznos praga tako da određeni dio točakaima svjetlinu nižu od praga • Odrediti prag na osnovu histograma izračunatog samo za točke u slici koje zadovoljavaju neki kriterij (npr. imaju veliki gradijent) • Koristiti a priori statističko znanje o regijama da bi minimizirali neku veličinu (npr. pogrešku)

12. Tresholding-određivanje praga Bimodalna segmentacija • Kod mnogih slika vrijednost točaka pada u jednu od dvije grupe (tamne ili svjetle točke) • Primjeri: pisani tekst, mikroskopski uzorci, avioni na pisti, kosti na roentgenskom filmu,... • U takvim slučajevim se objekt može izdvojiti od pozadine na osnovi vrijednosti amplitude • Praktični problemi kod izbora vrijednosti praga: šum i smetnje, objekt i pozadina imaju širok raspon vrijednosti, neuniformna pozadina

13. Tresholding-određivanje praga Bimodalna segmentacija

14. Tresholding-određivanje praga Odabir praga • Ako je histogram bimodalan (ima dva istaknuta maksimuma između kojih se nalazi minimum) onda za prag treba odabrati amplitudnu vrijednost koja odgovara srednjem minimumu • p-tile thresholding – ako je poznato da objekt prekriva određeni dio površine slike može se prag odrediti tako da segmentirana regija ima površinu jednaku željenom dijelu ukupne površine slike primjer: ispisani tekst na nekoj stranici pokriva 1/p površinu stranice. Koristeći se tom informacijom o omjeru između dijela sa tekstom i praznog dijela vrlo se jednostavno određuje prag (na osnovu histograma) tako da 1/p dio slike bude iznad praga a drugi dio ispod praga.

15. Tresholding-određivanje praga Višemodalna segmentacija • Višemodalni histogram je histogram koji ima više od dva globalna maksimuma • Slika tada sadrži nekoliko dominantnih nivoa amplituda (nekoliko vrsta objekata) • Ako je razdioba dominantnih amplituda unaprijed poznata onda je lako odrediti pragove • Ako je razdioba amplituda slike nepoznata sliku je moguće segmentirati raznim iterativnim metodama

16. Tresholding-određivanje praga Višemodalna segmentacija Tomita metoda • Tomita je razvio rekurzivnu metodu gdje se u prvom koraku slika pragom dijeli u dvije regije • U drugom koraku se računa histogram za svaku od regija i ako je histogram bimodalan regija se ponovo dijeli u dva dijela • Ako je histogramunimodalan regija se ne dijeli • Procedura se rekurzivno ponavlja sve dok se svibimodalni histogrami ne eliminiraju i ostanu samo unimodalni histogrami (prema nekom kriteriju)

17. Tresholding-određivanje praga Višemodalna segmentacija

18. Segmentacija bazirana na rubovima • engl. edge-based • Segmenatacija bazirana na rubovima se zasniva na rubovima pronađenim uz pomoć raznih detektora – ti rubovi označavaju lokacije diskontinuiteta između nijansi, boja, teksture ili nečeg drugoga • Najčešće se problemi kod ove segmentacije javljaju zbog šumova ili drugih vrsta loših informacija o slici a to su da se registrira rub gdje ne postoji ili da se ne registrira gdje on postoji • Granice objekata se mogu izdvojiti metodama: Praćenje granice Interpolacije krivulja Hough-ova transformacija

19. Segmentacija bazirana na rubovima Praćenje granice • Detekcija rubova je važna u analizi slika zato što rubovi određuju granice objekata i zato su korisni za segmentaciju registraciju i identifikaciju objekata na slici • Rubovi su mjesta naglih promjena u vrijednosti točaka slike • Zato je moguće koristiti gradijent funkcije za detekciju ruba

20. Segmentacija bazirana na rubovima Praćenje granice • Gradijent funkcije dviju varijabli je vektor koji pokazuje smjer najbrže promjene funkcije f • S obzirom na detekciju smjera ruba postoji podjela na gradijentne (u dva ortogonalna smjera) i kompas (u više smjerova) operatore

21. Segmentacija bazirana na rubovima Interpolacije krivulja • Nekad je moguće točke rasporeda rubova (edge map) povezati metodama interpolacije da bi se dobila zatvorena kontura koja definira regiju • Potrebno je razbiti konturu u dijelove koji se interpoliraju • Za interpolaciju moguće je koristiti polinomske ili spline metode • Jednostavni iterativni algoritam za interpolaciju krivulje linearnim segmentima je opisan u nastavku

22. Segmentacija bazirana na rubovima Interpolacije krivulja • Početna i završna točka su A i B • U svakom koraku mjeri se maksimalna pogreška i ako ona prelazi granicu onda se segment razbija u dva segmenta • Postupak se ponavlja dok se ne postigne željena točnost

23. Segmentacija bazirana na rubovima Hough-ova transformacija • HT se koristi za detekciju linija u slici • Pravac se može opisati slijedećom jednadžbom: gdje je ρ udaljenost pravca od ishodišta a ϑ kut nagiba • Hough transformacija pravca je točka u koordinatnom sustavu (ρ, ϑ) • Familija pravaca koji prolaze kroz jednu točku se preslikava u skup točaka koje leže na sinusoidi

24. Segmentacija bazirana na rubovima Hough-ova transformacija • Pravac se preslikava u točku • Familija pravaca kroz točku se preslikava u sinusoidu

25. Segmentacija bazirana na rubovima Hough-ova transformacija • Ako imamo tri kolinearne točke onda pravac na kojem one leže ima parametre sjecišta triju sinusoida • Svaka sinusoida u parametarskom prostoru odgovara snopu pravaca određenog točkom

26. Segmentacija bazirana na rubovima Hough-ova transformacija Hough transformacija za segmentaciju magnetske rezonancije mozga na lijevu i desnu polutku

27. Segmentacija bazirana na rubovima Hough transformacija – primjer detekcije krugova (a) Originalna slika tamnog kruga (poznatog radijusa na svjetloj pozadini) (b) Za svaki tamni pixel određuje se moguće mjesto središta kruga sa krugom radijusa r i središtem u tom pixelu (c) Frekventnost pojavljivanja pixela određuje središte našeg kruga – najfrekventnije mjesto je središte i označava se sa • (d) Houghova transformacija točno detektira krug (označen sa •) čak i sa nekompletnim informacijama

28. Segmentacija bazirana na rubovima Hough-ova transformacija • Hough transformacija—detekcija krugova, • Originalna slika, • Praćenje granice (vidimo da daje dosta loše rezultate), • Parametarski prostor, • Detektirani krugovi

29. Segmentacija bazirana na regijama • engl. region based methods • Cilj ovih metoda je identificirati dijelove slike koje imaju slične značajke • Dvije karakteristične metode su: Izrastanje područja (region growing) Metoda dijeljenja i stapanja (split and merge) • Za razliku od prethodnih metoda u kojima su se tražili rubovi između regija ove metode direktno određuju regije • Ova metode je pogodnije su za slike koje imaju dosta šuma gdje je teško odrediti granice

30. Segmentacija bazirana na regijama • Problem segementacije izrastanjem područja sastoji se u određivanju uniformnih skupina točaka slike (regija) • Algoritmi za izrastanje područja uspoređuju svojstva neklasificirane točke s dotad segmentiranom regijom da bi odlučili da li točka pripada regiji ili ne • Tehnike izrastanja područja mogu se podijeliti u tri grupe s obzirom na način uspoređivanja točaka: • na osnovi sličnosti dvaju susjednih točaka • na osnovi sličnosti okolina dvaju susjednih točaka • na osnovi sličnosti točke i centroida regije

31. Izrastanje područja (region growing) Metode pomoću sličnosti točaka • engl. single linkage region growing • svaka točka slike predstavlja čvor grafa • susjedne točke sličnih svojstava povezuju se granom • segmenti slike su maksimalni skupovi točaka koje pripadaju jednoj povezanom skupu

32. Izrastanje područja (region growing) Metode pomoću sličnosti točaka Primjer • Primjer gdje se točke smatraju sličnima ako je razlika vrijednosti manja od 5 • Korišteno je 4-susjedstvo za definiciju povezanog područja

33. Izrastanje područja (region growing) Metode koje koriste sličnost okolina • engl. hybrid-linkage region growing • ove tehnike svakoj točki dodjeljuju vektor značajke koji ovisi o K×K susjedstvu te točke • nekoliko pristupa koristi maske za detekciju ruba za označavanje točkaka koje pripadaju granici • segmentirane regije su onda povezani skupovi neobilježenih točaka • Problem: Ako je rub prekinut dolazi do povezivanja različitih regija

34. Izrastanje područja (region growing) Metode koje ispituju sličnost točke i regije • engl. centroid-linkage region growing • kod ovih metoda ne uspoređuju se susjedne točke • Slikom se prolazi nekim redoslijedom i vrijednost točke se uspoređuje s srednjom vrijednosti dosad klasificiranih točaka u regiji

35. Izrastanje područja (region growing) Metode koje ispituju sličnost točke i regije Primjer • Slikom se prolazi red po red • Neka točka y predstavlja trenutnu poziciju i neka točke 1, 2, 3 i 4 pripadaju respektivnim regijama • Točka y klasificira se u regiju i ako ima svjetlinu najbližu srednjoj vrijednosti točaka u regiji i • Ako dvije regije imaju slične srednje vrijednosti onda se te dvije regije stope (spoje)

36. Dijeljenje i stapanje • engl. split and merge • Kod metode dijeljenja i stapanja koristi se prikaz slike pomoću kvartarnog stabla gdje se svaka grana dijeli u četiri grane (engl. quad tree) • Inicijalna segmentirana regija je cijela slika • Ako je regija neuniformna onda se razbija u četiri podregije • Ako su četiri susjedne regije uniformne onda se stapaju u jednu regiju • Uniformnost regije se mjeri npr. pomoću razlike svjetline najtamnije i najsvjetlije točke u regiji

37. Dijeljenje i stapanje

38. Traženje sličnosti • Eng. matching • Traženje sličnosti se može koristiti da se lociraju objekti za koje znamo kako izgledaju, da pronađemo specifične obrasce, itd.

39. Evaluacija segmentacije • Evaluacija segmentacije je korisna kada trebamo izabrati jedan od više algoritama ili obabrati parametre za izabrani algoritam • Nadzirana evaluacija uspoređuje rezultat koji daje algoritam i realno stanje • Nadzirane evaluacije obično uspoređuju preklapanje površina ili udaljenost između granica—postoji više načina da se to izvede • Često je realno stanje slabo definirano ili je skupo doći do njega. Nenadzirane metode ocjenjuju segmentaciju neovisno o njemu • Postoje mnoge nenadzirane metode ali su obično ograničene pretpostavkama regija slike