Billedsegmentering ved hjælp af grafsnit

1. Billedsegmentering vedhjælp af grafsnit Ditte-Maria Christiansen Peter Pilgaard Rasmussen

2. Formål med specialet • Hvorfor segmentere billeder? • Segmentering og grafsnit • De undersøgte metoder • Brugergrænseflade • Test af metoderne • Konklusion • Perpektivering • Pause • Spørgsmål?

3. Formål med specialet • At undersøge metoder til billed-segmentering for at finde den hurtigste og bedste. • Bedste?

4. Hvorfor segmentere billeder • Medicinsk billedbehandling • Tidsserieanalyse – still-billeder • Fremhævning af enkeltelementers datainformation – satellitbilleder

5. Segmentering og grafsnit • Fra billede til graf • Graf • Minimum Cut: 4 naboer (up, down, left og right) • Normalized Cut og Average Cost Gap: Alle naboer • Vægtfunktion (gaussisk)

6. Minimum Cut grafen

7. Normalized Cut

8. De undersøgte metoder • Grafen • Minimum Cut • Minimerer • Normalized Cut • Minimerer • Average Cost Gap • Minimerer et gab i løftet af grafen til et hyperplan

9. a-parametren • Estimere a [Huang og Mumford] • Implementeret i Normalized Cut

11. Fordele og ulemper ved metoderne • Minimum Cut • Kræver viden om objekternes placering • Mange objekter  Mange s’er og t’er • Kun en parameter • Normalized Cut • Mange parametre at skrue på • Kan segmentere i flere dele (flere egenvektorer) • Kræver ingen viden om objekternes placering • Average Cost Gap • Skal gange 2 n×n matricer sammen (n: antal pixel) • Deler ikke langstrakte elementer

12. Den grafiske brugergrænseflade • Overvejelser • Afprøvning • Udvidelser

13. Brugervenlighed Definition Lethed Brugbarhed Let at huske Tilfredshed Forståelighed Bekvemmelighed Hvor let det er at bruge programmet Overvejelser • Om programmet er effektivt i brug • Om det er let at huske hvordan programmet bruges efter længere tids fravær • Om man generelt kan lide at arbejde med programmet • Om man kan forstå hvad der sker idet man aktiverer en funktion i programmet • Om man føler at alt virker som det beskrives udfra knapper og menuer

14. Overvejelser • Brugervenlighed • Gestaltlovene • Lukkethed • Nærhed • Lighed • Linier

15. Overvejelser • Farveopfattelse • Farveblindhed • Negativt efterbillede

17. Afprøvning • Vi så… • Minimum Cut for 2D med : • En kilde og en terminal • Grænsetilfælde • Utilstrækkelig information • En kilde og to terminaler • Passende information • Normalized Cut for 2D : • Flere typer afhængig af tilfældighedgenerator

18. Afprøvning Minimum Cut Normalized Cut

19. Udvidelser • Farvebilleder – Farvesegmentering • Visualisering af kilder og terminaler • Valgmulighed: • Flere skiver efter update • Colormap • Lyssætning (problem i Matlab 6.5.1) • Afbryder-funktion • Yderligere segmenteringstyper

20. Testning Det vi har testet Resultater

21. Det vi har testet • Minimum Cut • Hvor stor betydning billedstørrelsen har på segmenteringstiden • Hvilken betydning antallet af elementer har for tidsforbrug og kvalitet af segmenteringen • Hvilken indflydelse støj har på segmenteringstid og kvalitet • 4-naboskab versus 8-naboskab • Indbyrdes forhold mellem vægtfunktionens parametre • Forskellige I’ers indflydelse på tid og kvalitet i voluminer • Parameteren I’s betydning for tid og kvalitet i 2D

22. Det vi har testet • Normalized Cut • Hvorvidt der tages højde for gråtonerne • Hvor stor betydning billedstørrelsen har på segmenteringstiden • Hvilken betydning antallet af elementer har for tidsforbrug og kvalitet af segmenteringen • Hvordan tidsforbruget er fordelt på funktionerne • Hvilken indflydelse støj har på segmenteringstid og kvalitet • Udskiftning af vægtfunktion til en generaliseret Laplace

23. Det vi har testet • Average Cost Gap • Evne til at segmentere langstrakte elementer • Støjens indflydelse på kvaliteten

24. Resultater • Minimum Cut • Tidsforbruget af segmenteringen er afhængig af formen og størrelsen af de elementer der skal segmenteres, samt af billedets størrelse • Støj har ikke direkte indflydelse på segmenteringstiden, men påvirker hvor meget der segmenteres, og derved påvirkes segmenteringstiden indirekte • Segmenteringstiden stiger når der introduceres flere naboer

25. Resultater • Minimum Cut • Segmenteringstiden stiger, når afstanden mellem kilde og terminal øges, dette bliver endnu mere markant ved 8 naboer end ved 4 • Tidsforbruget ved voluminer er ligesom for billeder afhængig af størrelse af voluminet og antallet af kilder, idet dette giver flere kanter

26. Resultater • Minimum Cut • Når 8 naboer bruges fremfor 4 naboer bliver kvaliteten god ved brug af færre terminaler • Støj forringer kvaliteten af segmenteringen i en sådan grad at det er svært at genkende objekterne • Når støjen tiltager i en billedrække er det nødvendigt at sænke I værdien • Støj har ikke påvirket kvaliteten af de tests vi har lavet på voluminer

27. Resultater • Minimum Cut • Både segmenteringstid og kvalitet er afhængig af I • Man kan afgrænse intervallet af I ved at finde intensitetsforskelle i områderne omkring kilder og terminaler. Intervallet mellem mindste kilde intensitet og mindste terminalintensitet anbefales og det anbefales at bruge størsteværdien i dette interval først

28. Resultater • Minimum Cut • Kvaliteten falder idet segmenteringstiden falder, dette sker ved forskellig I – afhængig af elementerne i voluminet • Der findes en nedre grænse I hvorunder segmenteringen bliver en thresholding fremfor en segmentering. Denne grænse er afhængig af det enkelte billede eller volumen

29. Resultater • Normalized Cut • Tidsforbruget stiger i takt med billedstørrelsen, dog kan overgangen fra normal matrix til sparse matrix ses af tidsforbruget • Hvis vi forsøger udfra tallene at udregne det videre forløb uden sparse, ser det ud til at tidsforbruget ikke ville have havnet så langt fra de tidsforbrug vi får ved sparse matricen

30. Resultater • Normalized Cut

31. Resultater • Normalized Cut • Segmenteringsfunktionen tager kun få sekunder • Udregningen af egenværdier og egenvektorer står for 74-96% af den fulde segmenteringstid • For 100 x 100 pixels ligger segmenteringstiden fra ca. 27 minutter til 9 ¾ time • For 25 x 25 pixels er segmenteringstiden nede i 2 til 18 sekunder

32. Resultater • Normalized Cut • Opbygning af grafen og markering af pixels er uafhængig af billedets art, udregningen af egenvektorer er dog afhængig af størrelsen af elementerne i billedet • Billedets art betyder noget for beregningstiden og kvaliteten, idet selve elementernes indbyrdes placering lader til at influere på begge dele ved segmenteringen

33. Resultater • Normalized Cut • Kvaliteten afhænger af billedets størrelse og afstanden mellem pixels, der ligner hinanden • Når støjen tiltager i en billedrække er det nødvendigt at mindske I og hæve radius • Støjen har ikke indflydelse på om elementerne segmenteres, men segmenteringen vil indeholde mere støj • Udskiftning af gaussisk vægtfunktion med en generaliseret Laplace har ikke vist sig fordel-agtig. Dog, i de få tilfælde hvor kvaliteten var god er kanten blevet mere korrekt

34. Resultater • Normalized Cut • Gråtoner kan adskilles, men forekomster af forskellige gråtoner kan også forekomme i samme segment

35. Resultater • Average Cost Gap • Denne er ikke en forbedring til Normalized Cut • Finder grænser i billederne, der ikke eksisterer • Er følsom overfor støj

36. Væsentlige fejl • Under testforløbet har der været fejl i koden til opsamling af tidsforbrug under Minimum Cut. Ved indskrivning af testresultater har vi ikke været kritiske nok overfor tallene for tidsforbruget, dette har vi fundet ud af senere. Minimum Cut er dog stadig betydeligt hurtigere end Normalized Cut.

37. Konklusion – generelt • Det er et problem, at det tager så lang tid at segmentere billeder større end 10.000 pixels • Der bør bruges metoder, der søger at minimere tiden i forhold til billedstørrelsen • Vi har med succes implementeret og afprøvet Minimum Cut og Normalized Cut • Average Cost Gap og udskiftning af vægtfunktion til generaliseret Laplace har ikke givet gode resultater

38. Konklusion – Minimum Cut • Minimum Cut har vist sig at være hurtigere end Normalized Cut, hvorfor vi i det tilfælde hvor billedet ikke er generet af for meget støj vil foretrække denne metode • Ulempen ved metoden er, at der er 1 parameter + minimum 2 punkter der skal sættes. Det er en lang interaktionstid med GUIen

39. Konklusion – Normalized Cut • Normalized Cut har vist sig at være bedre end Minimum Cut for billeder der er støjgenerede – kvaliteten bliver bedre • Ulempen ved Normalized Cut er, at der er 4 parametre, der skal sættes, hvor de alle afhænger af hverandre

40. Konklusion – Average Cost Gap • Metoden er kun vist i teorien i artiklen • Den giver dårligt resultat i vores test • Vi har muligvis ikke fundet den rette type billede • Den danner grænser i billedet, der ikke eksisterer

41. Konklusion – -parameteren • Det er ikke lykkedes os at vise at en udskiftning af den gaussiske vægtfunktion med en generaliseret Laplace skulle være bedre til naturlige billeder

42. Konklusion – Brugergrænsefladen • Vi ville lave en GUI, der både var funktionel og pæn • Segmenteringsmetoderne skulle kunne køres deri, og der skulle være mulighed for at vælge flere kilder/terminaler og flere inddelinger end 2

43. Perspektivering • Udvidelse med Nyström-tilnærmelsen giver mindre matricer under udregningerne • Eliminering af oversegmentering ved hjælp af middelværdi og varians på segmenterne • Flere I til ét billede kan muligvis afhjælpe støjgener • Eliminering af større ens områder indenfor elementerne vil kunne mindske antallet af udregninger