Ανάπτυξη και Υλοποίηση Νέων Τεχνικών Ανάκτησης Εικόνων με τη Χρήση Πληροφορίας Χρώματος

1. Ανάπτυξη και Υλοποίηση Νέων Τεχνικών Ανάκτησης Εικόνων με τη Χρήση Πληροφορίας Χρώματος Ανάπτυξη Έρευνας της Διδακτορικής Διατριβής του Κωνσταντίνου Κωνσταντινίδη Επιβλέπων Καθηγητής: Ιωάννης Ανδρεάδης Εργαστήριο Ηλεκτρονικής Δημοκρίτειο Πανεπιστήμιο Ξάνθης, Οκτώβριος 2006

2. Ερευνητικές Δραστηριότητες(Αναγκαία Συστατικά ενός Συστήματος Ανάκτησης Εικόνων) • Χρωματικοί Χώροι • RGB • HSV • CIELab (L*a*b*) • CIELCH • Μέθοδοι Σύγκρισης Ιστογραμμάτων • Histogram Intersection • Euclidean Distance (L2) • Bhattacharyya Distance • Matusita Distance • Divergence

3. Block Diagram Συστήματος Ανάκτησης Εικόνων προαιρετικό

4. Αποτελέσματα για 4 ανακτήσειςμε απλά ιστογράμματα

5. Σύγκριση χρονικού κόστους

6. Συμπεράσματα (Με βάση 2500 εικόνες) • Τα γενικά ιστογράμματα είναι πιο γρήγορα από τα τοπικά αλλά υστερούν σε ακρίβεια. • Η αλγόριθμοι που χρησιμοποιούν το RGB είναι πιο γρήγοροι από τους υπόλοιπους αλλά και πιο ευαίσθητοι σε αλλαγές φωτισμού + Εσφαλμένη αναγνώριση παρόμοιων χρωμάτων ->Φτωχά Αποτελέσματα • Η αλγόριθμοι που χρησιμοποιούν τα HSV, L*a*b* and LCH είναι πιο αργοί αλλά και πιο ακριβείς καθώς η φωτεινότητα σε αυτές της περιπτώσεις υπονομεύεται. • Ιεραρχία Ακριβείας: LCH, HSV, L*a*b*, RGB Ιεραρχία Ταχύτητας: RGB, HSV, L*a*b*, LCH • Ταχύτερος Αλγόριθμος: Συνεργασία RGB μεΕυκλείδεια -> Φτωχά Αποτελέσματα • Ο πιο αξιόπιστος καιπιο εύρωστος χρωματικός χώρος είναι ο LCH αλλά είναι πάρα πολύ αργός στη χρήση του Γενικά, ο πιο αποδοτικός συνδυασμός εξαρτάται απόλυτα από την εφαρμογή και την βάση με την οποία δουλεύουμε.

7. Πρόσθετες Εφαρμογές • Εισαγωγή θορύβου Salt and Pepper στην αρχική εικόνα (Σε μια από τις περιπτώσεις η εικόνα σχεδόν αλλοιώνεται ολοκληρωτικά) • Αλλαγή του φωτισμού της αρχικής εικόνας • Θόλωμα της αρχικής εικόνας Το πιο αξιόπιστο σύστημα: Συνεργασία του LCH με την απόσταση Matusita

8. Υπολογιστικό Φορτίο • Οι περισσότερες πράξεις γίνονται στην μετατροπή ανάμεσα στους χρωματικούς χώρους -> Συστήματα που χρησιμοποιούν τους HSV, L*a*b* και LCH είναι πιο αργοί από αυτούς που χρησιμοποιούν το RGB • Ταξινόμηση ανάλογα με την καταπόνηση • Πράξεις Μεταφοράς ανάμεσα στους χώρους • Αλγόριθμος Ομαλοποίησης • Μέθοδοι Σύγκρισης • Μέθοδοι Γενικών Ιστογραμμάτων • Εκτεταμένη ανάλυση Υπολογισμών (Πίνακας Πράξεων) • Μέθοδοι Τοπικών Ιστογραμμάτων • Υπερβολικά αυξημένος αριθμός πράξεων σε σχέση με τις μεθόδους γενικών ιστογραμμάτων

9. Συστήματα που Αναπτύχτηκαν • Ανάκτηση Εικόνας βασισμένη στην Επεξεργασία Ιστογράμματος Χρώματος με τη χρήση Ασαφούς Λογικής • Ανάκτηση Εικόνας βασισμένη στα Ιστογράμματα Χρώματος εμπλουτισμένα με Χωρική Πληροφορία • Συνεργεία χρώματος και υφής • Κυψελιδωτά Αυτόματα • Ανάκτηση εικόνων με τη χρήση ενός Peer-to-peer δικτύου • Ανάκτηση εικόνων επηρεασμένη από το φαινόμενο ‘watercolor’ • Σύγκριση Ιστογραμμάτων με τη χρήση ασαφούς λογικής

10. 1ο Σύστημα Ανάκτηση Εικόνας βασισμένη στην Επεξεργασία Ιστογράμματος Χρώματος με τη χρήση Ασαφούς Λογικής

11. Περιγραφή Fuzzy Συστήματος L*’s Membership Functions Fuzzy System a*’s Membership Functions Defuzzification Membership Functions b*’s Membership Functions

12. Παραδείγματα

13. Μέθοδος Σύγκρισης Ιστογραμμάτων Histogram Intersection (M.J. Swain and D.H. Ballard, Color Indexing, International Journal of Computer Vision 7 (1991) 11-32) ΗQ και HC είναι τα ιστογράμματα της εικόνας αναζήτησης και οποιασδήποτε εικόνας στη βάση αντιστοίχως. N είναι ο αριθμός των bins. Η μέθοδος αυτή παράγει έναν αριθμό (0,1). Όσο πιο μεγάλος ο αριθμός (τείνει στο 1) τόσο πιο παρόμοια τα ιστογράμματα.

14. Αποτελέσματα • Η βάση εικόνων που χρησιμοποιείται είναι 1100 εικόνες, όλες μετασχηματισμένες σε 50x50 pixels

15. 2ο Σύστημα Ανάκτηση Εικόνας βασισμένη στα Ιστογράμματα Χρώματος εμπλουτισμένα με Χωρική Πληροφορία

16. Στόχος Αποτέλεσμα Ανάκτηση Εικόνας βασισμένη στα Ιστογράμματα Χρώματος εμπλουτισμένα με Χωρική Πληροφορία Ανάκτηση Εικόνας με τη Χρήση Χωροχρωματικών Ιστογραμμάτων

17. Σχεδιάγραμμα της Ιδέας του Συστήματος Εξαγωγής του Χωροχρωματικού Ιστογράμματος

18. Παραδείγματα

19. Μέθοδος Σύγκρισης Χωροχρωματικών Ιστογραμμάτων Απόσταση Bhattacharyya (K. Fukunaga, Introduction to Statistical Pattern Recognition (Academic Press, Inc., 2nd edition, 1990)) ΗQ και HC είναι τα ιστογράμματα της εικόνας αναζήτησης και οποιασδήποτε εικόνας στη βάση αντιστοίχως.

20. Αποτελέσματα

21. Παράδειγμα του Συστήματος Ανάκτησης Εικόνων με τη χρήση Χωροχρωματικών Ιστογραμμάτων

22. 3ο Σύστημα Ανάκτηση Εικόνων με τη Συνέργεια χρώματος και υφής

23. Συνεργεία Χρώματος με Υφή (1) • Η εξαγωγή της υφής γίνεται με χρήση των μασκών του Laws που προκύπτουν από τους 25 συνδυασμούς των παρακάτω διανυσμάτων: • Αντί για την κλασική εξαγωγή της υφής από την φωτεινότητα μιας εικόνας, εξάγουμε την χρωματική της υφή μέσω των συνιστωσών a* και b* από τον χρωματικό χώρο L*a*b*

24. Συνεργεία Χρώματος με Υφή (2) • Λόγω του ότι δεν είναι δυνατόν να χρησιμοποιηθούν και οι 25 συνδυασμοί, για κάθε εικόνα, μόνο το αποτέλεσμα της μάσκας που απορρέει την μεγαλύτερη ενέργεια από τις χρωματικές συνιστώσες παραμένει για την περαιτέρω ανάκτηση: όπου ENa* και ENb* είναι οι ανάλογες ενέργειες για την χρωματική υφή της κάθε συνιστώσας • Η χρωματική υφή αυτή, σε συνεργεία με την χρωματική πληροφορία που εξάγεται από την συνιστώσα του Hue (από το HSV) χρησιμοποιούνται για να παραχθεί το τελικό ιστόγραμμα που έχει 256 bins (8*8*4)

25. Αποτελέσματα

26. Παράδειγμα Ανάκτησης με τη συνεργία Χρώματος-Υφής

27. 4ο Σύστημα Ανάκτηση Εικόνων με τη χρήση Κυψελιδωτών Αυτόματων

28. Σε αυτή την περίπτωση τα κυψελιδωτά χρησιμοποιούνται σαν μια αρχική ταξινόμηση των εικόνων στη βάση, σε σχέση με την ομοιότητα τους ως προς την αρχική εικόνα Feature Extraction Feature Database Images Selected Feature Selected Metrics Retrieved Images A Priori CA Classification Matching Feature Extraction Query Features Query Image Ανάκτηση Εικόνων με τη Χρήση Κυψελιδωτών Αυτόματων

29. Κυψελιδωτά Αυτόματα (Γειτονιά) • Η γειτονιά του προτεινόμενου κυψελιδωτού είναι αυτή του Moore: • Τη θέση των κυψελίδων παίρνουν τα εικονοστοιχεία της εκάστοτε εικόνας Moore

30. Images Cellular Automata Histogram Bhattacharyya Distance Comparison 100 Classified Images L*a*b* HSV Query Image HSV Histograms Retrieved Images Bhattacharyya Distance Comparison Σχεδιάγραμμα του αλγόριθμου της μεθόδου

31. + + + + + + + + Παράδειγμα της εφαρμογής του Κ.Α. για ένα εικονοστοιχείο

32. Κυψελιδωτά Αυτόματα (Αρχική Ταξινόμηση, 1ο στάδιο) • Το κυψελιδωτό αυτόματο εφαρμόζεται στις συνιστώσες a* και b* του χρωματικού χώρου L*a*b* για 5 εποχές, ή μέχρι όλα τα εικονοστοιχεία της εικόνας να αποκτήσουν μια εκ των πεπερασμένων τιμών (i.e. -128, 0 or 127) • Στο τέλος κάθε εποχής δημιουργείται ένα ιστόγραμμα με 16 bins για κάθε χρωματική συνιστώσα, δημιουργώντας έτσι 2D ιστογράμματα τα οποία μπορούν και να φτάσουν ένα μέγιστο της τάξης των 96 bins (αρχικό + ανάλογα με τις εποχές) • Εικόνες που έχουν ιστογράμματα με διαφορετικό αριθμό bins σε σχέση με της αρχικής εικόναςαπορρίπτονται άμεσα • Κάθε ιστόγραμμα από την βάση συγκρίνεται με της αρχικής χρησιμοποιώντας την απόσταση Bhattacharyya • Οι πρώτες 100 εικόνες με τις μικρότερες αποστάσεις περνάνε στην επόμενη φάση της τελικής ταξινόμησης

33. Τελική Ταξινόμηση (2ο στάδιο) • Από της 100 εικόνες που κρατήθηκαν εξάγεται ένα απλό ιστόγραμμα με 32 bins από την συνιστώσα Hue του HSV • Κάθε ιστόγραμμα από τις 100 εικόνες συγκρίνεται με της αρχικής χρησιμοποιώντας την απόσταση Bhattacharyya • Τελικάοι 20 (το νούμερο μπορεί να μεταβληθεί μέχρι το 100)πιο παρόμοιες εικόνες (μικρότερη απόσταση) παρουσιάζονται στο χρήστη

34. Αποτελέσματα

35. Παράδειγμα Ανάκτησης με τη χρήση κυψελιδωτού αυτόματου

36. 5ο Σύστημα Ανάκτηση εικόνων με τη χρήση ενός Peer-to-peer δικτύου

37. Ανάκτηση εικόνων με τη χρήση ενός Peer-to-peer δικτύου • Ανάκτηση σε 2 στάδια με τη χρήση των fuzzy και spatial συστημάτων αντίστοιχα, εντός ενός CAN δικτύου (Content-Addressable-Network) στον Καρτεσιανό χώρο • Τα bins που προκύπτουν από το fuzzy ιστόγραμμα είναι και οι συντεταγμένες του peer γύρω από του οποίου την γειτονιά θα γίνει το ψάξιμο

38. Δρομολόγηση της ανάκτησης στο δίκτυο(1ο στάδιο) • Ο χρήστης (main peer) κάνει μια ερώτηση στο δίκτυο προκειμένου να βρει παρόμοιες εικόνες. • Όλοι οι peers έχουν μια βάση με fuzzy ιστογράμματα (με το που εγκαθιστά ο χρήστης το πρόγραμμα στον υπολογιστή του, το σύστημα εξάγει τα ιστογράμματα των εικόνων που έχει, fuzzy και spatial) • Τα ιστογράμματα του καθενός δεν φυλάσσονται στον ίδιο αλλά προηγείται μια αυτόματη ταξινόμηση όλων των ιστογραμμάτων, όλων των χρηστών κατά την οποία δημιουργούνται κλάσεις στο δίκτυο ανάλογα με τα ιστογράμματα που υπάρχουν εκείνη την στιγμή • Η δρομολόγηση της ερώτησης γίνεται σύμφωνα με το fuzzy ιστόγραμμα της εκάστοτε εικόνας

39. Ψάξιμο στην Γειτονιά (1ο στάδιο) • Από την στιγμή που θα γίνει η δρομολόγηση της ερώτησης και θα φτάσει στον peer που έχει παρόμοια ιστογράμματα με εκείνα του χρήστη, η ερώτηση μεταδίδεται στους τριγύρω peers και ανακτώνται μόνο τα 100 πλησιέστερα ιστογράμματα με τη χρήση του histogram intersection. • Τα 100 αυτά ιστογράμματα περνούν στο 2ο στάδιο

40. Χωροχρωματικά Ιστογράμματα (2ο Στάδιο) • Το δεύτερο στάδιο αποτελείται από την σύγκριση των ανάλογων χωροχρωματικών ιστογραμμάτων των 100 εικόνων που πέρασαν το πρώτο στάδιο με την χρήση της απόστασης Bhattacharyya. • Στο τέλος γίνεται η αντίστροφη δρομολόγηση. Ανάλογα με το ποιες εικόνες θα ανακτηθούν, το σύστημα ξέρει από ποιους peers να τις τραβήξει και να τις παρουσιάσει στον χρήστη • Η βάση που χρησιμοποιήθηκε περιείχε 10000 εικόνες.

41. 6ο Σύστημα Ανάκτηση εικόνων βασισμένη στο φαινόμενο ‘watercolor’

42. Αλγόριθμος ανάκτησης εικόνας βασισμένος στο φαινόμενο “watercolor” • Αρχική ιδέα, να χρησιμοποιήσουμε χρωματική πληροφορία γύρω μόνο από τις ακμές. • Ο χρωματικός χώρος που προτιμήθηκε είναι ο HSV γιατί: • Το Hue περιέχει όλη τη χρωματική πληροφορία. • Το Value αντιπροσωπεύει τη φωτεινότητα της εικόνας => εύκολη εξαγωγή ακμών.

43. Φαινόμενο “Watercolor” Η οπτική παραίσθηση που παρατηρείται είναι η εντύπωση πως το πορτοκαλί έχει ‘κατακλείσει’ την άσπρη περιοχή ανάμεσα στις ακμές.

44. Τεχνική κατασκευής ιστογράμματος • Χρωματικός χώρος HSV. • Φιλτράρισμα του value (έχει αναχθεί σε τιμές [0,1]) με το φίλτρο ανταγωνισμού. • Η νέα εικόνα περιέχει τιμές στο [-1,1]. • Όσο πιο κοντά η τιμή του κάθε εικονοστοιχείου στα άκρα, τόσο πιθανότερο το εικονοστοιχείο να βρίσκεται σε περιοχή ακμής. • Παίρνουμε απόλυτη τιμή, αφού δεν μας ενδιαφέρει εάν το κέντρο ή η περιφέρειαείναι φωτεινότερη.

45. Χαρακτηριστικά φίλτρου • Τα εννέα εικονοστοιχεία του κέντρου πολλαπλασιάζονται με θετικό βάρος, ενώ τα υπόλοιπα με αρνητικό. • Οι τιμές του κέντρου έχουν άθροισμα 1 και της περιφέρειας -1. • Τα βάρη του κέντρου είναι ίσα, πράγμα που δεν συμβαίνει με τα βάρη της περιφέρειας. Αυτό γίνεται διότι θέλουμε να δώσουμε μεγαλύτερη συμμετοχή στα εικονοστοιχεία που βρίσκονται κοντά στο κέντρο της μάσκας και μικρότερη σε αυτά που απέχουν αρκετά από αυτό, το οποίο συμβαίνει και σε άλλες μάσκες εξαγωγής ακμών. • Η απόδοση βαρών έγινε με τον εξής κανόνα. Το άθροισμα των εξωτερικών εικονοστοιχείων (με τιμή -0.013889), είναι το μισό του αθροίσματος των εσωτερικών εικονοστοιχείων (με τιμή -0.041667).

46. Συμμετοχή εικονοστοιχείων στο ιστόγραμμα • Βαθμός συμμετοχής του κάθε εικονοστοιχείου ορίστηκε να είναι η τιμή της συνέλιξης του φίλτρου με την εικόνα. • Οι τιμές των bin του ιστογράμματος δεν είναι πλέον ακέραιες αλλά δεκαδικοί αριθμοί. • Εκμεταλλευόμαστε πληροφορία μόνο από το Hue. • Μετρική σύγκρισης Matusita.

47. Αποτελέσματα

48. Παράδειγμα Ανάκτησης (“Watercolor”)

49. 7ο Σύστημα Σύγκριση Ιστογραμμάτων με τη χρήση προσαρμόσιμης ασαφούς λογικής

50. Σύγκριση Ιστογραμμάτων με τη χρήση προσαρμόσιμης ασαφούς λογικής • Η ιδέα είναι εξαιρετικά απλή • Οι είσοδοι στο fuzzy σύστημα είναι δύο ιστογράμματα και η έξοδος είναι η fuzzy διαφορά τους • Η τελική διαφορά λαμβάνεται από το άθροισμα των fuzzy διαφορών τους • Οι συναρτήσεις συμμετοχής εξαρτώνται και μεταβάλλονται ανάλογα με το μεγαλύτερο ιστό του ιστογράμματος της εικόνας ερώτησης