Vizualna sličnost i standardizacija kao problemi raspoznavanja prometnih znakova

1. Vizualna sličnost i standardizacija kao problemi raspoznavanja prometnih znakova Ivan Filković Mentor: Prof. dr. sc. Zoran Kalafatić

2. Sadržaj • Motivacija, uvod • Ispitni skupovi prometnih znakova • Sustav za evaluaciju postupaka za raspoznavanje prometnih znakova • HOG, LDA, PCA, SVM • Rezultati testiranja • Zaključak

3. Motivacija • Postojeći komercijalni sustavi • Mogućnost poboljšanja performansi • Uklanjanje pretpostavki kao što su vožnja u neurbanim sredinama (npr. autocestama) • Malen podskup prometnih znakova (znakovi ograničenja brzine) • Primjena • Napredni sustavi za potporu vozaču • Sustavi za kartiranje i provjeravanje prometne signalizacije • Autonomna vozila • Projekt VISTA:u okviru sustava za otkrivanje, raspoznavanje i praćenje prometnih znakova

4. Uvod • Prometni znakovi su jednostavni objekti strogo ograničeni svojim oblikom i bojom • Osmišljeni da budu što uočljiviji čovjeku (intenzivne boje, pravilni oblici i refleksivna površina) • Problem:reprezentacija koja odgovara čovjeku je nepogodna za računalo • Problemi: • Promjena osvjetljenja • Djelomična prekrivenost prometnih znakova • Vremenski uvjeti • Perspektiva prometnih znakova • Podskupovi prometnih znakova koji su vizualno vrlo slični jedni drugima • Standardizacija

5. Uvod - Standardizacija • Bečki sporazum o prometnim znakovima i signalizaciji (1968) • Standardizacija prometnih znakova (manje razlike između država) • 62 države potpisnice (Hrvatska; većina europskih država) • Problem:nemogućnost izrade jedinstvenog sustava za otkrivanje i raspoznavanje prometnih znakova

6. Uvod - Prometni znakovi • Osam osnovnih vrsta prometnih znakova (Bečki sporazum): • Znakovi upozorenja od opasnosti • Znakovi prednosti • Znakovi zabrane ili ograničenja • Znakovi obveze • Znakovi posebne regulacije prometa • Znakovi informacija, objekata ili usluga • Znakovi smjera, položaja ili naznake • Dopunske ploče • Primjeri osnovnih vrsta prometnih znakova u Hrvatskoj

7. Uvod – Prometni znakovi (Hrvatska) • Znakovi opasnosti • A01 – A50 → 50 znakova • Znakovi izričitih zabrana • B01 – B62 → 62 znaka • Znakovi obavijesti • C01 – C133 → 133 znaka • Znakovi obavijesti za vođenje prometa • D01 – D17 → 17 znakova • Dopunske ploče • E01 – E50 → 50 znakova 322 različita prometna znaka!!!

8. Uvod - Cilj • Sustav raspoznavanja prometnih znakova • Robustan • Rad u realnom vremenu (ADAS) • Minimizirati troškove (jačina računala, karakteristike kamere; ADAS) • Maksimizirati performanse (ADAS)

9. Uvod - Raspoznavanje prometnih znakova • Raspoznavanje prometnih znakova→ problem strojnog učenja (nadzirano učenje) • Najvažnije - kvalitetan skup podataka (skup prometnih znakova) koji dobro reprezentira dani problem • Višerazredni klasifikacijski problem s neujednačenom zastupljenosti razreda • Problem: 322 različita prometna znaka u Hrvatskoj → 322 razreda → težak klasifikacijski problem • Rješenje: problem razdvojiti na više podproblema • Podskup prometnih znakova (npr. trokutasti, okrugli, znakovi ograničenja brzine) → novi problem

10. Skupovi prometnih znakova • 3 javno dostupna skupa podataka: • MASTIF - Mapping and Assessing the State of Traffic Infrastructure skup podataka • GTSRB - German TrafficSignRecognitionBenchmarkskup podataka • BTSC - BelgiumTrafficSignClassificationskup podataka • Terminologija: • Jedan fizički prometni znak = instanca prometnog znaka • Trag prometnog znaka - primjeri instance prometnog znaka

11. MASTIF skup podataka • FER • Kamera: • Pričvršćena na prednji dio automobila • SDTV rezolucija: 720 x 576 • FOV (engl. FieldofView): 48° • FPS: 25 • Tri podskupa snimljena 2009., 2010. i 2011. godine • Problemi: • Primjeri za učenje male rezolucije (20 x 20 do 90 x 90) • Prisutno zamućenje uslijed gibanja vozila • Korištena interlaced kamera za podskup 2009 • Mali broj primjera za učenje nekih razreda

12. MASTIF skup podataka

13. MASTIF skup podataka

14. MASTIF skup podataka

15. Prerađeni MASTIF skup podataka

16. Prerađeni MASTIF skup podataka

17. GTSRB skup podataka • Stallkamp, Schlipsing, Salmen, Igel • Kamera: • Prosilica GC 1380CH • 10 sati slikovne sekvence dobivene kamerom pričvršćenom na prednji dio vozila tijekom dana (Ožujak, Listopad i Studeni 2010) • Rezolucija: 1360 x 1024 • FPS: 25 • Rezolucija primjera: • 15 x 15 do 222 x 193 • HOG1, HOG2, HOG3

18. GTSRB skup podataka

19. GTSRB skup podataka

20. BTSC skup podataka

21. BTSC skup podataka

22. Skupovi prometnih znakova - Pregled

23. Sustav za evaluaciju postupaka za raspoznavanje prometnih znakova

24. HistogramOrijentiranih Gradijenata (HOG) • Prebrojavanje različitih orijentacija gradijenata u lokaliziranim dijelovima slike • Gusta mrežu uniformno raspoređenih ćelija • Ideja: lokalni izgled i oblik objekta se može opisati razdiobom orijentacije gradijenta (rubova) • Parametri: • Veličina ćelije (sl. el. x sl. el) • Veličina bloka (#ćelija x #ćelija) • # odjeljka histograma po ćeliji • Normalizacija • Veličina odjeljka histograma • Raspon histograma

25. Linearna diskriminatna analiza (LDA) • Smanjenje dimenzionalnosti • Minimizacija raspršenosti primjera unutar razreda i maksimizacija raspršenosti između razreda Loša projekcija Dobra projekcija

26. Analiza glavnih komponenti (PCA) • Smanjenje dimenzionalnosti • Ortogonalna transformacija primjera iz n-dimenzionalnog prostora u k-dimenzionalan ( • Osi novog koordinatnog sustava traže se način da se za svaku značajku pronađe ona os na kojoj će projicirane vrijednosti imati najveću varijancu

27. Stroj s potpornim vektorima (SVM) • Jedan-naspram-ostali (K – 1 klasifikatora) • Pronalazak hiperravnine koja maksimizira marginu razdvajanja • Hiperravnina definirana primjerima (potporni vektori) • Linearni SVM (C) • C malen: margina razdvajana velika nauštrb pogrešne klasifikacije • C velik: manja margina

28. SVM - jezgre • Polinomijalna jezgrena funkcija • Radijalna jezgrena funkcija (RBF) • Sigmoidalna jezgrena funkcija • Križajuća jezgrena funkcija mali → su različiti veliki → su slični

29. Testiranje 1 • HOG konfiguracije • SVM s različitim jezgrama • Stopa točnosti klasfikacije • HIK SVM/HOG2/HOG2* • najbolji rezultati • HOG je dobro implementiran • HOG1*/HOG2* • HOG3* • MASTIF(1568) • , , • BTSC(1568) • , , • 2916 dvostruko više • RBF, SIGMOIDA • prenaučenost

30. Testiranje 1 - LDA

31. Testiranje 1 - PCA • Osjetan pad performansi od prosječno 4% • Smanjenjem dimenzionalnosti izgubi se korisna informacija • POLINOMIJALNA, RBF, SIGMOIDA • prenaučenost

32. Testiranje 2 • Cilj: pokazati postoji li razlika između istih prometnih znakova u Hrvatskoj, Njemačkoj i Belgiji • Kako? Skupa za učenje i skup za provjeru: GTSRB Skup za testiranje: MASTIF, BTSC Skupa za učenje i skup za provjeru: MASTIF Skup za testiranje: GTSRB, BTSC Skupa za učenje i skup za provjeru: BTSC Skup za testiranje: MASTIF, GTSRB

33. Testiranje 2

34. Testiranje 2 MASTIF GTSRB BTSC

35. Testiranje 2 • Zaključak: • Stopa točnosti klasifikacije: → isti znakovi u Hrvatskoj, Njemačkoj i Belgiji su približno slični • Sljedeći korak:

36. Testiranje 2 • HIK-SVM, HOG2* • Stopa točnosti klasifikacije = 0.979765 (2082/2125) • makroF1 = 0.974471(2082/2125) • Zaključak: moguće je uspješno naučiti klasifikator koji dobro klasificira podskup trokutastih prometnih znakova iz triju spomenutih zemalja

37. Testiranje 2 - matrica zabune Stvarno Predviđeno

38. Testiranje 2 – Pogrešno klasificirani primjeri

39. Zaključak, budući ciljevi • Kombinacije HOG2/HOG2* konfiguracija, LDA, SVM s linearnom ili križajućom jezgrom • Dobar odabir • Rezultati usporedivi s rezultatima iz reprezentativnih radova • Preliminarni rezultati pokazuju da je moguće napraviti jedan sustav raspoznavanja određenog podskupa prometnih znakova koji bi radio u više zemalja (potpisnica Bečkog sporazuma) • Ispitati ponašanje koncepta u ovisnosti o komponentama cijelog sustava za otkrivanje, raspoznavanje i praćenje prometnih znakova

40. Hvala!

41. HistogramOrijentiranih Gradijenata (HOG) • Prebrojavanje različitih orijentacija gradijenata u lokaliziranim dijelovima slike • Gusta mrežu uniformno raspoređenih ćelija • Ideja: lokalni izgled i oblik objekta se može opisati razdiobom orijentacije gradijenta (rubova) • Parametri: • Veličina ćelije (sl. el. x sl. el) • Veličina bloka (#ćelija x #ćelija) • # odjeljka histograma po ćeliji • Normalizacija • Veličina odjeljka histograma • Raspon histograma

42. HOG • Postupak: • Postaviti područje od interesa na prometni znak u slici • Promijeniti veličinu ulazne slike na 40 x 40 (npr. bilinearna interpolacija) • Prebaciti sliku iz RGB sustava boja u HSV sustav boja • Izračunati gradijentne slike u x i y smjeru (npr. Sobelov, Robertsov, Prewittov operator)

43. HOG • Izračunati histograme orijentacije gradijenata za svaku ćeliju • Amplituda gradijenta: • Orijentacija gradijenta:

44. HOG • Izračunati pripadajuće integralne slike iz slika odjeljaka histograma • Zbroj vrijednosti svih slikovnih elemenata iznad i lijevo od slikovnog elementa • Nema operacija s pomičnim zarezom • Look-up tablice

45. HOG • Izračunati vektor značajki

46. HOG • Normalizacija bloka • Robusnost na promjene osvjetljenja

47. Evaluacija klasifikatora • Stopa točne klasifikacije • Točnost – udio točno klasificiranih primjera u skupu svih • Preciznost – udio točno klasificiranih primjera u skupu pozitivno klasificiranih • Odziv – udio točno klasificiranih primjera u skupu pozitivnih • Specifičnost – udio točno klasificiranih primjera u skupu negativnih • Mikro F1 • MakroF1

48. Evaluacija klasifikatora • Višerazredna klasifikacija • Neke mjere nemaju smisla • Točnost • Specifičnost • CCR = Preciznost = Odziv = Mikro F1 • Makro F1 je tipično stroža mjera • Slabo zastupljene klase → klasifikacija lošija