La Visione Artificiale in Applicazioni di Sicurezza

1. La Visione Artificiale in Applicazioni di Sicurezza Giovanni Garibotto Elsag Spa Genova • Riconoscimento caratteri e lettura mobile di targhe • Detezione di ostacoli 3D in movimento (un progetto in fase di sviluppo) • Visione 3D per la ricostruzione di scene incidentate

2. Sistema di lettura Targhe Mobile a Bordo AutoO2CR “Auto-Detector” Un Ausiliario Elettronico per la pattuglia a bordo Due occhi dedicati alla sicurezza

3. Auto-Detector • Specifiche dei Requisiti: • Massima raccolta targhe durante una normale missione di auto-pattuglia • Lettura in aree urbane ed extraurbane (autostrade) senza limiti di velocita’ • Servizio continuativo 24 h su 24 (diurno-notturno) • Segnalazione immediata di allarme con liste aggiornate (> 500000 elementi) • Miniaturizzazione dell’apparato sensoriale (integrazione con dispositivi esistenti) • Bassi consumi e vincoli di alloggiamento • Non interferire con la normale operativita’ del personale • Sfide tecnologiche: • Lettura continua e integrazione temporale • Gestione di orientamenti arbitrari delle targhe e letture multiple • Compensazione della dinamica di illuminazione non controllabile

4. Configurazione di ripresa per il Lettore a bordo auto 6 m. c.a. 6 m. c.a. 3 m c.a. 3 m c.a. • Copertura simultanea di lettura delle due corsie adiacenti a quella di marcia • Per ogni transito rilevato da ciascuna delle telecamere vengono registrati: • Stringa corrispondente alla targa letta • Ora e data • Posizione (georeferenziata GPS fornita dal dispositivo Route Planner di navigazione) • Immagine del transito (compressa)

5. dmax dmax Condizioni di leggibilita’ targhe S Lmax Le aree in rosso descrivono le zone coperte dal sistema di ripresa durante la marcia, in cui le targhe risultano “leggibili” Inclinazione α

6. FPM Schema funzionale del sistema Auto-Detector CENTRALE Operativa Postazione Radiolocalizzazione Postazione Controllo Targhe Introduzione e cancellazione targhe in lista nera Ricezione allarmi Consultazione transiti ACCENTRA GEODI TRG Comunicazione con veicolo Radiolocalizzazione veicolo LAN Modem GSM Wireless-LAN Telecamera sx VEICOLO RS 232 Modem GSM RS 232 Telecamera dx

7. Scheda Tecnica del sistema Auto-Detector • Sensore miniaturizzato integrato con due microcamere digitali B/W progressive con ottica NF 12mm e mini illuminatori IR flash (88 LED on chip ad alta densita’) • Ampia possibilita’ di espansione verso sensori ad alta risoluzione e alta sensibilita’ • Unita’ di elaborazione nel vano bagagli delle vettura • Processore INTEL X-Scale a elevate prestazioni (880 MHz, 32 bits, 64 MB RAM) • Rete a 100 Mb/s • Bassi consumi < 15W, e alimentazione a 12 VDC • Elevata compattezza • Componente di una rete espandibile • Facilita’ di connessioni remote per manutenzione ed aggiornamento

8. O2CR-Diagramma di flusso Acquisizione video continua Controllo esposizione Elaborazione immagini e regione di interesse ROI Segmentazione ROI e riconoscimento caratteri Analisi contestuale e Understanding Aggiornamento e manutenzione Base-Dati targhe Confronto liste targhe (bianche-nere) Interfaccia Applicativa (MMI - utente)

9. O2CRProcesso di Lettura Targhe • Pre-Processing: Elaborazione della sequenza video per selezionare automaticamente i quadri immagine in movimento” • OCR Engine: Estrazione e misura caratteri targa nelle regioni ROI selezionate e validazione contestuale • Localizzazione Campo Targa • Segmentazione Caratteri • Misura e Riconoscimento Caratteri • Validazione Contestuale • Post-Processing: Integrazione temporale e fusione dei caratteri targa da letture successive

10. O2CR Engine :Riconoscimento e Misura 1 Si tratta in genere di OCR monofont, quindi con distribuzioni di probabilita` modellabili come “nuvole” centrate attorno ad un punto (archetipo) nello spazio delle features. Features utilizzate: mappa “grigi” locali di dimensione fissa e spaziatura adattata Distribuzione di probabilita`: stimata con media e covarianza delle 36 classi alfanumeriche Classificatore utilizzato: maximum likelyhood con distanza di Mahalanobis -1/2 ( X-Mi )T Q-1 ( X-Mi ) dove Mi vettore medio della classe i Qi matrice di covarianza della classe i Criterio di scarto distanza superiore ad un valore prefissato Esempio di carattere segmentato, mappa di features

11. O2CR Engine: Post-Processing • Confronto e integrazione delle targhe riconosciute nei quadri immagine che compongono la sequenza video per selezionare i dati piu’ stabili e corretti • Misura della distanza tra stringhe alfanumeriche di testo per decidere l’accettazione del candidato targa • Si ottiene un sensibile miglioramento del riconoscimento targa rispetto alle misure condotte su singoli quadri immagine • Confronti con liste bianche (veicoli autorizzati) e liste nere (generazione allarmi)

12. Prestazioni del sistema Auto-Detector

13. Prestazioni del sistema Auto-Detector • Lettura continua giorno e notte e transizioni brusche (gallerie) pioggia, ecc. • Ottimizzato per le targhe italiane con equivoco inferiore a 0.5% • Predisposto per la lettura targhe internazionali (training e contesto-libero) • Vetture parcheggiate al bordo strada lungo tratti urbani • Riprese a velocita’ 50 km/h • Percentuale media di letture corrette rispetto a quelle leggibili > 90% • Vetture in movimento lungo tratti autostradali o strade ad elevato scorrimento • Percentuale media di letture corrette rispetto a quelle leggibili > 95%

14. 3D MODS Moving Obstacle Detection System • Le specifiche e requisiti applicativi di riferimento • La soluzione proposta • Configurazione adottata e modalita’ di installazione • Descrizione del processo • Alcuni esempi • Sviluppi in corso

15. ODS- Stazioni Metropolitane 1 L’obiettivo principale dell’ODS e’ quello di generare un allarme quando un oggetto di dimensioni predefinite (un cubo di 30 cm. di lato e’ utilizzato come “test-body”) cade in una zona pericolo. (zona binari). E’ definita una barriera virtuale all’altezza del marciapiede, come zona di sicurezza. • L’oggetto non deve essere metallico ne’ avere proprieta’ di conducibilita’ • Non si devono avere falsi allarmi per: • Variazioni nelle condizioni atmosferiche e di illuminazione • Fogli di giornale, pacchetti di sigarette, ecc. • Transito di treni • Tempo di risposta nella detezione oggetto (allarme) < 300 msec. • Copertura di tutta la lunghezza del binario in stazione (c.a. 40 m.) • Garantita una illuminazione ambientale >10 lux

16. ODS- Stazioni Metropolitane 2 Barriere ottiche Barriere Laser • Frequenti falsi allarmi • No-documentazione dell’evento • Difficile installazione (ingombri in zona danger) • Difficile manutenzione (interruzione servizio) Soluzioni attualmente in fase di valutazione

17. 3D MODS- La Proposta Elsag 1 Assetto Binoculare convergente Base telemetrica fra le due telecamere • Vantaggi: • Elimina falsi allarmi generati da: • Ombre e riflessi di luce • Fogli o superfici piane B Una telecamera (master) rileva le variazioni di movimento La seconda telecamera verifica la consistenza 3D delle aree rilevate in movimento

18. 3D MODS- La Proposta Elsag 3 Modello binoculare Autocalibrazione sul piano da analizzare Modello predizione-verifica Ogni piano nello spazio 3D determina una tabella di corrispondenza (look-up) tra i punti immagine Master e Slave B • Vantaggi principali: • Insensibilita’ a variazioni di luce (coppie di telecamere sincronizzate) • Velocita’ di processing (look-up limitate alle aree in movimento)

19. 13.88 m 13.88 m 4.39 m 4.39 m 13.88 m 3D MODS- La Proposta Elsag 2 MODS: Moving Obstacle Detection System Configurazione sensoriale (6 sensori stereo) per coprire la lunghezza del binario in stazione • Sensore base: • Aggiornamento del background e controllo esposizione • Detezione movimento (change-detection) della Telecamera master: zone candidate (blob) • Estrazione contorni (in movimento) • Correlazione immagini (ai diversi pianio selezionati) • Estrazione features (globali e ai singoli piani): densita’ punti “attivi”, posizione (baricentri) assi di inerzia • Detezione (warning e allarmi) con euristiche (processo “generico”) da specializzare con opportuna fase di “training”

20. 3D MODS- La Proposta Elsag 4 Architettura di sistema LAN 1 LAN 2 Basic Sensor Basic Sensor I/F to External Systems SCADA, TLC, ecc. Basic Sensor Basic Sensor Alarm Mngm. Supervision SUP-1 Basic Sensor Alarm Mngm. Supervision SUP-2 Basic Sensor Basic Sensor Basic Sensor Rail track 1 Rail track 2

21. 3D MODS- Situazione attuale prototipo “base” Configurazione di ripresa Sensore binoculare • Procedure di Calibrazione e Installazione (messa in servizio): • Selezione nella scena di punti 3D (sparsi) su due piani ad altezza 0 e h, rispettivamente • Costruzione della matrice fondamentale F (relazione epipolare) • Costruzione delle trasformate (omografie) sui due piani selezionati • Interpolazione lineare dei piani con vincolo epipolare • O = (1-dz/h) O0 + (dz/h) Oh Left Right

22. 3D MODS- Assetto stereo di ripresa” Punti P con giacitura su un piano di riferimento P Parallela alla direzione P1 P1 P2 O1 Ep2 O2

23. 3D MODS- Interpolazione con omografia all’infinito Omografia al suolo O0 ottenuta dalla corrispondenza di N pti (>=4) su un piano di riferimento (piano dei binari) Omografia all’infinito O ottenuta dalla corrispondenza dei punti all’infinito, rispetto ad un sistema di riferimento 3D comune nella scena (landmark “naturale” dei binari) Relazione di interpolazione per ottenere l’omografia O al piano corrente, come: O = H/(H-h) O0 - h / (H-h) O Si utilizza un sistema di riferimento ortogonale nel mondo costituito da 3 direzioni ortogonali corrispondenti ai 3 pti di fuga (punti impropri) sul piano immagine

24. 3D MODS- Landmark 3D nella scena

25. 3D-MODS- Impianto Pilota METRO-Ge, Certosa-Brin • Il sistema (un sensore) e’ installato alla stazione di Genova-Certosa, dal 30-4-03 • Il sistema e’ in grado di rilevare la presenza di oggetti (di dimensioni superiori a 15 cm. nella zona di sicurezza all’altezza della banchina • Puo’ classificare i treni in transito Sensore binoculare Esempio di coppia stereo sincronizzata Cassetto di controllo

26. ORTO-FOTO: Ricostruzione e misure di scene incidenti Componenti Compasso landmark Compatto lunghezza 1 m. Materiale “Polidur” alta densita’ molecolare, resistente e leggero Trattamento anti UVA con ampia resistenza a escursioni termiche e usura Fotocamera digitale 4 Megapixel 2272x1704, a colori Salvataggio su mini-CD a sola scrittura Software di elaborazione ORTHO-PHOTO

27. Ricostruzione in pianta Ricostruzione grafica scene (schizzo post-incidente) Ricostruzione della scena per una mappatura piu’ realistica della scena Recupero misure e dati senza elementi di disturbo (scena sgombra)

28. Export dati in uscita • Per ogni immagine selezionata: • Scelta punto di origine (P0) sulla scena e direzione principale (P1) (ad es. lungo una corsia), per identificare una posizione assoluta di riferimento, ben identificabile nella scena; • Tutte le coordinate misurate vengono riportate in questo sistema di riferimento Struttura dati in uscita: Sequenza dei punti misurati (segmenti in colore blu nella figura) al suolo nel sistema di riferimento selezionato, che possono essere posizionati su un grafico esterno (ad. Es. CAD) ESTERNO AL PROGRAMMA ORTHO-PHOTO P1 P0

29. Nuove applicazioni e sviluppi in corso • Misura velocita’ dalla lettura continua delle targhe dei veicoli in transito • Lettura codici containers nel controllo accesso varchi portuali • Detezione e classificazione di sorpassi tra mezzi pesanti (con modelli 3D di veicoli e mezzi) • Misure stereometriche fra due foto-digitali non-calibrate (landmark) • Riconoscimento e classificazione transiti di motocicli (struttura targe) • Classificazione transiti a varchi (persone, veicoli, ecc.) • Simulazione transiti