FREE SURF FREE SUrveillance in a pRivacy-respectFul way

1. FREE SURFFREE SUrveillance in a pRivacy-respectFul way Kickoff meeting Firenze, 21-22 Marzo 2007

2. FREE SURF FREE Surveillance in a pRivacy-respectFul way

3. FREE SURF: Partecipanti • Free surf –PRIN (PROGRAMMI DI RICERCA SCIENTIFICA DI RILEVANTE INTERESSE NAZIONALE) • Partecipanti • UNIMORE: Dip. INGEGNERIA DELL'INFORMAZIONEUniversità di Modena e Reggio Emilia (Coordinatore) • UNIFI: Dip. SISTEMI E INFORMATICA Università di Firenze • UNIPA: Dip. INGEGNERIA INFORMATICA Università di Palermo Partner esterni: • ITC-IRST (Trento) • aziende/enti: • Alcatel Italia, • SIRTI SpA, • Regione Emilia-Romagna, • Parco Archeologico “Valle dei Templi” Agrigento

4. VALUTAZIONE MIUR • Criteri di Valutazione 1) Rilevanza e originalità della ricerca proposta e capacità di realizzazione di un significativo avanzamento delle conoscenze rispetto allo stato dell'arte: (fino a punti 35/60) 33 • Il progetto è rilevante ed i proponenti dimostrano ottima conoscenza dello stato dell’arte nel campo. La sinergia con enti esterni ed aziende industriali è apprezzabile. 2)Qualità scientifica del coordinatore nazionale e delle unità operative coinvolte: (fino a punti 15/60) 14 • Ottima qualità scientifica. 3)Grado di realizzabilità del progetto, anche in relazione alla integrazione e complementarità delle unità operative coinvolte: (fino a punti 10/60) 9 • Grado di realizzabilità e complementarietà delle unità operative molto buoni. La rilevanza e originalità della proposta sono ottime e si collocano pienamente in un contesto internazionale. Il gruppo di ricerca possiede ottime competenze per il raggiungimento degli obbiettivi. Si raccomanda il finanziamento con alta priorità.Voto finale 56 Voto massimo 60 

5. FREE SURF: Budget finanziato Progetto finanziato con tagli circa dell’80% Quota Cofinanziamento MIUR: 180.000 Euro    (214.400) Quota Cofinanziamento ATENEO: 58.667 Euro Quota forfetaria: 20.754 Euro Totale finanziamento 259.421 Euro    (308.000) Elenco unita' di ricerca UNIMORE: 101.549 UNIPA: 68.572 UNIFI: 89.300

6. FREE SURF: Rideterminazione Regole per la rideterminazione Visto il finanziamento assegnato inferiore alla richiesta, è necessario ridistribuire proporzionalmente le risorse economiche del piano nell’ambito delle voci già indicate all’atto della domanda stessa, Dato che il finanziamento assegnato è inferiore alla richiesta, le singole voci di spesa non potranno essere aumentate La rideterminazione delle voci di spesa dovrà tenere conto delle esigenze della ricerca stessa, con l’obiettivo del pieno raggiungimento dei risultati prefissati. Termine ultimo per la rideterminazione: 30 marzo

7. FREE SURF: Rideterminazione Rideterminazione Univ. Modena

8. Free-surf Scenario

9. Innovazione (dal Modello A) • Il progetto FREE SURF ha lo scopo di proporre nuove tecnologie per le future generazioni di sistemi di video sorveglianza orientati al controllo automatico e in tempo reale della presenza e delle azioni dell’uomo nell’ambiente, senza il diretto controllo dell’operatore umano. I • l progetto FREE SURF è nato con un duplice obiettivo: di ricerca scientifica innovativa nel campo della Visione Artificiale e della Pattern Recognition e di ricerca applicata, propria dell’Ingegneria Informatica, per la realizzazione di nuove generazioni di sistemi di video sorveglianza efficaci, ma nello stesso tempo accettabili socialmente per i problemi di privacy. Il primo obiettivo è un’attività di ricerca scientifica per il controllo in tempo reale delle persone in sistemi “structural constraint FREE” cioè liberi da vincoli strutturali e ambientali. Il controllo visivo automatico della presenza e delle azioni umane in un ambiente è infatti uno dei problemi più studiati nell’ultimo decennio. • Esiste attualmente una vastissima letteratura che presenta algoritmi ed implementazioni robuste per il riconoscimento di singole persone in video acquisiti in ambienti strutturalmente vincolati: ambienti chiusi con illuminazione controllata, aperti con larghi campi di vista (per considerare le persone come piccoli corpi rigidi in movimento), con poche persone e solo parzialmente occluse e controllate da telecamere fisse (per segmentare gli oggetti come differenza dallo sfondo) e installate con una precisa calibrazione manuale (per un’esatta ricostruzione 3D). Lo scopo principale del progetto è di studiare metodologie e tecniche innovative per andare oltre: si vuole lavorare in ambienti liberi da vincoli strutturali, in ambienti con più persone che vivono e interagiscono tra loro, come nei parchi o in zone turistiche.Le attività previste si rivolgono a forme di cattura ed elaborazione di dati visuali da sistemi distribuiti di telecamere, da sistemi ibridi con telecamere attive capaci di orientarsi automaticamente sul target, da telecamere mobili e coordinate a reti di sensori. • Saranno studiati nuovi algoritmi ed implementati prototipi per la segmentazione ed il tracking nel tempo di persone riprese da più telecamere autocalibrate, impiegando informazioni geometriche e di apparenza (colore e texture). • Saranno sviluppate metodologie per il controllo di telecamere attive e di mosaicatura dell’ambiente da telecamere in movimento. • Saranno sperimentate tecniche di comunicazione tra agenti mobili per il coordinamento di telecamere e reti di sensori in ambienti molto estesi come ad esempio i siti archeologici. • Queste tecniche saranno implementate in moduli separati dalle diverse UR, ma coordinate in un’unica architettura per fornire un’interfaccia comune per i moduli di ragionamento

10. Innovazione (dal Modello A) • Tutti i moduli precedenti hanno il comune scopo di estrarre dati visuali sulle persone nella scena. • In particolare, ci si rivolgerà al calcolo delle traiettorie con invarianti indipendenti dal punto di vista, all’analisi della postura delle persone e a dati di “soft biometry”. • A differenza di progetti che riguardano l’analisi biometrica, il progetto FREE SURF si orienta ad un’analisi visuale automatica della presenza e del comportamento delle persone indipendentemente dalla loro identità, identità che certo non è sempre definibile in video rumorosi, a bassa risoluzione e con vasti campi visivi come quelli dei sistemi distribuiti di video sorveglianza. • A ulteriore supporto, però, sistemi ibridi con telecamere PTZ (Pan, Tilt, Zoom) e in movimento possono fornire, se necessario, informazioni più dettagliate che potranno essere impiegate in “posterity jogging” dagli addetti al controllo. I • dati visuali saranno forniti a moduli per attività complementari: per monitorare situazioni pericolose in tempo reale e per annotare situazioni di interesse per future interrogazioni off-line. Il primo tipo è di interesse strategico per coadiuvare l’operatore umano nella prevenzione e nell’alta reattività a fatti che riguardano la sicurezza, il secondo vuole offrire un valido supporto alle indagini successive ad eventi criminosi. Queste soluzioni potranno rendere efficaci in modo preventivo i tanti sistemi di sorveglianza ora installati.

11. Innovazione (dal Modello A) • Gli obiettivi indicati nel progetto sono certo ambiziosi ma attuabili nella durata del progetto. Malgrado la richiesta contenuta di finanziamento al MIUR, le UR hanno messo a disposizione molti mesi uomo di persone che già lavorano nel settore e possono avvalersi di risorse già esistenti nei laboratori dell’Università, sia dal punto di vista hardware che software. • Il consorzio dei proponenti è composto da 3 UR molto attive a livello nazionale, soprattutto nell’ambito del GIRPR (www.girpr.it): tutte e tre le UR hanno organizzato sia la Conferenza Internazionale del GIRPR (ICIAP), sia la scuola per dottorandi (VISMAC) che si sono tenute/si terranno a Firenze, Palermo e Modena, negli anni 1999, 2001 e 2007 (ICIAP) e 1992, 2006 e 2000 (VISMAC). • Sono molto attive a livello internazionale, con frequenti scambi di dottorandi e ricercatori con centri di ricerca americani e non (come l'University of Technology, Sydney, Australia), e hanno diversi progetti in corso nel settore. • Un aspetto estremamente peculiare del progetto è che esso ha già contribuito alla nascita di una rete di espressioni di interesse e di collaborazione. In particolare l’ICT-iRST di Trento, uno dei centri non universitari di punta nella video sorveglianza, partecipa esternamente, mentre aziende di rilevanza nazionale come SIRTI ed ALCATEL hanno indicato la loro espressione di interesse (si vedano allegati 1 e 2). Enti pubblici come la Regione Emilia Romagna (allegato 3) e il Parco Valle dei Templi di Agrigento (allegato 4) hanno dichiarato l’interesse al progetto come utilizzatori finali.

12. Innovazione (dal Modello A) • Il secondo obiettivo del progetto è di definire nuove soluzioni per rispondere adeguatamente alle esigenze sociali di salvaguardia della sicurezza pubblica e personale con soluzioni che nascono da criteri rispettosi della privacy. • L’Italia, come il mondo intero, si sta ricoprendo di telecamere, installate ovunque. • Ciò non costituirebbe un problema sociale se queste fossero solo sensori intelligenti, come ad es. i sensori antincendio, capaci esclusivamente di elaborare video e di generare allarmi. Il disagio sociale nasce dal fatto che dietro ad ogni telecamera c’è potenzialmente un operatore umano che controlla, ledendo la privacy dell’individuo. Mentre è accettabile l’uso di telecamere da parte delle forze dell’ordine per la sicurezza in luoghi pubblici, meno tollerabile è la diffusione di sistemi a circuito chiuso da parte di privati, centri commerciali, o addirittura la diffusione attraverso webcam della vita in luoghi pubblici di interesse turistico. Le vigenti leggi della privacy sono giustamente molto restrittive, ma attualmente non c’è mezzo tecnologico per garantire che tali leggi vengano rispettate: molti dei sistemi ora installati, che non forniscono alcuna elaborazione del video, o non soddisfano le leggi vigenti o sono di fatto inutilizzabili ed usati solo come deterrente alla criminalità dato che dichiarano di avere una risoluzione così bassa e un campo di vista così ampio da impedire l’individuazione dell’identità. • Lo scopo del progetto è invece quello di fornire strumenti automatici per l’estrazione delle informazioni visuali sulle persone che possano da una parte essere impiegate in sistemi autorizzati per il monitoraggio automatico ma che dall’altro possano essere impiegati per garantire l’eliminazione di dati biometrici e quindi la compatibilità con le leggi sulla privacy. In particolare, algoritmi robusti di tracciamento delle persone e di riconoscimento della testa o del volto potranno servire per oscurare i dati biometrici in tempo reale.

13. Struttura progetto

14. Criteri di verificabilità • L'ampio spettro degli obiettivi di questo progetto presuppone diverse attività e quindi diversi criteri per verificare i risultati proposti. Essi si possono riassumere come segue--- Pubblicazioni scientificheE' obiettivo delle UR svolgere attività di ricerca di rilevanza scientifica internazionale. L'obiettivo e' di ottenere pubblicazioni scientifiche di alto rilievo pubblicate inizialmente in conferenze del settore pattern recognition, computer vision e multimedia( ad esempio ICPR, CVPR, ICCV, ECCV, AVSS, VS, ICIAP, BMVC, ICME, ACM Multimedia..) ed in seguito in riviste internazionali con alto IF, secondo gli standard della comunità di Computer Engineering e Computer Science.--- Disseminazione Scientifica con Workshop e ConferenzeI traguardi raggiunti tramite ricerche svolte non vogliono essere protetti, quanto invece divulgati. Workshop e Conferenze permettono non solo la disseminazione, ma anche il ricevere importanti feedback sulla validità delle ricerche effettuate. Per questo non solo si rpevede di presentare i lavori raggiunti, ma anche di organizzare workshop e conferenze tematiche e panel di discussione epr avviare la discussione a livello italiano ed euriopeo sui sistemi di videosorveglianza della prossima generazione --- Presenza di un sito web.Si vuole dotare il progetto di un sito web che permetta la disseminazione immediata del lavoro svolto. Questo inoltre sara' anche essere utilizzato dalle UR per la raccolta di dati e scambio di informazioni, anche aperto alla comunità nazionale e internazionale--- Sviluppo prototipiLo studio svolto non sarà solo teorico, ma è supposto trovare applicatività pratica, tramite prototipi che confermano le ricerche affrontate.--- Contatti con aziendeIl mondo dell'impresa è sempre attento all'innovazione scientifica che possa mostrare risvolti praticamente utilizzabili, cosa che il presente progetto di ricerca certamente offre. Si ritiene che la ricerca svolta possa dare luogo a contatti con aziende e ad una profiqua sinergia università-impresa privata.In corso d'opera altri criteri potrebbero essere ritenuti idonei e quindi aggiunti a quelli qui riportati.

15. Pubblicazione scientifica, disseminazione e sito web • Sito web da fare in collaborazione ( e con strumenti collaborativi) • Logo da cercare • Pubblicazioni: • Ricordarsi sempre Acknowledgement: FREE SURF 2006-2008 (Italian MIUR- PRIN Project 2006099482)  • Comunicare sul sito ogni pubblicazione inerente: link al proprio sito Disseminazione: - logo di Free surf in ogni presentazione inerente - organizzazione di workshop, seminari e competition sull’argomento - Modena-Firenze-Palermo

16. Obiettivi (dal Modello A) • Questo progetto si propone di realizzare soluzioni innovative per individuare la presenza umana in modo automatico elaborando video acquisiti in tempo reale. • Tecniche originali e robuste verranno applicate in installazioni libere da vincoli strutturali, ed in particolare in sistemi con più telecamere distribuite (fisse, PTZ e mobili) e coordinate con reti di sensori. • I dati visuali sulle persone serviranno per riconoscere alcune situazioni modellabili con tecniche statistiche e di apprendimento automatico al fine di generare allarmi in situazioni pericolose. • Tecniche di “information retrieval” basate sul contenuto visuale saranno impiegate per riconoscere occorrenze delle stesse persone o di situazioni simili in video acquisiti in tempi diversi e da telecamere differenti, fornendo così strumenti efficaci per il supporto ad indagini o all’analisi a posteriori. • Tecniche di individuazione del volto saranno impiegate per estrarre ed eliminare dati biometrici dai video in tempo reale. • In questo modo, tali sistemi potranno anche essere utilizzati per trasmettere su web informazioni sull’ambiente che ci circonda senza trasmettere dati sensibili per la privacy. Potranno perciò essere installati in luoghi pubblici in modo socialmente ben tollerabile, senza cadere nella sindrome da “grande fratello”.

17. WP0: Project Management • Coordinamento tra U.R. • Coordinamento con aziende/enti esterne: • SIRTI, Regione ER (UNIMORE), Alcatel Italia (UNIFI), Parco Archeologico (UNIPA), ITC-IRST • Coinvolgimenti altre “parti interessate” • Organizzazione meeting (anche in teleconferenza) • Realizzazione e manutenzione sito web (Coinvolte: tutte UR; principalmente UNIMORE)

18. WP1: System Architecture Definizione architettura del sistema Definizione formati dati visuali estratti dai vari moduli Definizione eventi di interesse e case study Definizione strumenti per interoperabilità (ambiente di sviluppo, linguaggio, tecniche scambio dati – XML/MPEG-7) (Coinvolte: tutte UR; principalmente UNIMORE)

19. WP2: Surveillance Data Extraction • Workpackage principale • Suddiviso in 4 tasks: Task A) Distributed Multicamera Surveillance Task B) Hybrid Multicamera Surveillance Task C) Moving Camera Surveillance Task D) Sensors & Cameras Surveillance • Attività separate ma il più possibile sinergiche • WP1 definirà modi (e tempi) per l’integrazione

20. Task T2_A: Distributed Multicamera Surveillance Tracking di persone in scene outdoor da telecamera sovrapposte Estensione per telecamera non sovrapposte Algoritmi di calibrazione automatica Limitata necessità di parametrizzazione Collaborazione con ITC-IRST, UCF (Orlando), UCSD (San Diego) e UTS (Sydney) (Coinvolta: UNIMORE)

21. Task T2_B: Hybrid Multicamera Surveillance Sviluppo sistemi ibridi (camerefisse e attive) Sviluppo tecniche di reinforcement learning per scheduling ottimale telecamera attiva Acquisizione immagini ad altra risoluzione per annotazione automatica di video Collaborazione con Alcatel (Coinvolta: UNIFI)

22. Task T2_C: Moving Camera Surveillance Uso di telecamere con moto non vincolato Estrazione ed analisi di oggetti in movimento con moto anche parzialmente concorde con la telecamera Sistema di patrolling visivo e creazione mosaico scena Sistema di trasmissione video con bande wireless molto limitate (Coinvolta: UNIMORE)

23. Task T2_D: Sensors & Cameras Surveillance Studio di reti di sensori distribuiti per applicazioni di sorveglianza Utilizzo sia di “motes” che di “microservers” Analisi del compromesso tra robustezza ed efficienza nella trasmissione dei dati nella rete Tecniche di ritrasmissione efficiente (Coinvolta: UNIPA)

24. WP3: Support for privacy-respectful systems Analisi della normativa vigente sulla privacy per i sistemi di sorveglianza Studio di metriche “univoche” per la misura della potenziale dannosità di un dato estratto da sistema automatico di video sorveglianza Tecniche di estrazione ed oscuramento automatico del volto e di altri dati biometrici Passaggio da dati visuali a feature vectors Collaborazioni con Questure e enti pubblici (Coinvolte: UNIMORE, UNIFI)

25. WP4: Real-time Automatic Monitoring Studio di tecniche per il riconoscimento di eventi e comportamenti di interesse Utilizzo di soft-biometries per l’interpretazione dei comportamenti (consistent behaviours) Uso di un “ragionatore logico” per le reti di sensori distribuiti (Coinvolte: UNIPA, UNIMORE)

26. WP5: Posterity Logging & Retrieval Studio di rappresentazioni invarianti di traiettorie per retrieval Tecniche di dynamic texture analysis Miglioramento del “ragionatore logico” per ricerche complesse off-line (Coinvolte: UNIFI, UNIPA)

27. WP6: Dissemination Coinvolgimento aziende/enti esterni Creazione benchmark di video con ground-truth per confronto tecniche Organizzazione eventi con “parti interessate” Organizzazione di conferenze e workshop tematici (ICIAP 2007, CIVR 2007, …) Organizzazione special issues su riviste internazionali Sperimentazione prototipi separati e integrazione tra di essi (Coinvolte: tutte le UR)

28. Tempistica DA RIMODULARE!!!