Background Subtraction for Urban Traffic Monitoring using Webcams

Background Subtraction for Urban Traffic Monitoring using Webcams Master Thesis Verdediging Begeleider: Rein van den Boomgaard door: Mark Smids 19 maart 2007

Overzicht presentatie • Project omschrijving • Verkeersanalyse • Achtergrond / voorgrond detectie • Schaduw detectie en eliminatie • Het samenvatten van videobeelden • Demo’s • Evaluatie • Conclusies • Gelegenheid voor vragen

Project omschrijving • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • Doelen van het eindproject • Uitgebreid literatuuronderzoek op het gebied van: • visuele verkeersanalyse • achtergrond / voorgrond detectie • schaduwdetectie

Project omschrijving • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • Doelen van het eindproject • Implementatie van: • twee achtergrond / voorgrond detectors • een schaduwdetector • een toepassing: ‘slimme’ beveiligingscamera

Project omschrijving • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • Doelen van het eindproject • Vergelijken van de twee achtergrond / voorgrond detectors: • testen op een aantal videos • testen onder verschillende weersomstandigheden • testen van de schaduw detector

Verkeersanalyse • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • Traditionele manieren van het bestuderen van de verkeersstromen • gebruikmakend van ‘magnetic loops’

Verkeersanalyse • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • Traditionele manieren van het bestuderen van de verkeersstromen • gebruikmakend van ‘magnetic loops’ • Beperkingen: • Kostbaar en deze systemen tellen alleen

Verkeersanalyse • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • Traditionele manieren van het bestuderen van de verkeersstromen • gebruikmakend van ‘magnetic loops’ • Beperkingen: • Kostbaar en deze systemen tellen alleen • Uitgebreide analyse is gewenst zoals: • verkeersdichtheid, file detectie, snelheid en locatie van elk voertuig,

Verkeersanalyse • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • Waarom gericht op stedelijke gebieden? • Meeste literatuur is gericht op verkeerssituaties op snelwegen • Veel uitdagendere taken op kruispunten

Verkeersanalyse • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • Waarom gericht op stedelijke gebieden? • Meeste literatuur is gericht op verkeerssituaties op snelwegen • Veel uitdagendere taken op kruispunten • Componenten in een verkeersanalyse systeem: • cameras, calibratie, achtergrond / voorgrond detectie, tracking, schaduw detectie,samenvatten van videobeelden, …

Achtergrond / voorgrond detectie • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • Deze detectie is onder te verdelen in: • het maken van een initieel achtergrond model • het weergeven van de voorgrond gegeven het achtergrond model • het bijwerken van het achtergrond model

Achtergrond / voorgrond detectie • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • Deze detectie is onder te verdelen in: • het maken van een initieel achtergrond model • het weergeven van de voorgrond gegeven het achtergrond model • het bijwerken van het achtergrond model • Twee verschillende benaderingen: • deterministisch • statistisch

Achtergrond / voorgrond detectie • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • Deterministische methode • Maak een initieel achtergrond model met behulp van een aantal eerdere beelden

Achtergrond / voorgrond detectie • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • Deterministische methode • Maak een initieel achtergrond model met behulp van een aantal eerdere beelden • Voor elk nieuw beeld aangeleverd door de webcam: trek dit nieuwe beeld af van het achtergrond model

Achtergrond / voorgrond detectie • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • Deterministische methode • Maak een initieel achtergrond model met behulp van een aantal eerdere beelden • Voor elk nieuw beeld aangeleverd door de webcam: trek dit nieuwe beeld af van het achtergrond model • for all x,y: if I(x,y) – B(x,y) > T then M(x,y) = 1 • else M(x,y) = 0

Achtergrond / voorgrond detectie • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • Deterministische methode • Maak een initieel achtergrond model met behulp van een aantal eerdere beelden • Voor elk nieuw beeld aangeleverd door de webcam: trek dit nieuwe beeld af van het achtergrond model • voor alle x,y: als I(x,y) – B(x,y) > T dan M(x,y) = 1 • anders M(x,y) = 0 • Updaten van het achtergrond model: voor alle x,y: als M(x,y) = 0 dan B(x,y) = I(x,y)

Achtergrond / voorgrond detectie • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • Statistische methode • Elke pixel wordt gemodelleerd door middel van een bepaald statistisch model • Alle voorgaande pixel waarden wegen mee in de huidige classificatie

Achtergrond / voorgrond detectie • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • Statistische methode • Elke pixel wordt gemodelleerd door middel van een bepaald statistisch model • Alle voorgaande pixel waarden wegen mee in de huidige classificatie • Voordelen van deze methode: • stilstaande voorgrond objecten worden na verloop van tijd opgenomen in het achtergrond model • lerende factor: onthouden van meerdere ‘achtergrondwaarden’

Statistische methode • Modelleer elk pixel door middel van een ‘mixture of Gaussians’ • Waarom een mix? • Een achtgrond model wordt gevormd door het kiezen van die Gausische verdelingen die eigenschappen bevatten van achtergrond componenten • Updaten van het achtergrond model: door middel van updaten van parameters

Wat zijn de eigenschappen van een achtergrond component? Hoe herkennen we deze? • Observatie: deze componenten zullen relatief veel samples bevatten (“high supporting evidence”) en lage varianties hebben • Sorteer de K distributies in het mixture model op de volgende wijze • De hoogst geplaatste B verdelingen worden gekozen als achtergrond model:

Schaduw detectie • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen Waarom het negeren van schaduw in een scene verbeterde resultaten geeft bij verkeersanalyse…

Schaduw detectie • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • Beschouw alleen de pixels in een beeld die geclassificeerd zijn als voorgrond • Een pixel in een beeld is mogelijk een ‘schaduw pixel’ wanneer zijn waarde veel lager is dan de waarde van dit pixel in het bijbehorende achtergrond model.

1. Vergelijken van grootes van de vectoren: • c = (R,G,B) and • dan mate van overeenkomst in grootte: • 2. Vergelijken van de hoek tussen de vectoren • wanneer < 1 en D < dan is het pixel een schaduw pixel

Samenvatten van videobeelden • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • Toepassing: ‘slimme’ beveiligingscamera • Het basisidee: neem alleen de beelden op waarin voorgrond objecten zichtbaar zijn • Hoe garanderen we dat het volledige traject van een voertuig wordt opgenomen?

Demos • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • Schaduw detectie in actie – 1 | 2 • Achtergrond / voorgrond detectie in actie • det 1 | stat 1 - det 2 | stat 2 • ‘Slimme’ beveiligingscamera - 1

Evaluatie • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • Test videos: drie verschillende weersomstandigheden (elk 5 minuten) • Doel: test beide achtergrond / voorgrond detectors op deze videos • Beperking: geen ‘ground truth’ op pixel • niveau beschikbaar!

Evaluatie • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • Evaluatie op een andere manier: gebruikmakend van de samengevatte videobeelden • Een ‘ground truth’ op beeld-niveau: bevat een beeld (frame) één of meer voorgrond object(en)? • Met deze gegevens kan een score worden berekend

Evaluatie • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen

Conclusies • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • De statistische aanpak geeft betere resultaten, ongeacht de weersomstandigheden (5-10% beter)

Conclusies • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • De statistische aanpak geeft betere resultaten, ongeacht de weersomstandigheden (5-10% beter) • Wind blijft voor beide aanpakken het grootste probleem

Conclusies • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • De statistische aanpak geeft betere resultaten, ongeacht de weersomstandigheden (5-10% beter) • Wind blijft voor beide aanpakken het grootste probleem • De statistische aanpak geeft veel betere resultaten bij zonnige weersomstandigheden

Conclusies • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen • De statistische aanpak geeft betere resultaten, ongeacht de weersomstandigheden (5-10% beter) • Wind blijft voor beide aanpakken het grootste probleem • De statistische aanpak geeft veel betere resultaten bij zonnige weersomstandigheden • nauwkeurigere scores: een ‘ground-truth’ op pixel niveau, en vervolgens met deze informatie opnieuw evalueren

Vragen? • Project omschrijving • Verkeers – analyse • Achtergrond / voorgrond detectie • Schaduw detectie • Samenvatten videobeelden • Demo’s • Evaluatie • Conclusies • Vragen http://www.qdqp.nl/uva/afstuderen/master

Gaussian mixture details • Update vergelijkingen: • MoG: Z. Zivkovic, “Improved Adaptive Gaussian Mixture Model for Background Subtraction”

Background Subtraction for Urban Traffic Monitoring using Webcams