Hinderniserkennung nach dem Modell des Fliegenauges

1. Hinderniserkennung nach dem Modell des Fliegenauges Jan-Nikolas Sulzmann

2. Aufbau des Vortrags • Motivation • Bewegungserkennung und Navigation der Insekten und speziell der Fliege • Adaption dieser Konzepte in das Design des Roboters Mouche bzw. Demonstrator Hinderniserkennung nach dem Modell des Fliegenauges

3. Motivation • Bei mobilen Robotern besteht immer das Problem der Orientierung • Orientierung mit Komplexaugen schneller als mit einem Linsenauge • Ist deren spezifische Signalverarbeitung technisch nutzbar? Hinderniserkennung nach dem Modell des Fliegenauges

4. Roboter Demonstrator/Mouche • Vorbild: Komplexauge und Flugverhalten der Fliege • Kollisionsvermeidung in unbekannter Umgebung ohne • Weltmodell • Langzeitspeicher • High-Level Reasoning Hinderniserkennung nach dem Modell des Fliegenauges

5. Komplexauge • Zusammengesetzt aus Ommatidien (Einzelaugen) • Ermöglicht nur musivisches Sehen (Mosaiksehen) • Typen von Komplexaugen • Appositionsauge • Superpositionsauge • Neurales Superpositionsauge Hinderniserkennung nach dem Modell des Fliegenauges

6. Komplexauge (Fortsetzung) • Ommatidium besteht aus Cornea, Kristallkegel, Retinula und Rhabdom • Cornea (flache Linse) • Kristallkegel (Linse mit hoher Brechkraft) • Retinula besteht aus 8 Sehzellen, deren Rhabdomeren bilden ein Rhabdom • Rhabdom: 2 Typen • Offenes Rhabdom • Geschlossenes Rhabdom Hinderniserkennung nach dem Modell des Fliegenauges

7. Aufbau von Komplexaugen Hinderniserkennung nach dem Modell des Fliegenauges

8. Bewegungssehen • Registrieren von Bewegungen von Objekten • Bewegung eines Objektes bewirkt Verlagerung des Bildes auf Retina • Man erkennt, bei • der Verfolgung von bewegten Objekte mit den Augen: eine Bewegung der Objekte • der Bewegung der Augen und unbewegten Objekten • Aktive Augenbewegung: keine Bewegung • Passive Augenbewegung: eine Bewegung Hinderniserkennung nach dem Modell des Fliegenauges

9. Reafferenzprinzip • Erklärungsversuch für Bewegungssehen bei Linsenaugen, da neurologische Grundlage unbekannt ist • Bei Augenbewegung wird okulomotorische Efferenz gespeichert (Efferenzkopie) • Vergleich der Rückmeldung (Reafferenz) mit der tatsächlichen retinalen Bildverschiebung • Bei Deckung von Efferenz und Reafferenz wird keine Bewegung gemeldet • Bei Unterschieden wird eine Bewegung gemeldet Hinderniserkennung nach dem Modell des Fliegenauges

10. Schema des Reafferenzprinzips Hinderniserkennung nach dem Modell des Fliegenauges

11. Bewegungssehen bei Insekten • Gut erforscht an der optomotorischen Reaktion des Rüsselkäfers • 2 benachbarte Ommatidien arbeiten zusammen • Die Zusammenarbeit • ermöglicht Unterscheidung von Bewegung nach Richtung und Geschwindigkeit • ohne Erfassung von Gestalt des Objektes Hinderniserkennung nach dem Modell des Fliegenauges

12. Bewegungssehen des Rüsselkäfers Hinderniserkennung nach dem Modell des Fliegenauges

13. Abstandsbestimmung anhand des optischen Flusses • Optischer Fluß: Verschiebung eines Bildes durch eine Bewegung • Bestimmung der Winkelgeschwindigkeit durch Beobachtung des optischen Flusses • Ermöglicht die Berechnung des Abstandes • Leichter bestimmbar bei Komplexaugen Hinderniserkennung nach dem Modell des Fliegenauges

14. Kollisionsvermeidung der Fliege • Basiert auf der Abstandsbestimmung und ihrem speziellen Flugstil • Phasengesteuerter Flugstil: • Translationsphase: • Phase des Geradeausfliegens • Zur Bestimmung des Abstandes anhand des optischen Flusses • Sakkaden: • Phase mit hoher Winkelgeschwindigkeit • Zum Ausweichen von Hindernissen Hinderniserkennung nach dem Modell des Fliegenauges

15. Bewegungsbeispiel(1) Hinderniserkennung nach dem Modell des Fliegenauges

16. Bewegungsbeispiel(2) Hinderniserkennung nach dem Modell des Fliegenauges

17. Bewegungsbeispiel(3) Hinderniserkennung nach dem Modell des Fliegenauges

18. Bewegungsbeispiel(4) Hinderniserkennung nach dem Modell des Fliegenauges

19. Bewegungsbeispiel(5) Hinderniserkennung nach dem Modell des Fliegenauges

20. Bewegungsbeispiel(6) Hinderniserkennung nach dem Modell des Fliegenauges

21. Demonstrator • Sichtbasierte Navigation beruht auf grober Abschätzung des selbstherbeigeführten optischen Flusses • Adaptiert • Komplexauge der Fliege • Abstandsbestimmung der Insekten • Flugverhalten der Fliege • Parallele, analoge Signalverarbeitung Hinderniserkennung nach dem Modell des Fliegenauges

22. Aufbau des Demonstrators • Zieldetektor: optische Sensoren zur Erfassung des Zieles • Kompositauge: Schichten: • Optik • Photorezeptoren • Lokale Bewegungsdetektoren (Local Motion Detector : LMD) • Kollisionsvermeidung • Synchron angetriebene Kreisplattform Hinderniserkennung nach dem Modell des Fliegenauges

23. Visomotorisches System • Parallele Verarbeitung identischer Kanäle • Je 2 optische Sensoren (1 Kanal) speisen ein LMD • Jedes LMD gibt ausgewertete Bewegung an ein Elementary Behaviour Circuit (EBC) weiter • Jedes EBC und der Zieldetektor schlagen neue Orientierung und Geschwindigkeit vor • Tatsächliche Orientierung und Geschwindigkeit resultieren aus den Berechnungen der EBCs und des Zieldetektors Hinderniserkennung nach dem Modell des Fliegenauges

24. Abstandsbestimmung • Zur Abstandsbestimmung 2 Facetten (Polarwinkel j und j+Dj) • Abstand eines Punktes P D(j+Dj) läßt sich aus der momentanen Geschwindigkeit und der Zeit, die dieser Punkt benötigt, um beide Achsen zu passieren, berechnen Hinderniserkennung nach dem Modell des Fliegenauges

25. Sichtweite • Geschwindigkeitsabhängig: • Sinusabhängig: • Bei gleichem Abstand der optischen Achsen Þ keine kreisförmige Sicht • Lösung: Fester Faktor G • unterschiedliche Dj • kreisförmige Sicht Hinderniserkennung nach dem Modell des Fliegenauges

26. Toter Bereich • Problem: bei |j|<10° bzw. |j-180°|<10° wird sinj klein • Einzelauge kann keinen optischen Fluß mehr wahrnehmen • Lösung: 2 zusätzliche LMDs decken den vorderen, toten Bereich peilend ab Hinderniserkennung nach dem Modell des Fliegenauges

27. LMD-Paar im toten Bereich • Jedes LMD hat 15 optische Achsen • Optische Achsen/Zentren • sind beweglich • anpassbar an die aktuelle Sichtweite/Geschwindigkeit • Bewegungsdetektion erfolgt wie bei restlichen LMDs Hinderniserkennung nach dem Modell des Fliegenauges

28. Bewegungsdetektion • Je 2 Photorezeptoren (2 Kanäle) sind mit einem LMD verschaltet • LMD extrahiert passierende Kontraste und mißt die Zeit ihrer Passage • Kontrast auf Kanal 1 löst Flanke aus • Kontrast auf Kanal 2 setzt diese wieder zurück • Resultierendes Signal entspricht der Zeitverzögerung beider Kanäle • Signal wird bis zum Ende der Translation gespeichert, falls keine neuen Kontraste erkannt werden • Prioritätsschaltung bevorzugt nähere Kontraste Hinderniserkennung nach dem Modell des Fliegenauges

29. Elementares Verhalten • Jeder EBC ist zuständig für 1 optische Achse j bzw. LMD • EBC erhält gemessene Zeit von LMD • EBC berechnet hieraus • eine Ausweichgeschwindigkeit, so daß der neue Sichtradius das Hindernis tangiert • einen Ausweichwinkel b bedingt durch die Anziehung des Ziels und der Abstoßung des Hindernisses • j-b Rechtspassage und j+b Linkspassage Hinderniserkennung nach dem Modell des Fliegenauges

30. Elementares Verhalten (Fort.) • Berechnung der Ausweichgeschwindigkeit mit Hinderniserkennung nach dem Modell des Fliegenauges

31. Multisensorfusion • Gewählte neue Geschwindigkeit bzw. Orientierung berechnen sich aus den Vorschlägen der EBCs und des Zieldetektors ZD • Geschwindigkeitsvorschlag des Zieldetektors: Hinderniserkennung nach dem Modell des Fliegenauges

32. Multisensorfusion • Wahl der Geschwindigkeit: • Minimum der Geschwindigkeitsvorschläge der EBCs und des ZDs • beschränkt durch minimale/maximale Geschwindigkeit • Wahl der Orientierung: • Getrennte Berechnung für Links- und Rechtsrotationen • Berechnung des Schnittes aller Links- bzw. Rechtsrotationen • neue Orientierung entspricht dem Minimum der Beträge der beiden Schnitte Hinderniserkennung nach dem Modell des Fliegenauges

33. Wahl des nächsten Schrittes • Rotationen nur • bei minimaler Geschwindigkeit • nach einer Translation mit Minimalgeschwindigkeit • Ansonsten erfolgt eine Translation • Hieraus ergibt sich eine Einteilung in Phasen Hinderniserkennung nach dem Modell des Fliegenauges

34. Einteilung der Phasen • Beschleunigungsphase: • Roboter beschleunigt schrittweise bis zur Maximalgeschwindigkeit • Visuelle Annäherungsphase: • Bei Erkennung eines Hindernisses bremst der Roboter ab • Hindernis bleibt aber immer in Sichtweite • Ausweichphase: • Nach einer Translation mit minimaler Geschwindigkeit • Beliebige Orientierungsänderung möglich, solange Geschwindigkeit minimal bleibt Hinderniserkennung nach dem Modell des Fliegenauges

35. Wandverfolgung (1) Hinderniserkennung nach dem Modell des Fliegenauges

36. Wandverfolgung (2) Hinderniserkennung nach dem Modell des Fliegenauges

37. Verlassen von Sackgassen • Der fehlende Kartenaufbau und das Abstoßungs/Anziehungsprinzip legen ein Gefangenwerden in Sackgassen nahe • Das resultierende Bewegungsverhalten führt zur nahen Passage von Hindernissen bzw. Wandverfolgung • Der Prozeß der automatischen Wand-verfolgung verhindert das Gefangenwerden Hinderniserkennung nach dem Modell des Fliegenauges

38. Wälder von Hindernissen Hinderniserkennung nach dem Modell des Fliegenauges

39. Fazit • Linsenaugen sind nicht immer ideal • Wenig Pixel genügen für gute und schnelle Orientierung • Raumbewegungs-Detektion teilweise wichtiger als Raumbild-Detektion • Parallele und analoge Signalverarbeitung arbeitet effizient, sogar mit unpräzisen Komponenten • Zu vielen Problemen der Robotik gibt es bereits gute Lösungen in der Natur Hinderniserkennung nach dem Modell des Fliegenauges

40. Quellennachweis • Franceschini, N.; Pichon, J.-M.; Blanes, C.: "Real time visuomotor control: from flies to robots". Proc of the International Conference on Advanced Robotics, pp. 931-935, 1991 • Martin, N.; Franceschini, N.: "Obstacle avoidance and speed control in a mobile vehicle equipped with a compound eye". Proc of the Intelligent Vehicles '94 Symposium, pp. 381-386, 1994 • Nachtigall, W.: “Vom Fliegenauge zur Roboter-Orientierung – Bionik der Signalverarbeitung“. Bionik – Grundlagen und Beispiele für Ingenieure und Naturwissenschaftler, Springer-Verlag, pp. 189-193, 2002 • Srinivasan, M. V.; Poteser, M.; Kral, K.: "Motion detection in insect orientation and navigation". Vision Research 39, pp.2749-2766, 1999 • Penzling,H.: Ausgewählte Kapitel, Lehrbuch der Tierphysiologe, 6.Auflage Gustav Fischer Verlag, pp.453-484, 1996 Hinderniserkennung nach dem Modell des Fliegenauges