Multiagent Systems

1. Computation Intelligence Seminar A Helmut GRABNER Multiagent Systems Einführung: Kommunikation Multiagent Systems: A Survey from a Machine Learning Perspective [Peter Stone, Manuela Veloso 2000]

2. Übersicht • Kurze Wiederholung • Homogeneous Communication MA • Beispiel: Reaktives Multiagentensystem • Heterogeneous Communication MA • Interaktionen • Multiagent Q-Learning

3. Wiederholung - Einteilung

4. Homogeneous Communicating Multiagent Systems

5. Homogeneous Communicating Multiagent SystemsAllgemein • Agenten können direkt (!) miteinander kommunizieren • gleicher Aufbau, nur Input variiert

6. Homogeneous Communicating Multiagent SystemsBeispiel: Pursuit domain • [Stephen, Merx 1990] • Kommunikation um sicherzustellen, dass jeder an eine andere „Capture-Pos.“ fährt. (vgl. Homogeneous no communication.)

7. Homogeneous Communicating Multiagent SystemsAufgaben/Fragen • Aufgaben • Verteiltes erfassen von Informationen • Trafficopter • Fragen • Was, wann, wie und mit wem soll kommuniziert werden? • Sensorinformationen/Ziele

8. Homogeneous Communicating Multiagent SystemsReaktives Multiagentensystem Beispiel Communication in Reactive Multiagent Robotic Systems [Balch, Arkin 1994]

9. Beispiel: Reaktives MultiagentensystemInhalt • Kommunikationsmethoden • no communication • State communication • Goal communication • Aufgaben • Futtersuche (Forage – Task) • Abgrasen (Graze – Task) • Umgebung • 2D, Roboter, Hindernisse, Arttraktoren • Zusammenfassung

10. Beispiel: Reaktives Multiagentensystem - KommunikationsmethodeNo communication • Agent (Roboter) als Automat • keine direkte Kommunikation, Jeder Agent ist auf seine Wahrnehmung der Welt beschränkt • Unterscheidungen: andere Agenten (Roboter), Arttraktoren, Hindernisse

11. Beispiel: Reaktives Multiagentensystem - KommunikationsmethodeState Communication • Kein direktes Senden, andere können den Zustand aber abfragen • Agenten erkennen den Status eines anderen • Agent hat „Arbeit“ gefunden • Agent fährt zu demjenigen

12. Beispiel: Reaktives Multiagentensystem - KommunikationsmethodeGoal Communication • Explizite Kommunikation • Position des Arttraktors • Sender – Übertragung – Empfänger • Biologie: Honigbiene – Tanz • Roboter fährt direkt zum Arttraktor • eventuell kürzerer Weg

13. Beispiel: Reaktives Multiagentensystem - AufgabeForage-Task • Roboter sucht die Umgebung nach „Futter“ (Arttraktoren) ab und bringt diese „nach Hause“ • Hindernisse in der Umgebung • Die Masse eines Arttraktors bestimmt, wie schnell er transportiert werden kann. Mehrere Roboter gemeinsam können dies beschleunigen.

14. Beispiel: Reaktives Multiagentensystem – Aufgabe Forage-Task Kommunikationsmethoden • No communication • Automat • State und Goal communication • Realisiert mit 1 Bit: „Suchen“ oder „hinbewegen“ / „nach Hause“

15. Beispiel: Reaktives Multiagentensystem – Aufgabe Forage-Task Vergleiche 5145 Schritte 4470 Schritte 3495 Schritte

16. Beispiel: Reaktives Multiagentensystem – Aufgabe Forage-Task Vergleichsmaß • Roboter (1..5) x Arttraktoren (1..7) Steps (Zeitschritte) • Vergleich (Division) der beiden Messungen • (Speedup Vergleich) • Mittelwert

17. Beispiel: Reaktives Multiagentensystem – Aufgabe Forage-Task Auswertung

18. Beispiel: Reaktives Multiagentensystem – AufgabeGraze-Task • „Abgrasen“ der gesamten Umgebung • Hindernisse in der Umgebung

19. Beispiel: Reaktives Multiagentensystem – Aufgabe Graze-Task Kommunikationsmethoden • No communication • Automat • State und Goal communication • Realisiert mit 1 Bit: „Suchen“ oder „hinbewegen“ / „weiden“

20. Beispiel: Reaktives Multiagentensystem – Aufgabe Graze-TaskAuswertung • Kommunikation bringt fasst nichts • Wenn der Roboter „grast“ hinterlässt er unvermeidlich eine „Spur“ -> Diese Änderung der Umgebung kann als indirekte Kommunikation verstanden werden!

21. Beispiel: Reaktives MultiagentensystemZusammenfassung • Kommunikation bringt viel, bei Anwendungen mit wenig impliziter Kommunikation (Forage) • Kommunikation ist nicht notwendig, bei Anwendungen wo (viel) implizite Information vorhanden ist. • Komplexere Kommunikationsstrategien bringen relativ kleinen Gewinn

22. Heterogeneous Communicating Multiagent Systems

23. Heterogeneous Communicating Multiagent SystemsAllgemein • Verschieden auf jegliche Art • sehr komplex und leistungsstark (allgemeinster Fall) • Wohlwollend vs. Wettbewerb

24. Heterogeneous Communicating Multiagent SystemsBeispiel: Pursuit domain • Extremfall:Ein „intelligenter“ Agent steuert mehrere ausführende (single agent)

25. Heterogeneous Communicating Multiagent SystemsAufgaben/Fragen • Untereinander verstehen • Wohlwollend vs. Wettbewerb • Trainer • Verhandlungen • Temperaturkontrolle • Verpflichtungen • Ressource Management

26. Interaktion

27. Interaktion Wozu? • Möglichkeit zur Abstimmung von Aktionen • Alternative: vollständige wechselseitige Modellierung • bei homogenen: Modell der internen Zustände • bei heterogenen: Komplizierter - Ziel, Aktionen, Wissen der anderen Agenten sind möglicherweise nicht bekannt und müssen durch Beobachtung modelliert werden.

28. InteraktionZiele • Maximieren des Gesamtergebnisses • Sicherstellung des Bestehens und der Leistungsfähigkeit des Gesamtsystems • Arbeitsteilung (Bestimmung gemeinsamer Ziele/Aufgaben) • Vermeidung von Redundanzen • Abhängigkeiten der Aktionen der einzelnen Agenten (Reihenfolge) • Behandlung von Interferenzen und Konflikten („widersprüchliche“ Ziele) • Vermeidung unnötiger Konflikte • Kombination unterschiedlichen Wissens • Erfüllungen von Nebenbedingungen (z.B. begrenzte Ressourcen)

29. Interaktion Wie? • Speech acts • Kommunizieren mittels Aktionen • Kommunikation „extra - Environment“ ?

30. Interaktion Begriffe Interaktion: Wechselbeziehung, bes. die Kommunikation zw. Individuen innerhalb einer Gruppe. Kommunikation: Prozess der Mitteilung; der wechselseitige Austausch von Gedanken, Meinungen, Wissen, Erfahrungen und Gefühlen sowie die Übertragung von Nachrichten und Informationen Koordination: Abstimmen verschiedener Vorgänge Kooperation: Zusammenarbeit Konkurrenz: Wettbewerb

31. Interaktion Agenteninteraktion • Kommunikation (communication) • Verständigung mehrerer Agenten untereinander • Koordination (coordination) • jene Kommunikation welche zur aufgabenbezogenen Tätigkeit notwendig ist • Kooperation (cooperation) • jene Kommunikation welche zur Koordination und Vereinbarung gemeinsamer Ziele notwenig ist • Verhandlung (negotiation) • jene Kommunikation für die Aushandlung der Kompromisse

32. Interaktion Kommunikationstypen • keine Kommunikation • indirekte Kommunikation • Austausch von Information über einen gemeinsamen Informationsraum (Umwelt) • einfache Kommunikation • individueller Austausch von einfachen Nachrichten bzw. Ereignissen • Kommunikation basierend auf Konversation • Austausch von strukturierten Nachrichten • Konversationstheorie: Äußerungen werden mit Handlung gleichgesetzt (Sprechen ist eine Art Aktion) und wie sie die Zukunft verändern (Ich verurteile Sie zu...)

33. Interaktion Agentenkommunikation • Voraussetzungen für erfolgreiche Kommunikation (heterogene Agenten) • Gemeinsame Ontologie • Gemeinsame Begriffsmenge (Vokabular) • Gemeinsame Semantik für diese Begriffe • Gemeinsame Kommunikationssprache in Syntax und Semantik • Technische Voraussetzungen (Übertragungskanäle,..)

34. Interaktion Knowledge Interchange Format (KIF) • Zwischensprache zur Übersetzung einer Wissensbasis von einer Repräsentation zu einer anderen. • Muss mächtig genug sein, um alle in der Sprache formierten Wissensinhalte zu transportieren • Deklarative Semantik • Bedeutung von Ausdrücken mittels Interpretation über Modelle (logisch verwertbar) • (Common Lisp ähnlich)

35. Interaktion Knowledge Query and Manipulation Language (KQML) • spezifiziert ein Nachrichtenformat zum Austausch von Informationen • Nachricht wird in eine Struktur gebracht, die von jedem Agenten verstanden wird. Die Nachricht selbst jedoch muss nicht unbedingt verstanden werden. • 3 Ebenen • Inhaltsebene • aktueller Nachrichteninhalt (z.B.: in KIF) • Nachrichtenebene • spezifiziert den Nachrichtentyp/Nachrichtenparameter (Fragen, Mitteilen, „tu was“, Benachrichtigen,...) • Kommunikationsebene • Sender/Empfänger

36. Interaktion Simple Knowledge Transfer Protocol (SKTP) • Inhaltsebene(content Layer)Inhalt der Nachricht. Das in „Wörtern“ ausgedrückte „Wissen“ • Nachrichteneben(message Layer)Nachrichtentyp, Thema der Nachricht • Kommunikationsebene(communication Layer)Daten aus der KQML Nachricht für die Datenübertragung (Adressen)

37. Interaktion Beispiel: KQML Nachrichtenebene Kommunikationsebene Inhaltseben (ask-one: sender helmut: receiver boerse_server : replay-with euro_kurs: content (WERT EURO_DOLLAR ?wert): language Prolog: ontology Boerse) (tell: sender boerse_server: receiver helmut: in-replay-to euro_kurs: content (WERT EURO_DOLLAR 1.0029): language Prolog: ontology Boerse) Nachrichtentypen: Anfragen: ask-one, ask-all,... Antworten: replay, sorry,... Informationsverm.: tell,... Funktionsangebot: advertiese,... Zustand: ready, standby,...

38. Interaktion Koordination von Agenten • Welcher Agent soll was machen –Verteilte Künstliche Intelligenz • Kooperation • Notwendig? Selbstsüchtig • Delegieren von Aufgaben (hierarchische Strukturen) • Konkurrenz • Marktmechanismus • Gegenseitige Kooperation (Abmachungen) • Manager - mehrere Anbieter • keine zentrale Kontrolle • jeder Partner evaluiert Information aus seinem Standpunkt

39. Interaktion Koordinationsvarianten • direkter Nachrichtenaustausch (point to point) • message parsing • Klassisch: Verbindungsarten (Client/Server), Protokolle, Synchronisation,... • Blackboard (broadcast) • Verwendung von gemeinsamen Datenstrukturen (shared memory) • Agent entscheidet wann und was er bekannt gibt und ob er wann und welche Informationen sucht und diese bewertet • Synchron und Asynchron • Meeting

40. Multiagent Q-Learning Beispiel für die Komplexität, ohne Theorie Multiagent Q-Learning [Hu, Wellmann 2002]

41. Multiagent Q-Learning Multiagent Q-Learning • Was soll in dem aktuellen Zustand gemacht werden? • Join Action Values • Ein Agent muss n Q-Tables (eine für ihn und je eine für die anderen Agenten - Modellierung) erstellen

42. Multiagent Q-Learning Singleagent vs. Multiagent

43. Multiagent Q-Learning Beispiel • Agent 1 und Agent 2 jeweils in die diagonale Ecke • Gewinner: der als erster angekommen ist (oder beide zugleich – Ziel) • kein Zusammenstoß

44. Beispiel: Multiagent Q-Learning States,... • States: 9 x 9 • Anfangszustand (0, 2) • Aktionen: 4 • Q Table: 81 x 4 = 324

45. Beispiel: Multiagent Q-Learning Ergebnis • Spieltheorie • Nash Gleichgewicht • Wie kann Kooperation aus Handlungen von Egoisten entstehen? • Bimatrix-game (Gefangenen Dilemma)

46. Multiagent Q-Learning Komplexität • m = Anzahl der Zustände • n = Anzahl der Agenten • A = möglichen Aktionen • Ein Agent muss n Q – Functions lernen!