610 likes | 797 Views
Inleiding Adaptieve Systemen. Gaia & Co-evolutie. Inhoud. Co-evolutie zonder natuurlijke selectie Gaia hypothese (Lovelock, 1969-e.v.) Daisy world (Lovelock, 1983) Co-evolutie met natuurlijke selectie Informele bespreking
E N D
Inleiding Adaptieve Systemen Gaia & Co-evolutie Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Inhoud • Co-evolutie zonder natuurlijke selectie • Gaia hypothese (Lovelock, 1969-e.v.) • Daisy world (Lovelock, 1983) • Co-evolutie met natuurlijke selectie • Informele bespreking • Voorbeeld uit de co-evolutionaire robotica (Floreano, Nolfi, 1997) • Artikel “Coevolutionary Dynamics in a Minimal Substrate” (Watson, Pollack, 2001) Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
James Lovelock (1919) was vanaf 1965 betrokken bij onderzoek van de NASA naar buitenaards leven. VRAAG: Is er leven op Mars? Lovelock: kijk naar de samenstelling van de atmosfeer: geen leven chemisch evenwicht geen chemisch evenwicht leven Op basis van deze observaties bedacht Lovelock de Gaia hypothese: Leven creëert zijn eigen ideale omstandigheden door de aardse omgeving te beïnvloeden. De aarde leeft ook, en oefent terug invloed uit. Leven: respiratie (ademhaling), metabolisme (stofwisseling), zelf-regulering, feedback, prikkelbaarheid, voorplantingsvermogen. De Gaia (Γαια) hypothese Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Daisy world • In samenhang met de Gaia hypothese presenteerde Lovelock in 1983 het Daisyworld model (Daisy = madeliefje). • Doel: de relatie tussen organismen en hun omgeving verkennen. • Daisyworld is een computermodel van een denkbeeldige planeet waar witte en zwarte daisies leven. • Daisyworld is een model zonder natuurlijke selectie. • Daisies kunnen groeien, reproduceren, hun omgeving veranderen en sterven. • Er is een globale variabele: de temperatuur van de planeet. Deze neemt langzaam toe door een zon. • Witte en zwarte daisies hebben elke een favoriete temperatuur waarin ze het snelst groeien. • De favoriete temperatuur van witte daisies is hoger dan de favoriete temperatuur van zwarte daisies. Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Albedo (weerkaatsingsvermogen) • De aarde bezit een gemiddeld albedo (zon-weerkaatsing) van 37% tot 39% • Per type oppervlak: • Verse sneeuw of ijs : 80-95% • Oude smeltende sneeuw : 40-70% • Wolken : 40-90% • Woestijnzand : 30-50% • Grondaarde : 5-30% • Toendra : 15-35% • Grasland : 25-30% • Bos : 10-20% • Water : 10-60% Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Daisy world: albedo • Witte daisies bezitten een hoog albedo (i.e., reflecteren de zon goed) en koelen daardoor de planeet af. • Zwarte daisies bezitten een laag albedo, absorberen de hitte van de zon, en warmen daardoor de planeet op. • Dus: • Daisies beïnvloeden hun omgeving, • De omgeving beïnvloedt weer de groei van daisies. • Er is een zelf-regulerende feedback loop. • Er is evenwicht: veel witte daisies koelen de planeet af, wat weer gunstig is voor de groei van zwarte daisies. Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Daisy world in een CA • We kunnen een CA gebruiken om Daisyworld te modelleren. • Elke cel heeft een temperatuur. Elke tik wordt de waarde daarvan met 10 opgehoogd. • Als witte daisies de gemiddelde temperatuur niet afkoelen, zal de temperatuur overal 100 graden worden en al het leven dood gaan. • Elke cel kan een (witte of zwarte) daisy of een (wit of zwart) daisy-zaadje bevatten. • Zwarte daisies hebben de meeste kans om te overleven bij 400. Witte daisies bij 600. • Etc. (zie dictaat M. Wiering). Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Daisy world: geen begroeiing Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Daisy world: begroeiing Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Daisy world (Netlogo screenshot) Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Zelf-regulatie vs. natuurlijke selectie • Het meest interessante aspect in Daisyworld is (natuurlijk) de zelf-regulatie. • De zelf-regulatie is gunstig voor alle individuen, omdat het de temperatuur op een nivo houdt welke leven mogelijk maakt. • In (de pure) Daisyworld is de zelf-regulatie niet betrokken in een vorm van competitie of reproductie. I.h.b. worden daisies niet gemuteerd of gekruist. • Vraag: hoe zou je mutatie of kruising kunnen definiëren? Op welke attributen? Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Daisy world (vervolg) • I.t.t. wat het dictaat en de handouts wellicht suggeren, behoort mutatie oorspronkelijk niet tot Daisyworld. Cf. Peter Saunders, “Evolution without natural selection: further implications of the daisyworld parable” in: Journal of Theor. Biol., Vol. 166 (1994), pp. 365-373. • Het is later wel voorgesteld, o.a. door Sabine Stöcker: “Regarding mutations in daisyworld models” in: Journal of Theor. Biol., Vol. 175 (1995), pp. 495-501. Zij concludeert: “The present approach to considering evolution in Daisyworld models shows a better regulating capability than models without mutations.” Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Status Gaia theorie • Lovelock in 1980-e.v.: kijk naar pytho-plankton (zee-algen) die di-methylsulfide (DMS) uitscheiden. • Globaal genomen is er zwakke Gaia en sterke Gaia: • Zwak: wisselwerking is metafoor om processen te begrijpen • Sterk: “het” is er echt: de biosfeer wordt doelbewust in stand gehouden door een superorganisme, de aarde. • Acceptatie: • Zwak: geen probleem. • Sterk: pseudo-wetenschappelijk, niet empirisch te bewijzen en in strijd met de goed onderbouwde evolutietheorie. (Kirchner W. James, “The gaia hypotheses: are they testable? Are they usefull?,” Scientists on Gaia, The MIT Press, London England, 1991.) Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Inleiding Adaptieve Systemen Co-evolutie met natuurlijke selectie Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Co-evolutionair algoritme: definitie • Co-evolutionair algoritme Een evolutionair algoritme waar evaluatie van individuen gebaseerd is op interactie met andere individuen. • Een notie van absolute fitness ontbreekt. Als er al een notie van absolute fitness bestaat, dan krijgen we hem niet te zien (“black box”). Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Relatieve fitness Informatie over fitness kun je in sommige gevallen alleen maar krijgen door (onderlinge) competititie Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Co-evoluerende populaties Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
fitness = 9 fitness = 9.5 fitness = 8 fitness = 8 fitness = 8 fitness = 4 fitness = 3 fitness = 4 fitness = 1 fitness = 2 Co-evolutie als kruising tussen populatiedynamiek en genetische algoritmen Populatie-dynamiek: soorten beconcurreren elkaar t.b.v. voedsel GA: individuen scoren hoge fitness t.b.v. voortplanting Co-evolutie: soorten beconcurreren elkaar t.b.v. voorplanting Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Absolute vs. relatieve fitness Absolute fitness • Wordt gebruikt in conventioneel evolutionair programmeren. • Kwantitatief (typisch een reëel getal). • Optimalisatie-oppervlak waarlangs individuen bewegen ligt vast. • Ezelsbruggetjes: speerwerpen, hardlopen, gewichtheffen. Relatieve fitness • Wordt gebruikt in co-evolutionair programmeren. • Kwalitatief • Optimalisatie-oppervlak is variabel. • Ezelsbruggetjes: judo, schermen, tennis (voetbal, basketbal). Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Absolute fitness Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Typisch absolute fitness best gemiddeld slechtst Individuen interacteren niet. Hun prestaties worden door een externe evaluator beoordeeld fit-ness generaties Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Elke interactie levert informatie op Hoe meer interacties, hoe meer informatie Relatieve fitness A: 3 successen uit 5 interacties Genormeerde fitness: 3/5 1 0 0 1 0 1 1 1 0 0 Typisch relatieve fitness A Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Intra- vs. inter-populatie Twee populaties Inter-populationele interactie • Individuen concurreren met individuen uit andere populatie • Vossen en konijnen: • Konijn 15 Km/h Vos 16 Km/h • Vos 16 Km/h Konijn beter wendbaar • Konijn beter wendbaar Vos “slimmer” Eén populatie Intra-populationele interactie • Individuen concurreren met elkaar • Om te leren waar ze staan in de hiërarchie • Om zichzelf te verbeteren [maar dit speelt niet in CEA: daar komen slechte exemplaren niet meer terug] • Schaakclub, voetbal-divisie, tennis-tournooi Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Competitief Antagonistisch Soms: parasitair Co-evolutionaire wedloop Voorbeelden: konijnen vs. mixomatose; sorteer-algoritmen vs. sorteer-problemen Coöperatief Protagonistisch Soms: symbiotisch Co-evolutionaire aanpassing Voorbeelden: rups van blauwe vlinder wordt beschermd tegen parasieten door mier. Rups scheidt stof af wat mier lekker vindt. Mier vertoont gedrag om parasieten af te weren. Competitieve vs.coöperatieve co-evolutie Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Voorbeeld: co-evolutievan twee robot-populaties • Floreano, D. and Nolfi, S. “God save the red queen! Competition in co-evolutionary robotics” in: Genetic Programming 1997: Proc. of the 2nd Ann. Conf. (1997), pp. 398-406. • Twee populaties, genaamd jager en prooi zijn in competitie met elkaar. Wordt nog verklaard Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Co-evolutionaire robotica • Jager: visueel systeem met een kijkhoek van 360 • Prooi: eenvoudige sensoren voor het ontdekken van een object tot aan 2cm, maar kan max. 2x zo snel rijden. • De gegevens werden eerst middels simulatie verkregen: kopieën werden voor 2 min. losgelaten in een 47x47 arena (of minder als de jager de prooi ving). Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Implantatie (≠ implementatie) Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Genotype: bitvector. Elke byte (8 bits) correspondeert met een gewicht in een standaard neuraal netwerk Ongeveer 30 gewichten in een neuraal netwerk voor de jager Ongeveer 20 gewichten voor prooi Populatiegrootte: 100 voor jager, 100 voor prooi Reproductie: mutatie op bits met kans 0.02; geen crossover Evolutielengte: 100 generaties Selectie: 1-1 testen tegen de top-10 van eerdere generaties Relatieve fitness: Als jager binnen 2 min. prooi vangt: jager 1, en prooi 0. Anders: Jager 0 en prooi 1 Parameters van experiment Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Ca. 20 Gen: volgen van prooi • Ca. 20 Gen: jagers ontwikkelden de vaardigheid om prooi • te tracken • te volgen • Echter, omdat max. snelh. prooi = 2 x max. snelh. jager, werkt deze strategie niet altijd Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Ca. 45 Gen: traject-anticipatie • Ca. 45 Gen: jager bekeek prooi en viel uiteindelijk aan, gebaseerd op geanticipeerd traject • Als gevolg gaat prooi zo snel langs muren bewegen dat jager geregeld prooi mist en in de muur botst Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Ca 75 Gen: “spin” strategie • Ca. 70 Gen: “spin” strategie • In plaats van op de prooi te jagen, rijdt de jager naar de muur om daar de prooi op te wachten. De prooi rijdt zo hard langs de muren dat deze niet op tijd de jager kan detecteren om deze te vermijden Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Voordelen van co-evolutie Bereikbaar doel Co-evolutie zorgt ervoor dat individuen in een populatie zich aan elkaar kunnen optrekken “Haasje over”. Relevant doel Co-evolutie zorgt ervoor dat verbetering zich richt op onder-ontwikkelde eigenschappen “Anderen werken aan jouw slechtste eigenschap”. Ongelimiteerd doel Met co-evolutie is er altijd de mogelijkheid nog beter te worden dan de beste “The Sky is the Limit”. Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Johan Cruijff Elk voordeel heb z’n nadeel Leg uit! Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Nadelen van voordelen Verlies van leerdoel De andere populatie wordt te goed. De verliezende populatie krijgt eenzijdige feedback (steeds maar verliezen). Er is dus geen informatie meer om te selecteren uit eigen populatie. Richten op de verkeerde punten Word je er zoveel beter van door steeds maar te profiteren van andermans’ (soms onverbeterbare) zwakheden? Relativisme Beter presteren dan de ander zegt niets over absolute kwaliteit. • In het land der blinden … • Het kan zelfs zijn dat A < B < C maar C < A (steen, papier, schaar) Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Watson and Pollack Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Fruitvlieg aanpak • Watson, Richard A. and Pollack, Jordan B. Coevolutionary Dynamics in a Minimal Substrate. Proc. of the Genetic and Evolutionary Computation Conf. (GECCO), 2001, pp. 702-709 Java Simulaties door Dmitri David Krasik • Doel: stel een model op voor computationele co-evolutie z.d.d. • Zo eenvoudig mogelijk (“stripped to the bare essentials”) • Vertoont nog wel de meest belangrijke verschijnselen van computationele co-evolutie http://www.demo.cs.brandeis.edu/pr/number_games/ Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Notatie Watson & Pollack: Absolute en relatieve fitness • Individuen zijn bitstrings ter lengte 100 • Absolute fitness van individu a : • Het aantal enen • Ter wille van het experiment is absolute fitness onzichtbaar voor het co-evolutionaire proces. • Relatieve fitness van individu a : • Vergelijk met groepje S van andere individuen. Tel het aantal keren dat je wint Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Genormeerderelatieve fitness: voorbeelden • f(50, { 24, 45 }) = 2 fnl(50, { 24, 45 }) = 2/2 = 1.00 • f(50, { 2, 24, 45, 91 }) = 3 fnl(50, { 2, 24, 45, 91 }) = 3/4 = 0.75 • f(50, { 2, 17, 24, 45, 53, 91 }) = 4 fnl(50, { 2, 17, 24, 45, 53, 91 }) = 4/6 = 0.67 • f(50, { 2, 17, 24, 45, 51, 53, 91 }) = 4 fnl(50, { 2, 17, 24, 45, 51, 53, 91 }) = 4/7 = 0.57 • f(50, { 2, 17, 24, 45, 51, 53, 89, 91 }) = 4 fnl(50, { 2, 17, 24, 45, 51, 53, 89, 91 }) = 4/8 = 0.50 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Discrepantieabsolute en relatieve fitness • Veel problemen in co-evolutie worden veroorzaakt door de discrepantie tussen absolute fitness en relatieve fitness. • Om te ontdekken hoe sterk je bent moet je tegen veel tegenstanders vechten. Maar wat als die tegenstanders door toeval niet representatief zijn? • Dit voorbeeld gezet in de nu gebruikte notatie: a = 4 en b = 5. Als a tot nu toe alleen maar { 1, 2, 3 } heeft ontmoet, en b tot nu toe alleen maar { 6, 7, 8 }, dan • fabs(a) = 4 en fabs(b) = 5, terwijl • fnl(a) = 3/3 en fnl(b) = 0/3 Wat als a en b beiden vergeleken worden met { 6, 7, 8 } ? Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Winst (Watson: score) kan in twee (of meer) dimensies op ten minste twee manieren gedefinieerd worden: Max-d (Watson: score2): de coördinaat waar A en B het meest verschillen Min-d (Watson: score3): de coördinaat waar A en B het minst verschillen C 4 2 Winst (score)in meerdere dimensies 3 B 5 A Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Volgens Max-d, of score2: A < B C < B C < A Kortom: C < A < B Volgens Min-d, of score3: A < B C < B A < C Kortom: A < C < B C 4 2 Winst (score)in meerdere dimensies 3 B 5 A Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Volgens Max-d, of score2: A < E A < D D < E Kortom: A < D < E Volgens Min-d, of score3: A < E D < A E < D Kortom: E < D < A Winst (score)in meerdere dimensies 3 D E 4 5 2 A Maar ook A < E !? Blijkbaar is Min-d niet transitief Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Intransiviteit in co-evolutie • Absolute fitness is altijd transitief. Want: • Absolute fitness is reëel getal • Ordening op de reële rechte is transitief • Relatieve fitness is niet altijd transitief. • Rafael Nadal won van Roger Federer; Federer won van Novak Djokovic; Djokovic won van Nadal een cykel • Steen, papier, schaar (Eng.: rock, paper, scissors) Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Parameters van het experiment • Twee populaties, genaamd rood en blauw • Verschillende competenties, bv. jagers en prooien • Rood concurreert niet met elkaar; blauw ook niet. • Populatiegrootte: 25 individuen (totaal 50 individuen) • Relatieve fitness: toetsen aan 15 individuen uit de andere populatie • In sommige experimenten: toetsen aan één tegenstander • Selectie: fitness-proportioneel (denk aan roulettewiel met ongelijke sectoren) • Genetische operatoren: • Reproductie met 0.5% kans op mutatie • Geen recombinatie Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Mutatie biasbij unitaire representatie Genotype 1: decimale (= normale) representatie van getal • Een mutatie definiëren als een normaal verdeelde toevalsvariabele μ=0, σ=0.5 die in 0.5% van de gevallen bij het genotype wordt opgeteld • Bij een goed individu, zeg met absolute fitness 99, is de kans op verslechtering bij muteren even groot als de kans op verbetering bij muteren (namelijk 0.25%) Genotype 2: getal representeren als unitairebitstring • Een mutatie definiëren als 0.5% kans op een flip van een random bit • Bij een goed individu is de kans op verslechtering bij muteren aanmerkelijk groter dan de kans op verbetering. • In latere stadia van de evolutie hebben mutaties bijna altijd een nadelig effect (R.A. Fischer, The genetical theory of natural selection,1930) Unitair ≠ unair Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
000…. 011111 111…. 000111 110….101111 001….111011 } } . . . 101….001000 25 25 15 15 Visualisatie 010….111011 110….001011 001….111000 111….001011 . . . 110….00000 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Experiment 0: negeer fitness • Experiment met nul-condities: relatieve fitness wordt genegeerd in selectie. • Initialisatie: • Groep rood start met 25x een nul. • Groep blauw start met 25x een perfect individu. • Er is geen concurrentie tussen de groepen. Nu kunnen we zien wat de gevolgen van pure mutatie zijn. • De besten zullen door random mutatie alleen maar afzakken (Eng.: drift ) naar de middelmaat. • De slechtsten kunnen alleen maar verbeteren, want slechter dan slecht kan niet. Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Experiment 0: negeer fitness Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Experiment 1: gevarieerde tegenstand (1a) of niet (1b) • Beide groepen beginnen als nullen. • Dan zien we dat beide populaties gestaag klimmen naar een maximum absolute fitness. • De grote samplesize zorgt ervoor dat de relatieve fitness een redelijke benadering is van de absolute fitness. • Relatieve fitness is dus een betrouwbaar onderscheidingscriterium. • Er kan nu goed verhoudingsgewijs op relatieve fitness worden geselecteerd. • Beide populaties blijven elkaar door competitie van informatie voorzien over de sterkte van elkaars individuen. • Door voortdurende concurrentie blijft de absolute fitness hoog. Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk
Experiment 1a, met |S| = 15 Inleiding Adaptieve Systemen, Opleiding CKI, Utrecht. Auteur: Gerard Vreeswijk