Perusmalli ja evolutiivisesti stabiilit strategiat

1. Perusmalli ja evolutiivisesti stabiilit strategiat 17.9.2008

2. Esityksen yleisrakenne • Strategian käsite • Evolutiivisesti stabiilit strategiat (ESS) • Haukka-kyyhky –peli perusmallina • Taustaoletukset • Pelin analysointi ja tasapainot • Tulkinta • Evolutiivisesti stabiili tila ja lisääntymisen dynamiikka

3. Johdantoa... • Evoluutiopeliteorian malleissa huomio kohdistuu dynaamisiin prosesseihin, jotka kuvaavat kuinka pelaajat mukauttavat strategioitaan pelin toistuessa • Samankaltaista dynamiikkaa voidaan usein soveltaa biologisten, sosiaalisten tai oppimisprosessien kuvaamiseen • Tasapaino nähdään muutosprosessin tuloksena

4. Strategioista • Strategia on toimintasuunnitelma, joka kuvaa kuinka pelaaja toimii missä tahansa tilanteessa • Evoluutiopeliteoreettisessa viitekehyksessä strategiajoukko tulkitaan usein eliön mahdollisten fenotyyppien eli ilmiasujen joukkona • Esim. kasvin muoto, lisääntymisikä tai vanhemman tuottamien jälkeläisten sukupuoli ja määrä • Strategiat eli fenotyypit voivat liittyä fyysisiin ominaisuuksiin tai käytökseen

5. Strategioista • Usein strategiat perinnöllisiä (vrt. silmien väri, Mendelin papukokeet) • Eliöillä ei välttämättä ole kykyä vaikuttaa strategiavalintaansa –edes tietoisuutta pelistä ei vaadita (vrt. klassisen peliteorian lähtökohtana oleva oletus täydellisestä rationaalisuudesta)

6. Pelin analysointi • Kaksi lähestymistapaa • käytetään evolutiivisesti stabiilia strategiaa (ESS) ratkaisukäsitteena • rakennetaan malli kuvaamaan populaation kehityksen dynamiikkaa (replicator dynamics) ja tutkitaan mallin ominaisuuksia • Liittyvät läheisesti toisiinsa

7. Evolutiivisesti stabiili strategia • ESS on staattinen käsite, joka kehittyi populaatiodynaamikan tarkastelun pohjalta • Evolutiivisesti stabiili strategia on sellainen, että kun kaikki pelaajat pelaavat ko. strategiaa, mikään vaihtoehtoinen strategia ei voi tunkeutua populaatioon • Täsmällinen määritelmä osittain mallikohtainen

8. Evolutiivisesti stabiili strategia • ESS on Nashin tasapainoa rajoittavampi tasapainokäsite (ns. equilibrium refinement) • ESS on aina Nashin tasapaino, päinvastainen ei välttämättä totta (tähän palataan myöhemmin) • Evolutiivisessa mielessä stabiili Nash – kun populaatio tasapainossa, ’luonnonvalinta’ riittää varmistamaan etteivät mutantti-strategiat saa jalansijaa

9. Evolutiivisesti stabiili strategia • Luonnonvalintaa mallinnetaan tulkitsemalla pelin palkkioiden kuvaavan yksilöiden elinkyvyn tai elinkelpoisuuden (fitness) odotusarvoista muutosta • Standardimalliksi evolutiivisen stabiiliuden käsitettä havainnollistettaessa on muodostunut Maynard Smithin (1982) esittämä haukka-kyyhky –peli (Hawk-Dove game)

10. Perusmallin oletukset • Populaatio on ääretön • Lisääntyminen on sukupuoletonta • Pelit käydään kahden osapuolen välillä (pairwise contests) • Peli on symmetrinen (pelaajat eivät pysty erottamaan vastapuolen tyyppiä ennen pelin alkua) • Strategiajoukko on äärellinen

11. Haukka-kyyhky –peli • Kaksi yksilöä kilpailee resurssista, jonka arvo on V • Tässä V kuvaa resurssin voittavan yksilön elinkyvyn lisäystä luonnonvalinnan mielessä • Yksilöt voivat käyttäytyä kolmella tavalla: rehennellä (display), hyökätä (escalate) tai perääntyä (retreat) • Vahingoittuminen vähentää elinkykyä määrällä C

12. Haukka-kyyhky • Yksilöillä kaksi strategiaa ( Si= {D, H} ) • Kyyhky (D) alistuva, haukka (H) aggressiivinen • Haukka vs. haukka: kummallakin yhtä suuri tn. voittaa tai loukkaantua taistelussa • Haukka vs. kyyhky: kyyhky perääntyy • Kyyhky vs. kyyhky: kilpailtu resurssi jaetaan tasan pelaajien kesken

13. Haukka-kyyhky

14. Haukka-kyyhky • Olkoonp = Haukkojen osuus populaatiostaW(H), W(D) = strategiaa H, D pelaavan yksilön elinkyky (fitness)E(H,D) = palkkio yksilölle, joka pelaa strategiaa H strategiaa D vastaan • Tällöin yhden pelin jälkeen elinkyvyn (hyödyn) odotusarvo on eli • Mikäli peliä toistetaan, palkkiot oletetaan additiivisiksi

15. Evolutiivinen tasapaino – yleinen tapaus • Olkoon I evolutiivisesti stabiili strategia ja J mikä tahansa vaihtoehtoinen strategia. Tarkastellaan populaatiota, joka koostuu I:stä ja pienestä osuudesta p mutanttia J. Tällöin pätee:Koska I on vakaa, täytyy olla W(I) > W(J). Täten (koska p << 1) ehdoiksi evolutiivisesti stabiilille strategialle I Jsaadaan • Ehtoja (2.4) kutsutaan ns. standardiehdoiksi; nämä karakterisoivat stabiileja strategioita aiemmin mainittujen oletusten pätiessä (2.4a)(2.4b) tai

16. Evolutiivinen tasapaino – yleinen tapaus • Strategia I on siis ESS, jos toinen seuraavista ehdoista pätee: • (2.4a): I pärjää I:tä vastaan paremmin kuin mikään mutantti-strategia pärjää I:tä vastaan, tai • (2.4b): jokin mutantti pärjää I:tä vastaan yhtä hyvin kuin I, mutta I pärjää paremmin mutanttia vastaan kuin mutantti itse • Ehto (2.4a) tarkoittaa, että strategia on aito Nashin tasapaino • ESS on aina Nashin tasapaino, mutta (heikko) Nashin tasapaino ei välttämättä ole ESS: ehdon (2.4b) jälkimmäinen osa ei välttämättä päde • Ehto (2.4b) valitsee ne Nashin tasapainot, jotka ovat ’turvassa tunkeutumiselta’

17. Haukka-kyyhky: tasapainot • Strategia D ei ole ESS, koska E(D, D) < E(H, D) • H-mutantti pystyy menestyksellisesti tunkeutumaan D-populaatioon • Strategia H on ESS, mikäli eli V > C • Tällöin kannattaa aina taistella resurssista loukkaantumisen uhallakin • Jos V < C, puhtaiden strategioiden joukosta ei löydy ESS:ää • Voidaan kuitenkin osoittaa, että on olemassa evolutiivisesti stabiili sekastrategia I = pH + (1–p)D (’pelaa H:ta todennäköisyydellä p ja D:tä todennäköisyydellä 1–p’)

18. Haukka-kyyhky: tasapainot • Bishop & Cannings -teoreema (Appendix C) sanoo, että mikäli I on sekastrategia-ESS joka koostuu (positiivisilla tn.:llä) puhtaista strategioista A,B,C,... , niinJos siis I on ESS, odotetun hyödyn kaikille I:n muodostaville strategioille täytyy olla saman suuruinen. • Mikäli on olemassa p [0,1] jolla sekastrategia on ESS, se saadaan siis ratkaisemalla yhtälöE(H, I) = E(D, I)

19. Haukka-kyyhky: tasapainot • Koska E(H, I) = E(D, I) = E(I, I), tulee I:ltä vaatia ehto (2.4b) eli E(I, D) > E(D, D) ja E(I, H) > E(H, H) • Nyt ehdot toteutuvat, koska

20. Tasapainot - yhteenveto • Kun palkkio on suurempi kuin kustannus,V > C, haukka on evolutiivisesti stabiili strategia • Kannattaa aina taistella, koska odotusarvoinen elinkyvyn lisäys on positiivinen • Kun V < C, sekastrategia jossa pelataan haukkaa todennäköisyydellä p = V/C on ESS • Viittaa siihen, että kilpailuissa joissa vahingoittumisen aiheuttama kustannus on suuri palkkioon verrattuna osanottajien voi odottaa käyttävän sekastrategioita

21. H D H D Tasapainot - yhteenveto • Olkoon yleinen 22-palkkiomatriisi A: • Kahden pelaajan normaalimuotoiselle pelille on aina olemassa ESS (Appendix B; vrt. Nashin teoreema (1950)) • Jos a > c, H on ESS • Jos d > b, D on ESS • Jos a > c & d > b, sekä H että D ovat ESS:iä • Mikäli a < c ja d < b, on pelille olemassa sekastrategia-ESS: pelaa strategiaa H todennäköisyydellä

22. P2 C N 2, 2 0, 0 C P1 0, 0 0, 0 N Esimerkki • Tarkastellaan kahden pelaajan koordinaatiopeliä:Jos pelaajat tekevät yhteistyötä, kumpikin saa palkkion 2,muutoin mahdollisuus menetetään ja hyödyt ovat nolla. • Pelillä on kaksi Nashin tasapainoa: (C, C) ja (N, N). • Näistä vain (C, C) on evolutiivisesti stabiili, silläE(N, N) = E(C, N), mutta E(N, C) < E(C, C);ehto (2.4b) ei täyty. • Koska C on (heikko) paras vaste N:ään jaaidosti paras vaste itseensä, strategiaa Cpelaava mutantti pystyy tunkeutumaanpopulaatioon, joka ei hyödynnä yhteistyötä

23. ESS ja evolutiivisesti stabiili tila • Evolutiivisesti stabiili tila on populaatiota kuvaavaan dynaamiseen systeemin ominaisuus: tila on stabiili, jos populaatio palaa alkutilaansa poikkeaman jälkeen • Populaation yksilöt voivat käyttää evolutiivisesti stabiilia sekastrategiaa, tai populaatio voi koostua puhtaita strategioita käyttävien yksilöiden sekoituksesta ollen evolutiivisesti stabiilissa tilassa • Nämä voivat olla formaalisti ekvivalentteja: sekastrategia voidaan tulkita joko siten, että • jokainen yksilö valitsee puhtaiden strategioiden väliltä tietyllä todennäköisyydellä, tai • populaatio koostuu koostuu sekastrategian mukaisissa suhteissa yksilöistä, jotka pelaavat vain tiettyä puhdasta strategiaa

24. ESS ja evolutiivisesti stabiili tila • Esimerkiksi haukka-kyyhky –pelissä edellä nähtiin, että josV < C, pelillä ei ole evolutiivisesti stabiileja puhtaita strategioita • Populaatio voi kuitenkin koostua puhtaista haukoista ja puhtaista kyyhkyistä suhteessa, joka tekee siitä stabiilin • Kahden strategian tapauksessa pätee, että jos sekastrategia on stabiili, niin silloin myös tyyppien sekoitus (geneettinen polymorfismi) on stabiili • Jos strategioita on useampia kuin kaksi, tämä ei yleisesti päde: tiettyä sekastrategia-ESS:ää vastaava polymorfismi ei välttämättä ole vakaa, eikä stabiilia tilaa vastaavaa stabiilia sekastrategiaa välttämättä ole olemassa

25. Lisääntymisdynamiikka • Käsitellyssä mallissa oletuksena on, että yksilöt lisääntyvät sukupuolettomasti, jälkeläisten määrän ollessa verrannollinen elinkelpoisuuteen • Haukkojen osuus p’ seuraavassa sukupolvessa on , missä on populaation keskimääräinen elinkyky • Populaation dynamiikkaa diskreetissä ajassa kuvaa differenssiyhtälö ; tietyin edellytyksin tämä voidaan korvata differentiaaliyhtälöllä

26. Lisääntymisdynamiikka • Lisääntymisdynamiikkaa kuvaavasta yhtälöstänähdään, että strategioilla, joiden menestys onkeskimääräistä huonompi , on negatiivinen kasvuvauhti: strategiaa noudattavien yksilöiden osuus vähenee • Toisaalta sellaisten strategioiden, jotka eivät ole parhaita vasteita vallitsevaan tilanteeseen, osuus voi kasvaa: riittää, että strategiat pärjäävät paremmin kuin populaation keskiarvo • Evolutionaarisesti stabiili strategia on asymptoottisesti stabiili tarkastellun replikaattoridynamiikan vallitessa => mallin dynamiikka konvergoi ESS:ään kaikista riittävän lähellä sijaitsevista populaatiokonfiguraatioista

27. Empiirisiä tuloksia • Malli käsitellyssä muodossa on liian pelkistetty, jotta siitä voitaisiin vetää kovin pitkälle meneviä johtopäätöksiä • Esim. Hansenin (1986)1 kenttäkokeet kuitenkin tukevat monia evoluutiopeliteorian ennusteita • Hansen tarkastelee valkopäämerikotkien ruuanhankintakäyttäytymistä peliteoreettisessa viitekehyksessä (ns. foraging game): linnuilla kaksi puhdasta strategiaa, metsästys ja varastaminen, sekä sekastrategia näiden yhdistelmänä • Kotkille kehittynyt käytös, jonka seurauksena kilpailut yleensä ratkeavat ilman tappelua; ravinto jaetaan ilman suuria vahinkoja yksilöille • Ruuanhankintastrategiat toimivat populaation sisäisinä sääntelymekanismeina; populaatiokoko sopeutuu ravinnon tarjontaan, kun jotkin kotkat vievät ylisuuren osuuden ja pakottavat toiset muuttamaan tai nääntymään nälkään 1 Hansen, A.J., 1986: ”Fighting Behavior in Bald Eagles: A Test of Game Theory”, Ecology, 67(3): pp. 787–797

28. Yhteenveto • Evoluutiopeliteoria käyttää dynaamisia systeemejä malleina populaation kehittymiselle • Strategiat, jotka tuottavat suuremman palkkion (elinkelpoisuuden lisäyksen) kasvattavat suhteellista osuuttaan populaatiossa tuottamalla enemmän jälkeläisiä • Yksilöiden ei vaadita tekevän tietoisia päätöksiä strategian valinnasta, vaan strategiat ovat usein luonnon ennalta määräämiä (esim. geeniperimän kautta)

29. Yhteenveto • Kiinnostuksen kohteina olevilla malleilla on usein olemassa evolutiivisesti stabiili strategia • Jos suurin osa populaatiosta käyttää stabiilia strategiaa, poikkeavaa strategiaa käyttävät mutantit eivät saa populaatiossa jalansijaa • Ratkaisuna tilat, joihin malli ennustaa populaation kehittyvän • Evolutiivisen stabiilisuuden vaatimus sulkee usein pois ’epäuskottavia’ Nashin tasapainoja=> mm. tämä oli yksi alkusyistä, jotka saivat talous-teoreetikot kiinnostumaan evolutiivisesta lähestymis-tavasta

30. Kotitehtävä • Tarkastellaan seuraavaa peliä:Kaksi gepardia (Acinonyx Jubatus) jahtaa kahta antilooppia (Bovidae Antilopinae). Gepardeilla on kaksi strategiaa:jahdata isoa (L) tai pientä (S) antilooppia; näistä saatavatpalkkiot ovat l ja s, l > s. • Jos gepardit valitsevat saman saaliin,ne joutuvat jakamaan sen. Tehtävä:Etsi pelin Nashin tasapainot.Mitkä näistä ovat evolutiivisesti stabiileja?

31. Sanastoa • Polymorphism – Monimuotoisuus; kahden tai useamman erilaisen fenotyypin eli ilmiasun olemassaolo samassa populaatiossa • Locus – Geenin paikka kromosomissa • Haploid – Haploidiluku kertoo kromosomien määrän yksilön sukusoluissa • Diploid – Diploideilla organismeilla on kaksi kopiota jokaisesta kromosomista, yleensä yksi äidiltä ja yksi isältä