Apprentissage et volution : leffet Baldwin

1. Apprentissage et évolution : l'effet Baldwin Mirta B. Gordon Laboratoire Leibniz – IMAG Grenoble

2. mars 2004 mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution 2 théorie de l'évolution les caractéristiques d'un individu dans une population sont déterminées génétiquement les caractères appris ne sont pas transmis à la génération suivante évolution d'une population : sélection : les individus les plus aptes (dans l'interaction avec leur environnement) ont une meilleure "adéquation à l'environnement" (fitness), et par conséquent, une probabilité plus grande de laisser des descendants. mutation : source de variabilité à l'intérieur d'une population [cross-over] les caractéristiques moyennes de la population évoluent dans le temps vers des valeurs optimales

3. mars 2004 mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution 3 questions soulevées par Baldwin (1896) "A new factor in evolution", The American Naturalist 30 (1896) 441-451 la sélection naturelle est un processus "négatif" l'évolution est seul fruit du hasard les mutations qui ne confèrent pas de fitness disparaissent cependant les paléontologues observent que certaines modifications se produisent progressivement au cours des générations -> il y aurait un "sens" (une orientation) dans l'évolution il y a des discontinuités évolutives dans les gisements fossiles: comme si des étapes d'évolution intermédiaires manquaient Baldwin les deux observations s'expliquent par l'interaction entre l'apprentissage et l'évolution par une "sélection organique"

4. mars 2004 mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution 4 l'effet Baldwin (sélection organique) grâce à leurs capacités d'apprentissage, les individus survivent en s'adaptant à des conditions environnementales adverses si l'environnement ne varie pas trop brutalement : les mutations les plus adaptatives sont celles qui transforment en congénital ce qui devait être appris l'apprentissage "guide " l'évolution, car il introduit un biais dans les mutations perennisées la capacité d'apprentissage augmente la variance génétique de la population (beaucoup d'individus ont un genotype très différent de la moyenne) lors d'un changement brutal de l'environnement, un cataclisme, seuls ces individus très différents (qui existent grâce a la capacité d'apprentissage) peuvent survivre l'apprentissage "accélère " l'évolution, il permet des sauts évolutifs

5. mars 2004 mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution 5 plan modèle de Hinton et Nowlan (1987) “How learning guides evolution” critique, et modèle d’émergence de l’apprentissage discussion

6. mars 2004 mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution 6 modèle de Hinton et Nowlan (H&N) population de N individus haploïdes, chacun possédant un réseau de neurones avec L connexions potentielles chaque individu : génotype = vecteur de L gènes qui codent les connexions chaque gène possède 3 allèles : 1 connexion avec poids wi=+1 -1 connexion avec poids wi=-1 ? connexion flexible, adaptable par apprentissage exemple de génotype : (1,1,-1,?,-1,......) le réseau de neurones confère fitness seulement si les connexions ont une configuration particulière : toutes égales à +1 génotype optimal : (1,1,1, ...,1)

7. mars 2004 mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution 7 évolution: algorithme génétique générer une population initiale (n=0) de N individus: N génotypes de la forme (1,-1,1,?,...,-1) [gènes tirés au hasard] évolution pour chaque individu apprentissage : adapter les connexions flexibles (?) fitness : évaluer l'adéquation à l'environnement nouvelle génération : n n+1 sélection: choisir les N individus de la génération suivante avec des probabilités proportionnelles à leurs fitness cross-over: on apparie les genomes; le nouvel individu a ses premiers gènes hérités de son "père" et les derniers de sa "mère" (le point de coupure étant tiré au hasard) mutation: chaque gène est transformé en un des deux autres allèles avec probabilité Pmut

8. mars 2004 mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution 8 rappel : configuration "correcte" : apprentissage : on tire au hasard les poids des connexions flexibles "?“ +1 ou -1 G : nombre maximal d'essais permis g : nombre d'essais vraiment effectués (g £ G) on arrête dès que l'on trouve la configuration +1 pour tous les "?" ou si g atteint G le nombre d'essais g détermine la qualité F (fitness) de l'individu apprentissage dans le modèle H&N

9. mars 2004 mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution 9 définition : si en G tirages on ne trouve pas la configuration : si le génotype contient au moins un "-1" F=1 probabilité de sélection: fitness dans le modèle H&N

10. mars 2004 mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution 10 description des résultats au niveau de chaque individu : P = nombre d’allèles « 1 » du génome Q=nombre d’allèles « ? » R=nombre d’allèles « -1 » P+Q+R=L pour décrire la population fitness F population optimale : p=1, q=r=0 fitness > 1 seulement si r=0, p+q=1

11. mars 2004 mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution 11 résultats sans apprentissage : fitness "plate" dans ce modèle : pas de phénotype -> seul l'apprentissage confère fitness évolution "chercher une aiguille dans une botte de foin“ l'apprentissage permet que des génotypes proches de l'optimum aient une probabilité de sélection importante avec apprentissage : paysage de fitness ~ lame de rasoir

12. mars 2004 mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution 12 critique du modèle H&N l'apprentissage accélère-t-il l'évolution ? oui ... par rapport à une recherche aléatoire (non darwinienne) de l'optimum ["recherche d'une aiguille dans une botte de foin"] mais : ce modèle ne permet pas de comparer des populations avec et sans apprentissage car la fitness des individus incapables d'apprendre (avec Q=0) est minimale par construction (à l’exception de ceux avec P=L à la naissance). l'apprentissage guide-t-il l'évolution ? le modèle ne répond pas à cette question pas de voies d'évolution alternatives

13. mars 2004 mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution 13 modèle HN généralisé on “évalue” la fitness sur le phénotype : un réseau de neurones perceptron = le réseau de neurones le plus simple entrées : poids des connexions : sortie (ex. +1=mangeable, -1=poison) classification de "référence" (optimale) = “professeur” de poids

14. mars 2004 mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution 14 perceptrons adaptables à chaque génération n on génère un ensemble de M exemples xm apprentissage : déterminer les poids w des connexions flexibles (codées par les allèles "?") initialiser : on tire au hasard (+1 ou -1) les poids des Q connexions flexibles du perceptron m = 0 pour m=1 à M si sign(w.xm)=sign(w*.xm) ? m = m+1 autrement on apprend xm * [on modifie autant de poids flexibles que nécessaire pour changer le signe de la sortie] fitness : proportionnelle à m/M : fraction d'exemples bien classés

15. mars 2004 mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution 15 paysage de fitness modèle HN perceptrons avec M=100

16. mars 2004 mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution 16 résultats chemins évolutifs : l'apprentissage ralentit l'évolution évolution des genotypes

17. mars 2004 mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution 17 mais ... environnement fixe : la capacité d’apprentissage se perd ! question : que se passe-t-il dans un environnement variable ?

18. mars 2004 mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution 18 environnement variable deux états de la nature (deux perceptrons professeur qui s’alternent) poids optimaux : temps total d'apprentissage : G fréquence de changement : 2f temps d’apprentissage dans chaque environnement : T~G/2f

19. mars 2004 mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution 19 évolution T~G/2f Tc=51

20. mars 2004 mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution 20 paysages de fitness deux chemins évolutifs suivant la fréquence des changements 2f=1 (T long) 2f=10 (T court) on a le temps de s'adapter on ne s'adapte pas : on est performant la moitié du temps

21. mars 2004 mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution 21 conclusion l'apprentissage ralentit l'évolution si l'environnement est fixe, la capacité d'apprentissage se perd si l'environnement est variable, il y a deux alternatives : variation lente : on s'adapte à l'environnement, la capacité d'apprentissage a une valeur adaptative (confère "fitness") variation rapide : on se spécialise (quitte à être mal adapté une fraction du temps) on perd la capacité d'apprendre

22. mars 2004 mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution 22 références modèle de Hinton et Nowlan How learning guides evolution, Complex Systems 1 (1987) 495-502. Approximation analytique de Fontanari et Meir The effect of learning on the evolution of asexual populations, Complex Systems 4 (1990) 401-414. critique, et modèle d’émergence de l’apprentissage A model for the interaction of learning and evolution. H. Dopazo, M.B. Gordon, R. Perazzo et S. Risau Gusmán. Bulletin of Mathematical Biology 63 (N°1) (2001) 117-134 A model for the emergence of adaptive subsystems. H. Dopazo, M.B. Gordon, R. Perazzo et S. Risau Gusmán. Bulletin of Mathematical Biology 65, vol./1(2003) 27-56 Merci de votre attention !