Apprentissage et évolution : l'effet Baldwin

1. Dynamique des systèmes complexes et applications aux SHS :modèles, concepts méthodes Apprentissage et évolution : l'effet Baldwin Mirta B. Gordon Laboratoire Leibniz – IMAG Grenoble

2. théorie de l'évolution • les caractéristiques d'un individu dans une population sont déterminées génétiquement • les caractères appris ne sont pas transmis à la génération suivante • évolution d'une population : • sélection : les individus les plus aptes (dans l'interaction avec leur environnement) ont une meilleure "adéquation à l'environnement" (fitness), et par conséquent, une probabilité plus grande de laisser des descendants. • mutation : source de variabilité à l'intérieur d'une population • [cross-over] • les caractéristiques moyennes de la population évoluent dans le temps vers des valeurs optimales mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

3. questions soulevées par Baldwin (1896) "A new factor in evolution", The American Naturalist 30 (1896) 441-451 • la sélection naturelle est un processus "négatif" • l'évolution est seul fruit du hasard • les mutations qui ne confèrent pas de fitness disparaissent • cependant • les paléontologues observent que certaines modifications se produisent progressivement au cours des générations -> il y aurait un "sens" (une orientation) dans l'évolution • il y a des discontinuités évolutives dans les gisements fossiles: comme si des étapes d'évolution intermédiaires manquaient • Baldwin • les deux observations s'expliquent par l'interaction entre l'apprentissage et l'évolution par une "sélection organique" mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

4. l'effet Baldwin (sélection organique) • grâce à leurs capacités d'apprentissage, les individus survivent en s'adaptant à des conditions environnementales adverses • si l'environnement ne varie pas trop brutalement : les mutations les plus adaptatives sont celles qui transforment en congénital ce qui devait être appris • l'apprentissage "guide " l'évolution, car il introduit un biais dans les mutations perennisées • la capacité d'apprentissage augmente la variance génétique de la population (beaucoup d'individus ont un genotype très différent de la moyenne) • lors d'un changement brutal de l'environnement, un cataclisme, seuls ces individus très différents (qui existent grâce a la capacité d'apprentissage) peuvent survivre • l'apprentissage "accélère " l'évolution, il permet des sauts évolutifs mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

5. plan • modèle de Hinton et Nowlan (1987) “How learning guides evolution” • critique, et modèle d’émergence de l’apprentissage • discussion mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

6. modèle de Hinton et Nowlan (H&N) • population de N individus haploïdes, chacun possédant un réseau de neurones avec L connexions potentielles • chaque individu : • génotype = vecteur de L gènes qui codent les connexions • chaque gène possède 3 allèles : 1 connexion avec poids wi=+1 -1 connexion avec poids wi=-1 ? connexion flexible, adaptable par apprentissage • exemple de génotype : (1,1,-1,?,-1,......) • le réseau de neurones confère fitness seulement si les connexions ont une configuration particulière : toutes égales à +1 génotype optimal : (1,1,1, ...,1) mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

7. évolution: algorithme génétique • générer une population initiale (n=0) de N individus: • N génotypes de la forme (1,-1,1,?,...,-1) [gènes tirés au hasard] • évolution • pour chaque individu • apprentissage : adapter les connexions flexibles (?) • fitness : évaluer l'adéquation à l'environnement • nouvelle génération : n n+1 • sélection: choisir les N individus de la génération suivante avec des probabilités proportionnelles à leurs fitness • cross-over: on apparie les genomes; le nouvel individu a ses premiers gènes hérités de son "père" et les derniers de sa "mère" (le point de coupure étant tiré au hasard) • mutation: chaque gène est transformé en un des deux autres allèles avec probabilité Pmut mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

8. apprentissage dans le modèle H&N • rappel : configuration "correcte" : • apprentissage : • on tire au hasard les poids des connexions flexibles "?“ +1 ou -1 • G : nombre maximal d'essais permis • g : nombre d'essais vraiment effectués (g £ G) • on arrête dès que l'on trouve la configuration +1 pour tous les "?" • ou si g atteint G • le nombre d'essais g détermine la qualité F (fitness) de l'individu (1,1,....,1) mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

9. fitness dans le modèle H&N • définition : • si en G tirages on ne trouve pas la configuration : • si le génotype contient au moins un "-1" F=1 • probabilité de sélection: (1,1,....,1) mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

10. description des résultats • au niveau de chaque individu : • P = nombre d’allèles « 1 » du génome • Q=nombre d’allèles « ? » • R=nombre d’allèles « -1 » • P+Q+R=L • pour décrire la population • fitness F • population optimale : p=1, q=r=0 • fitness > 1 seulement si r=0, p+q=1 mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

11. sans apprentissage : fitness "plate" dans ce modèle : pas de phénotype -> seul l'apprentissage confère fitness évolution "chercher une aiguille dans une botte de foin“ l'apprentissage permet que des génotypes proches de l'optimum aient une probabilité de sélection importante avec apprentissage : paysage de fitness~ lame de rasoir résultats mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

12. critique du modèle H&N • l'apprentissage accélère-t-il l'évolution ? • oui ... • par rapport à une recherche aléatoire (non darwinienne) de l'optimum ["recherche d'une aiguille dans une botte de foin"] • mais : • ce modèle ne permet pas de comparer des populations avec et sans apprentissage car la fitness des individus incapables d'apprendre (avec Q=0) est minimale par construction (à l’exception de ceux avec P=L à la naissance). • l'apprentissage guide-t-il l'évolution ? • le modèle ne répond pas à cette question • pas de voies d'évolution alternatives mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

13. x1 xN x0= -1 w1 wN w0 w = (w1,w2) x1 modèle HN généralisé • on “évalue” la fitness sur le phénotype : un réseau de neurones • perceptron = le réseau de neurones le plus simple • entrées : poids des connexions : • sortie (ex. +1=mangeable, -1=poison) • classification de "référence" (optimale) = “professeur” de poids mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

14. perceptrons adaptables • à chaque génération n • on génère un ensemble de M exemples xm • apprentissage : déterminer les poids w des connexions flexibles (codées par les allèles "?") • initialiser : • on tire au hasard (+1 ou -1) les poids des Q connexions flexibles du perceptron • m = 0 • pour m=1 à M • si sign(w.xm)=sign(w*.xm)  m = m+1 • autrement on apprend xm * [on modifie autant de poids flexibles que nécessaire pour changer le signe de la sortie] • fitness : proportionnelle à m/M : fraction d'exemples bien classés mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

15. paysage de fitness modèle HN perceptrons avec M=100 mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

16. chemins évolutifs : l'apprentissage ralentit l'évolution évolution des genotypes résultats mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

17. mais ... • environnement fixe : • la capacité d’apprentissage se perd ! • question : • que se passe-t-il dans un environnement variable ? mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

18. environnement variable • deux états de la nature (deux perceptrons professeur qui s’alternent) • poids optimaux : • temps total d'apprentissage : G • fréquence de changement : 2f • temps d’apprentissage dans chaque environnement : T~G/2f mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

19. T=30 T=112 évolution T~G/2f Tc=51 mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

20. paysages de fitness • deux chemins évolutifs suivant la fréquence des changements 2f=1 (T long) 2f=10 (T court) on a le temps de s'adapter on ne s'adapte pas : on est performant la moitié du temps mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

21. conclusion • l'apprentissage ralentit l'évolution • si l'environnement est fixe, la capacité d'apprentissage se perd • si l'environnement est variable, il y a deux alternatives : • variation lente : • on s'adapte à l'environnement, • la capacité d'apprentissage a une valeur adaptative (confère "fitness") • variation rapide : • on se spécialise (quitte à être mal adapté une fraction du temps) • on perd la capacité d'apprendre mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution

22. références • modèle de Hinton et Nowlan • How learning guides evolution, Complex Systems 1 (1987) 495-502. • Approximation analytique de Fontanari et Meir • The effect of learning on the evolution of asexual populations, Complex Systems 4 (1990) 401-414. • critique, et modèle d’émergence de l’apprentissage • A model for the interaction of learning and evolution. H. Dopazo, M.B. Gordon, R. Perazzo et S. Risau Gusmán. Bulletin of Mathematical Biology 63 (N°1) (2001) 117-134 • A model for the emergence of adaptive subsystems. H. Dopazo, M.B. Gordon, R. Perazzo et S. Risau Gusmán. Bulletin of Mathematical Biology 65, vol./1(2003) 27-56 Merci de votre attention ! mirta.gordon@imag.fr - Ecole CNRS Agay Systèmes Complexes SHS - apprentissage et évolution