Evolutionäre Strategien

Nicole Männig Evolutionäre Strategien

Vortragsgliederung • Woher kommen die evolutionären Strategien? • Geschichte • Motivation • Spezielle evolutionäre Strategien • (1+1)- ES • (μ+1)- ES • (μ+λ)- ES und (μ, λ) –ES • Modifikationen • Schlusswort • Literatur

Woher kommen die evolutionären Strategien? • Geschichte • Zwei parallele Entwicklungen in den 60er Jahren • In den USA führte Holland die „Genetischen Algorithmen“ ein → Kernidee: binäre Kodierung • In Deutschland entwickelte Rechenberg die Idee der „Evolutionären Strategie“, welche von Schwefel weitergeführt wurde → Kernidee: reelle Kodierung

Woher kommen die evolutionären Strategien? • Geschichte • gehören zu den Verfahren, die ohne Gradienten arbeiten • arbeiten mit Stochastik und Populationen

Woher kommen die evolutionärenStrategien? • Motivation • jedes Lebewesen ist nahezu perfekt an seine Umgebung angepasst • die Evolution fand über einen sehr langen Zeitraum statt • selbst gravierende Änderungen der Lebensräume und -bedingungen konnten diese Evolution nicht stoppen • die Natur hat somit ein perfektes Vorbild für die Mathematik geschaffen

Woher kommen die evolutionärenStrategien? • Motivation • evolutionäre Methoden zeichnen sich durch ihre Robustheit und Effektivität aus • Verwendung häufig bei nichtlinearen Systemen, wo andere Optimierungsverfahren versagen oder keine adäquate Lösung liefern • folgende Prinzipien werden dabei auf die Mathematik übertragen → Mutation → Selektion → Rekombination

Woher kommen die evolutionärenStrategien? • Motivation • Idee: die Parameter werden nach dem Zufallsprinzip geringfügig geändert • mit der darstellenden Funktion werden dann die „Fitnesswerte“ der Objekte berechnet und entsprechend sortiert • die neuen Objekte entstehen also durch Mutationen der alten Objekte • die Individuen werden durch Vektoren reeller Zahlen kodiert • eine Population ist somit eine Menge von Vektoren

Woher kommen die evolutionärenStrategien? • Motivation • Industriebeispiel: • Verwendung einer evolutionären Strategie in der Bionik • Knochen bauen sich von dem Punkt ausgehend auf, der die größte Belastung aushalten bzw. am stabilsten sein muss • → finde diesen Punkt in der zu gießenden Form • → berechne optimale Vorgehensweise für den Gussvorgang • viele Anwendungen im Bereich der Elektrotechnik • meistens jedoch multikriteriell

2. Spezielle evolutionäre Strategien • Übersicht • .

2. Spezielle evolutionäre Strategien(1+1)- ES • Einleitung • Wir betrachten das in den vergangenen Vorträgen vorgestellte Optimierungsproblem (Minimierungsproblem) • gesucht ist der Weg zu einem Optimum der nicht linearen Zielfunktion mit multiplen lokalen Optima • selbst wenn es nur ein lokales Optimum gibt, kann es schwierig werden dorthin einen Weg zu finden • .

2. Spezielle evolutionäre Strategien(1+1)- ES • Vorstellung • Motivation war die Formoptimierung • (1+1)- ES bedeutet: 1 Elternteil, 1 Nachkomme • (1+1)- ES = (P°, m, s, cd, ci, f, g, t) → P° = (x°, σ°) є I Population I = Rn x Rn → m: I → I Mutationsoperator → s: IxI → I Selektionsoperator → cd, ciє R Schrittweitenkontrolle → f: Rn → R Zielfunktion → gj: Rn → R Nebenbedingungen j є {1,…, q} → t: IxI → {0,1} Abbruchbedingung

2. Spezielle evolutionäre Strategien(1+1)- ES • Arbeitsweise einer evolutionären Strategie Elternteil Evaluation (Terminierung) Mutation Selektion Evaluation

2. Spezielle evolutionäre Strategien(1+1)- ES Arbeitsweise einer evolutionären Strategie • Elternteil: a1´t = Pt (xt, σt) → Evaluation • Mutation = Nachkomme: a2´t = m (Pt) = (x´t, σt) → Evaluation • Vorübergehende Population: P´t = (a1´t, a2´t) є IxI Einschub: • biologische Beobachtung: kleinere Änderungen treten häufiger auf als größere • realisieren daher Mutationen durch normal- verteilte Zufallszahlen • → x´t = xt + N0(σt ) • .

2. Spezielle evolutionäre Strategien(1+1)- ES • Arbeitsweise einer evolutionären Strategie • bestimme nun das fittere Individuum (= Selektion) f(x´t) ≤ f(xt) und a2´t if → Pt+1 = s(Pt) = g(x´t) ≥ 0 a1´t = Ptsonst • der Iterationsprozess stoppt, wenn das Abbruchkriterium t(a1´t , a2´t)=1 hält • eine Frage die noch offen ist: konvergiert das Verfahren überhaupt?

2. Spezielle evolutionäre Strategien(1+1)- ES • Konvergenz • Konvergenz: → für σ > 0 und ein reguläres Optimierungsproblem wird das globale Optimum mit Wahrscheinlichkeit 1 gefunden → Nachteil: die Suchzeit muss ausreichend lang sein → daher keine praktische Relevanz • Rechenberg berechnete die Konvergenzraten für 2 Modellfunktionen → Korridor- Modell: f1(x)= F(x1)= c0 + c1 x1für alle iє{2,…,n}: -b/2 ≤ xi ≤ b/2 →Sphären- Modell: f2 (x)= Σxi ²

2. Spezielle evolutionäre Strategien(1+1)- ES • daraus ergeben sich die zu erwartenden Konvergenzraten: → für n>>1 → • Konvergenzrate des Sphärenmodells ist abhängig von der aktuellen Position im euklidischen Raum

2. Spezielle evolutionäre Strategien(1+1)- ES • bestimme damit die optimalen Standardabweichungen → → • Berechne davon ausgehend die Wahrscheinlichkeiten für eine erfolgreiche Mutation

2. Spezielle evolutionäre Strategien(1+1)- ES • Erfolgreiche Mutation • → für n>>1 • → für n>>1 • für optimale Schrittweiten ergibt sich damit: → →

2. Spezielle evolutionäre Strategien(1+1)- ES • Mutationsvarianz • Ausgehend davon, formulierte Rechenberg seine 1/5 Regel: • „Das Verhältnis der erfolgreichen Mutationen zu allen Mutationen sollte 1/5 sein. Wenn es größer ist als 1/5, erhöhe die Varianz, wenn es weniger ist, verringere die Mutationsvarianz.“ • .

2. Spezielle evolutionäre Strategien(1+1)- ES • Mutationsvarianz • daher macht es Sinn, σt dynamisch anzupassen • wir erweitern daher den Mutationsoperator m cdσt, falls pst< 1/5 • σt+n= ciσt, falls pst > 1/5 σt, falls pst= 1/5 • Schwefel: cd=0.82, ci=1/0.82 Anpassung ungefähr alle n Mutationen • .

2. Spezielle evolutionäre Strategien(1+1)- ES • ein kleines Anwendungsbeispiel: Optimierung einer 2- Phasen Überschalldüse • → Entwicklung eines Stromerzeugers für Satelliten • → Ausgang: konventionell geformte Venturidüse • → Schwefel kombinierte nach dem Zufallsprinzip die einzelnen Sektoren, in die eine solche Düse geschnitten wurde • .

2. Spezielle evolutionäre Strategien(1+1)- ES • ein kleines Anwendungsbeispiel: Optimierung einer 2- Phasen Überschalldüse • die folgende Abbildung zeigt die zufälligen Änderungen (Mutationen) • eine Änderung, die sich bewährt hat, wurde als Vorlage für die nächste zufällige Anordnung genommen • .

2. Spezielle evolutionäre Strategien(1+1)- ES • ein kleines Anwendungsbeispiel: Optimierung einer 2- Phasen Überschalldüse • nach 44 zufälligen Mutationen kam dabei folgende Form heraus • diese Form wäre zum damaligen Zeitpunkt nicht mathematisch und logisch nachvollziehbar erwartet worden • auch heute ist dieses Ergebnis nur in etwa nachzuvollziehen • die Effizienz dieser Form ist ca. 40% höher als die der Venturidüse • und das, obwohl man nicht den Zusammenhang zwischen Form und Wirkung kennt • .

2. Spezielle evolutionäre Strategien(μ+1)- ES • Einleitung • Welche Auswirkungen hat es, wenn ich eine ganze Bevölkerung zur Verfügung habe? → binde dafür das Populationskonzept in den Algorithmus ein → μ >1 gibt dabei die Anzahl der Eltern an, die an der Produktion eines Nachfahrens beteiligt sind → insbesondere ist nun auch die sexuelle Rekombination simulierbar

2. Spezielle evolutionäre Strategien(μ+1)- ES Vorstellung • (μ+1)- ES = (P°, μ, r, m, s, cd, ci, f, g, t) → P° = (x°, σ°) є I Population I = Rn x Rn →μ >1 Anzahl der Eltern → r: Iμ→ I Rekombinationsoperator → m: I → I Mutationsoperator → s: IxI → I Selektionsoperator → cd, ciє R Schrittweitenkontrolle → f: Rn → R Zielfunktion → gj: Rn → R Nebenbedingungen j є {1,…, q} → t: IxI → {0,1} Abbruchbedingung nun mehr als nur ein Elternteil wird wegen gestiegener Elternzahl benötigt

2. Spezielle evolutionäre Strategien(μ+1)- ES • Arbeitsweise einer (μ+1)- ES • die Einbindung einer Population führt zwangsläufig zu einer anderen Vorgehensweise Population Evaluation Terminierung? Selektion I Selektion II Rekombination +Mutation Evaluation nun stehen mehrere Eltern zur Auswahl diese müssen auch wieder bewertet werden suche mir nun daraus potentielle Eltern aus weitere Selektion erforderlich

2. Spezielle evolutionäre Strategien(μ+1)- ES • Arbeitsweise einer (μ+1)- ES • der Rekombinationsoperator entscheidet dabei, von welchem Elternteil welcher Anteil übernommen wird • dies geschieht mittels einer Zufallsvariable auf dem Intervall [0,1] • Konvention: alle Eltern haben dasselbe Paarungsverhalten • r ist diskret, da Komponentenwerte von den Eltern kopiert werden • .

2. Spezielle evolutionäre Strategien(μ+1)- ES • Arbeitsweise einer (μ+1)- ES • „Survival of the fittest“ • → Selektionsoperator entfernt das Schwächste Individuum • → dies kann entweder der Nachkomme oder ein Elternteil sein • → geschieht vor Produktion der neuen Generation • → der Rest arbeitet analog zur (1+1)- ES • → die dynamische Anpassung der Schrittweiten ist jedoch nicht gewünscht, da der Nachkomme mit niedriger Mutationsvarianz bevorzugt wird

2. Spezielle evolutionäre Strategien(μ+λ)- ES Vorstellung . • wie die Schreibweise schon vermuten lässt: → μ>1 Eltern → λ>1 Nachkommen • Selektion arbeitet also nun auf der Vereinigung von Eltern und Nachkommen → Eltern überleben solange, bis sie komplett von einer besseren Generation Nachkommen überholt werden → das am beste angepasste Individuum kann daher ewig überleben → die Qualität der besten Individuen kann sich von Generation zu Generation nicht verschlechtern • damit sind jedoch Nachteile verbunden

2. Spezielle evolutionäre Strategien(μ+λ)- ES • Nachteile • ändert sich das Optimum mit der Zeit, so steckt die (μ+λ)- ES in der vorherigen Umgebung fest • bei störanfälligen Variablen passiert dasselbe (häufig in einer experimentellen Umgebung) • ist μ/λ≥ pf(x)opt (der Wahrscheinlichkeit für eine erfolgreiche Mutation), so ist eine zusätzliche Selektion erforderlich

2. Spezielle evolutionäre Strategien(μ,λ)- ES • Vorstellung • (μ+λ)- ES (μ, λ)- ES

2. Spezielle evolutionäre Strategien(μ+λ)- ES und (μ, λ)- ES

2. Spezielle evolutionäre Strategien(μ+λ)- ES und (μ, λ)- ES • Mutationen • durch das Unterdrücken groß ausfallender Mutationen können starke Schwankungen vermieden werden • Mutationsmechanismen der ES sind daher meistens klein ausfallende Mutationen

2. Spezielle evolutionäre Strategien(μ, λ)- ES Mutationen • wesentlicher Unterschied: Strategieparameter σt wird nun in die genetische Information aufgenommen und nicht durch eine Erfolgsregel (z.B. die 1/5 Regel von Rechenberg) kontrolliert • somit gilt dann für den Mutationsoperator: → ai´t = r(Pt) = Genetischer Vorfahre → m(ai´t) = ai´´t = (x´´t, σ´´t) → σ´´t = σ´t expN0(Δσ) → x´´t = x´t + N0(σ´´t ) σ selbst wird nun ebenfalls verändert

2. Spezielle evolutionäre Strategien(μ, λ)- ES Beispiel: Marketing • Grobe Beschreibung: → man bringt ein Produkt auf den Markt → wie verbreitet sich das Produkt? → welche Werbemaßnahmen? → welcher Anfangspreis? → sobald das Produkt auf dem Markt ist: Konkurrenzprodukte, neue Marketingstrategien, Preisdruck durch Konkurrenten, etc. ZIEL: selbst- anpassender Algorithmus, der Entwicklungen des Marktes berücksichtigt

2. Spezielle evolutionäre Strategien(μ, λ)- ES Beispiel: MDO = Multidisziplinäre Optimierung → Einbindung verschiedener Disziplinen → große Anzahl an Parametern und Nebenbedingungen Ziel: Minimierung des Gewichts FE- Modell: Crash ~ 130.000 Elemente NVH ~ 90.000 Elemente unabhängige Parameter: 109 , Anzahl der Simulationen: 3*28*10 Nebenbedingungen: 18, Anzahl CPU (Crash): 800, Anzahl CPU (NVH)=8 Monte- Carlo- Schema (μ, λ)- ES Laufzeit: 58 Stunden

3. Modifikationen • die bis hierhin verwendeten Strategien sind nicht die einzigen • man hat auch noch optimale Konvergenzraten betrachtet, welche auf einem optimalen Verhältnis μ/λ arbeiten • Nachteil: werden diese von einem lokalen Optimum angezogen, verringert sich ihre genetische Vielfalt • um dies zu verhindern, kann man die Bevölkerung teilen: → konstante Subpopulation: trägt nützliches Wissen, erhält minimale genetische Diversität → dynamische Subpopulation • hier ist die globale Konvergenz nachprüfbar

3. Modifikationen Rekombinationstypen • des Weiteren kann man verschiedene Rekombinationstypen betrachten → auch hier gibt es wieder Vor- und Nachteile in der Diversität und Über- Anpassung • Schwefels Implementierung erlaubt 5 Rekombinationstypen: xa,i (A) keine Rekombination xa,i oder xb,i (B) diskret xi´= ½(xa,i + xb,i) (C) intermediär xai,i oder xbi,i (D) global diskret ½(xai,i + xbi,i) (E) global intermediär

3. Modifikationen • Mutationen • auch die Mutationen können noch anders betrachtet werden → bislang waren die bevorzugten Suchrichtungen entlang der Achsen → erfahrungsgemäß ist die beste Suchrichtung der Gradient, welcher nicht entlang der Achsen liegt • ein günstiges Fortschreiten wird durch korrelierte Mutationen erreicht

3. Modifikationen Mutationen • es wird ein zusätzlicher Strategievektor θ eingefügt m(ai´t)=ai´´t= (x´´, σ´´, θ´´) σ´´= σ´t exp N0(Δσ) θ´´= θ´t + N0(Δσ) x´´ = x´t + N0(A) • anschaulich bedeutet dies: Ellipsen stellen Bereiche gleicher Mutationswahr- scheinlichkeit dar 1. globale Schrittweite 2. individuelle Schrittweite 3. korrelierte Mutationen

4. Schlusswort • Evolutionäre Strategien haben durchaus andere Eigenschaften und Fähigkeiten als Methoden, die mit Gradienten arbeiten • grundsätzlich gibt es die Gefahr, nach Auffinden eines lokalen Optimums dort zu verharren • dies ist vorallem ein Manko von Gradientenverfahren • bei evolutionären Strategien sind diese Gefahren deutlich reduziert • somit ist die Wahrscheinlichkeit größer, ein Optimum zu finden oder sich diesem anzunähern

4. Schlusswort • auch wenn sie auf Grund der Laufzeiten nicht immer vorteilhaft sind, so können sie doch eine Laufrichtung für andere Verfahren bieten • bei multikriteriellen Optimierungsproblemen liefern sie außerdem neue Ideen oder Schwerpunkte für die Optimierung

5. Literatur • A Survey of Evolution Strategies, Bäck, Hoffmeister, Schwefel • Evolutionary Strategies for Multidisciplinary Optimization, Bäck (NuTech Solutions GmbH) • diverse Internetseiten von Technischen Universitäten mit dem Fachbereich Elektrotechnik, Bionik

Evolutionäre Strategien