Download
1 / 24
250 likes | 401 Views
An Introduction to GA chap 4. Theoretical Foundations of Genetic Algorithms. Melanie Mitchell 발표자 : 김정집. GA 에 대한 의문. 의문점 GA 의 거시적인 동작 법칙은 무엇인가 ? 거시적인 동작에서 유전연산자의 역할은 ? 어떤 문제를 GA 가 잘 푸는가 ? 어떤 문제를 GA 가 못 푸는가 ? GA 에서 “잘 푼다”와 “못 푼다”의 경계는 ? 어떤 조건하에서 GA 가 다른 탐색 방법보다 잘 푸는가 ?
E N D
An Introduction to GA chap 4 Theoretical Foundations of Genetic Algorithms Melanie Mitchell 발표자:김정집
GA에 대한 의문 • 의문점 • GA의 거시적인 동작 법칙은 무엇인가? • 거시적인 동작에서 유전연산자의 역할은? • 어떤 문제를 GA가 잘 푸는가? • 어떤 문제를 GA가 못 푸는가? • GA에서 “잘 푼다”와 “못 푼다”의 경계는? • 어떤 조건하에서 GA가 다른 탐색 방법보다 잘 푸는가? • 아직 모르는 것이 더 많다.
4.1 Schemas and the Two-Armed Bandit Problem • Schema theorem • 평균 이상의 적합도값을 갖는 낮은 차수의 스키마의 수는 지수적으로 증가한다. • 연산자의 역할 • selection: 평균 이상의 적합도를 갖을 것으로 예측되는 부분을 탐색 • crossover: 좋은 building block에 높은 fitness를 주기 위해 재결합 • mutation: genetic diversity유지
Schemas and the Two-Armed Bandit Problem • “implicit parallelism” • 여러 스키마들이 개체군 내에서 묵시적으로 경쟁 • “exploration” versus “exploitation” • 적절한 조화가 필요? -> 어떻게?
Terminology • N번 실행 • 높은 평균 을 갖는 팔 • 낮은 평균 을 갖는 팔 • 좋다고 예측된 팔 • 나쁘다고 예측된 팔 • 목적 • 총 N번 실행에서 얻은 이익을 최대화하는 예측 횟수 n*를 찾는 것
Losses over N trials • 나쁘다고 예측한 쪽이 좋을 확률 • 이익의 감소 • 나쁘다고 예측한 쪽이 좋은 경우 • 나쁘다고 예측한 쪽이 나쁜 경우 • 총 감소량
Comparison with Hill-Climbing Method • Steepest-ascent hill climbing(SAHC) • 모든 bit마다 다르게 한 것 1개씩을 만들어 좋아진 것을 택하고 이것을 기준으로 다시 수행한다. 좋아지는 것이 없으면 기준을 바꾸지 않는다. • Next-ascent hill climbing(NAHC) • 차례로 위치를 선택해서 좋아지는 것을 택하고 이것을 기준으로 하여 수행한다. 좋아지는 것이 없으면 기준을 바꾸지 않는다. • Random-mutation hill climbing(RMHC) • 임의의 위치의 bit를 바꿔서 좋아지거나 같으면 기준으로 삼는다. 아니면 바꾸지 않는다.
Royal Roads에 대한 실험 결과 • RMHC>GA>>SAHC,NAHC
Analysis of RMHC • K개로 구성된 N개의 인접한 block이 생성되는 평균 시간 e(K,N)
Hitchhiking in the GA • “hitchhiking” • fitness가 높은 개체에 속하는 잘못된 부분들이 덩달아 증식됨 • s2,s4,s6은 최초 개체군에 존재 • 올바른 실행을 제지 • RMHC보다 성능이 낮아진 이유
An Idealized Genetic Algorithm • IGA • 동작 • 매 시간마다, 매 bit에 동일한 확률도 임의의 문자열을 선택한다. • 문자열이 이미 발견된 스키마를 포함하면 가압류시킨다. • 문자열이 새로운 스키마를 포함하면 가압류해두었던 문자열과 즉석으로 교차시킨다. • 평균 실행 시간
The features of the IGA • Independent samples • 동일한 bit가 개체군내에서 반복되지 않도록, 개체군의 크기를 크게 하고, 돌연변이율을 높이며, 선택을 느리게 한다. • Sequestering desired schemas • 선택은 발견된 스키마를 유지할 만큼 강하고, hitchhiking을 방지할 만큼 느려야 한다. • Instantaneous crossover • 원하는 스키마가 발견되는 시간보다 교차되는 시간이 짧아야 한다. • Speedup over RMHC • 문자열이 길어야 한다.
4.3 Exact Mathematical Models of Simple GAs • Formalization of Gas 1.개체군의 모든 문자열에 대해 적합도를 구한다. 2.문자열의 상대적인 적합도에 비례하는 확률로 두개의 부모를 고른다. 3.Pc의 확률로 두 부모를 교차해서 두 자식을 만든다. 임의로 한 개의 자식만을 선택한다. 4.Pm의 확률로 선택한 자식을 돌연변이시켜서 새로운 개체군에 넣는다. 5.새로운 개체군이 완성될 때까지 2의 과정으로 간다. 6.1의 과정으로 간다.
Terminology • The proportion of the population • The probability of the selection • 목적 • Find “operator” G • 선택만을 사용하는 GA • proportional 선택을 사용
Results of the Formalization • 기하적인 견해 • 고정점 찾기 • 도달하면 더 이상 변화 없음 • 선택만 사용한 경우(F) • 탐색 공간에서 최대값일 때 고정점이 된다. • 교차와 돌연변이만 사용한 경우(M) • 최대로 “혼합된” 개체군을 형성하려고 한다. • “puncuated equilibria” • 적합도의 빠른 상승이후에 상대적으로 향상이 없는 긴 기간 • 단점 • 무한한 개체수를 가정
A Finite-Population Model • Modeled the simple GA as a Markov chain
4.4 Statistical-Mechanics Approches • Predicting GA behavior as statistical mechanics in physics • more macroscopic statistics
Spin Glass model • “spin glass” • finding minimal energy states in a one-dimensional “spin glass” • “spins” • total energy E(S)
Spin Glass model • Selection method • similar to “Boltzmann selection” with B playing the role of temperature • energy distribution
cumulants • Cumulants • a statistical measure of distributions related to moments • the first cumulants • the mean of the distribution • the second cumulants • the variance of the distribution • ...
