660 likes | 808 Views
Computação distribuída do Algoritmo Genético Compacto usando Web Services. Samuel Viana, nº 18778 Licenciatura em Informática – Ramo Tecnológico Orientador: prof. Fernando Lobo. “Road-Map”. Web Services Algoritmo Genético Compacto (cGA) cGA usando Web Services Resultados
E N D
Computação distribuída do Algoritmo Genético Compacto usando Web Services Samuel Viana, nº 18778 Licenciatura em Informática – Ramo Tecnológico Orientador: prof. Fernando Lobo
“Road-Map” • Web Services • Algoritmo Genético Compacto (cGA) • cGA usando Web Services • Resultados • Conclusão e Trabalho Futuro
Web Services - Motivação • Arquitecturas diversas • Necessidade em integrar serviços • Necessária linguagem comum que permita a interoperabilidade
Web Services - Definição • Forma de integrar e trocar e informação entre sistemas concebidas sob plataformas diferentes, usando um formato de texto conhecido por XML.
Vantagens • Acessíveis a partir de qualquer parte da Internet • Atravessam firewall’s e proxy’s • Independentes da plataforma • Baseados em XML • Interacção entre aplicações sem intervenção humana • Diminuem complexidade e custos ligados à integração
Suporte para Web Services • Necessidade de um formato de transmissão de informação que permita: • Propagá-la facilmente • Criar uma estrutura que facilite o acesso ao item desejado • Vantagens da estrutura: • Validação • Reutilização • Normalização
HEAD HTML BODY XML • XML -> “eXtended MarkUp Language” • Linguagem composta por anotações (Mark-Up) • Orientada para o conteúdo • Ideal para acesso rápido • Legível para humanos • Define estrutura em árvore
XML • Características principais: • Extensível • Estruturada • Validação • Meta-Linguagem • Gramática definida por DTD ou XML Schemas
Web Services <receita> <ingredientes> <ingrediente> farinha em pó </ingrediente> <ingrediente> 0,5 litros leite </ingrediente> <ingrediente> 2 ovos </ingrediente> </ingredientes> </receita> Exemplo de um documento XML
XML Schemas <schema xmlns="http://www.w3.org/2001/XMLSchema> <element name="receita"> <complexType> <sequence> <element ref="ingredientes" maxOccurs="1" /> </sequence> </complexType> </element> <element name="ingredientes"> <complexType> <sequence> <element ref="ingrediente" maxOccurs="unbounded" /> </sequence> </complexType> </element> <element name="ingrediente" type="string" /> </schema>
WSDL • WSDL -> “Web Services Definition Language” • Baseado em XML • Define interface de acesso • Cada linguagem de programação deve transpô-lo para código nativo
SOAP SOAP -> Simple Object Access Protocol • Protocolo baseado em XML • Define o formato das mensagens • Qualquer protocolo da camada de aplicação, mas geralmente usa HTTP • Elemento Raíz é <ENVELOPE> • Envelope divide-se em cabeçalho e corpo
SOAP Exemplo de uma mensagem SOAP
SOAP Mensagem SOAP (sentido request)
SOAP Mensagem SOAP (sentido response)
Algoritmos Genéticos • Orientado para problemas de pesquisa e optimização • Resolvem numa escala de tempo muito inferior • Um cromossoma: composto por genes • Genes assumem valor 0 ou 1 • População representa todas as soluções actualmente disponíveis um cromossoma de 10 bit’s representa uma potencial solução 1011100010
Algoritmos Genéticos • Função de Fitness mede a qualidade da solução • Indivíduos comparáveis graças ao fitness • Selecção para cruzar os melhores indivíduos • Nova geração terá um fitness médio mais elevado • Deste modo, ao fim de n gerações a convergência será atingida
Algoritmos Genéticos • Operadores de Selecção: • Roleta • Torneio
10 5 6 1 0 Algoritmo Genético Compacto A população é substituída por um vector de probabilidades, também conhecido por vector população.
Algoritmo Genético Compacto (cGA) • É inicializado um vector com todas as posições a 0,5 • São gerados s indivíduos a partir do vector, sendo s a pressão de selecção • É calculado o fitness de cada indivíduo • É efecutado um torneio entre os s indivíduos, sendo vencedor o indivíduo de melhor fitness • O vector é actualizado através da comparação bit a bit entre vencedor e vencido. • Verifica-se se o vector convergiu, caso contrário, volta-se ao passo 2
1 1 0 1 0 0 0 0 1 1 0 0 1 1 1 1 1 1 Exemplo do cGA Problema One-Max (contar o número de uns) Selecção por torneio 3 4
1 1 0 1 0 0 Exemplo do cGA Actualização do vector população 0 1 0 1 1 1 0.5 1.0 0.0 0.7 0.2 0.5
1 1 0 1 0 0 Exemplo do cGA Actualização do vector população 0 1 0 1 1 1 0.4 1.0 0.0 0.7 0.3 0.6
Computação Distribuída • Aproveita-se os ciclos de CPUs desocupados • Conectividade global da Internet permite a difusão • O seu somatório permite ter o mesmo efeito de um supercomputador • O SETI@home ajudou a popularizar o modelo
cGA distribuído • O vector é uma representação compacta de uma população • Única desvantagem: o comprimento do vector • Facilmente distribuído pela Internet
Arquitecutra Worker/Manager • Foi proposta (Lobo,2005) uma arquitectura que explora esta possibilidade • Existem dois tipos de entidades: workere manager • Um Manager – gera o vector população • Múltiplos Worker s– processam o vector
manager worker Worker/Manager
manager worker Worker/Manager
manager worker Worker/Manager
manager worker worker worker worker worker Worker/Manager ...
worker worker worker worker worker Worker/Manager manager X X ...
Worker/Manager • Vantagens: • Custos de sincronização baixos • Tolerância a falhas • Escalabilidade
Aplicação • Função de teste utilizada (10 trap’s concatenadas totalizando um total de 30 bits) • Problema complicado de resolver para o cGA (Harik, Goldberg, Lobo, 1999), sendo necessário um efectivo populacional enorme o representa o número de uns
Simulação em série • Não é usada uma rede real • Manager e workers correm na mesma máquina • Série tem mesmos efeitos que em paralelo • Um manager • P workers, que trabalham à mesma velocidade e arrancam ao mesmo tempo
Simulação em série • Condições da experiência • Efectivo populacional N=100 000 • Indivíduos representados por cromossomas de 30 bits • Pressão de selecção 8 • Selecção por torneio • Função de 10 trap’s sobre 3 bits com deceive-to-optimal ratio 0,7 • Combinações de P em {1,2,4,8,16,32,64,128,256,512,1024} com m em {8,80,800,8000,80000}. • Cada combinação diferente foi executada 30 vezes
Simulação em série Número de cálculos de cada worker
Simulação em série Total de contactos por processador worker
Simulação em série Análise dos resultados • Valores elevados de m diminuem o número de comunicações, enquanto valores baixos o aumentam • Redução quase linear entre P e o total de cálculos necessários para atingir a convergência (não se verifica para m= 8000 e m=80000). • Contactos reduzem-se com m • Contactos inversamente proporcionais a P
cGA distribuído por Web Services • Meios utilizados: • Java 5 • Servidor de Java Server Pages Apache Tomcat • Apache Axis
A escolha da Java • Orientada a objectos • Simplicidade, experiência e à vontade • Interoperabilidade dos WS pode ser melhor explorada por uma linguagem multi-plataforma • Por ser imediatamente portável, as potencialidades de uma nova plataforma são exploradas de imediato • Suporta threads nativamente
Modificações à proposta original • Não foi possível concretizar as ideias originais do projecto: • Falta de tempo • Objectivos ambiciosos • Falta de recursos humanos e logísticos
Modificações à proposta original • Como alternativa: • Substituir um processador worker individual por uma thread
O que são threads ? • Tradicionalmente, o CPU está ocupado apenas por uma tarefa
O que são threads ? • Com threads, repartimos a actividade do CPU em várias tarefas simultaneamente • Deste modo, é como se tivéssemos vários CPUs num