Detecção de Comunidades

1. Detecção de Comunidades Henrique Menezes Pedro Lopes

2. Roteiro • Introdução • Detecção de Comunidades • Método Proposto • Redes Geradas por Computador • Redes Reais • Estrutura de Comunidade Conhecida • Estrutura de Comunidade Não Conhecida • Demonstração • Conclusão

3. Introdução • Muitos sistemas tem a forma de rede • Ex.: Redes sociais, redes de conhecimento, web, cadeias alimentares, redes metabólicas, etc. • Pesquisadores têm focado em algumas propriedades que essas redes compartilham • Efeito mundo pequeno • Desvio a direita das distribuições de graus • Clustering ou transitividade da rede

4. Introdução • Outra propriedade comum a muitas redes • Estrutura da comunidade • Comunidade • Subconjuntos de vértices em que conexões vértice-vértice são densas, mas entre os subconjuntos as conexões são menos densas. • Nós da rede estão unidos em grupos coeso, entre os quais existem apenas ligações mais frouxas.

5. Introdução • Método para detecção de comunidades • Índices de centralidade para encontrar limites da comunidade

6. Introdução • Aplicações práticas: • Redes sociais: pode indicar grupos reais • Redes de citação: artigos de um mesmo topico • Redes metabólicas: ciclos e grupos funcionais • Redes na Web: páginas sobre temas relacionados • Ser capaz de identificar estas comunidades poderiam nos ajudar a entender e explorar as redes de forma mais eficaz

7. Detecção de Comunidades • Método Tradicional • Clustering hierárquico • Baseado em pesos entre dois vértices • Número de caminhos independentes de nós (node-independent) ou arestas (edge-indepentent) • Número total de caminhos entre os vértices • Agrupa os vértices, adicionando arestas de acordo com os pesos • O grafo resultante pode ser representado por estrutura de árvore

8. Detecção de Comunidades • Árvore de clustering hierárquico (dendograma)

9. Detecção de Comunidade • Método Tradicional • Possui resultados razoáveis • Falha • Vértices periféricos ficam fora da comunidade a qual deveriam pertencer

10. Detecção de Comunidade • Caso de falha

11. Método Proposto • Intermediação de vértices • Medida de centralidade de um vértice • Mede a frequência com que o nó aparece no menor caminho entre dois nós quaisquer • Pontecial para conectar comunidades diferentes • Eliminar nós de alta intermediação pode ter o efeito de desconectar a rede B C G A D F E

12. Método Proposto Alta Intermediação (pontos críticos para disseminação)

13. Método Proposto • Algoritmo • Calcula-se o grau de intermediação de cada aresta da rede • Remove-se a aresta com maior grau de intermediação • Calcula-se o grau de intermediação de todas as arestas afetadas pela remoção • Volta para o passo 2 até que não reste nenhuma aresta

14. Redes geradas por computador • Parâmetros • 128 vértices • 4 comunidades • 32 vértices por comunidade • Grau médio z igual a 16 • Procedimento • Arestas inseridas aleatoriamente para cada par de vértices • - probabilidade de ligação com um vértice da mesma comunidade (intracommunity) • - probabilidade de ligação com um vértice de outra comunidade (intercommunity)

15. Redes geradas por computador

16. Redes ReaisEstrutura de Comunidade Conhecida • Zachary’s Karate Club • Rede de amizade • Clube que foi divido após disputa entre o administrador e instrutor • Foi ignorado o grau de afinidade

17. Redes ReaisEstrutura de Comunidade Conhecida

18. Redes ReaisEstrutura de Comunidade Conhecida • Dendograma gerado a partir do Proposto

19. Redes ReaisEstrutura de Comunidade Conhecida • Dendograma gerado a partir do Método Tradicional

20. Redes ReaisEstrutura de Comunidade Conhecida • Observações • O algoritmo conseguiu detectar as comunidades formadas • Previsão da evolução da rede • Falha: • O único caso de falha foi o nó 3

21. Redes ReaisEstrutura de Comunidade Conhecida • College Football • Vértices: times de futebol americano da divisão I da liga do ano de 2000 • Arestas: jogos realizados numa temporada • Estrutura de comunidade • Conferências formadas por 8 a 12 times • Obs: Cada time tem mais jogos com time que pertence a mesma conferência em média

22. Redes ReaisEstrutura de Comunidade Conhecida

23. Redes ReaisEstrutura de Comunidade Conhecida

24. Redes ReaisEstrutura de Comunidade Conhecida • Observações • Conferências identificadas com alta precisão • Falha: • A conferência Sunbelt foi separa em duas comunidades • Motivo: • A estrutuda da rede não corresponde a estrutura da comunidade • Sunbelt realizou mais jogos com a conferência Western Athletic do que a própria conferência

25. Redes ReaisEstrutura de Comunidade Não Conhecida • Rede de Colaboração • Vertices: 271 cientistas do Institute de Pesquisa de Santa Fé nos anos de 1999 e 2000 • Arestas: co-autoria em artigos nos anos de 1999 e 2000 • Grau médio = 5

26. Redes ReaisEstrutura de Comunidade Não Conhecida • Rede de Colaboração • 118 vértices • Maior Componente

27. Redes ReaisEstrutura de Comunidade Não Conhecida • Rede de Colaboração • Observações • Identificação de áreas de pesquisa • Divisão de subáreas • Interesse de pesquisa de membro dominante • Interessante: agrupamento por metodologia

28. Redes ReaisEstrutura de Comunidade Não Conhecida • Teia Alimentar • Vértices: 33 taxa mais proeminetes de ChesapeakBay • Espécies ou Gênero • Grupos de espécies relacionadas • Arestas: relação trófica entre vértices ligados • Direção ignorada

29. Redes ReaisEstrutura de Comunidade Não Conhecida • Teia Alimentar

30. Redes ReaisEstrutura de Comunidade Não Conhecida • Teia Alimentar • Observações • Pelágicos vsBênticos • Ecossistemas razoavelmente independentes • Bênticos relacionando com Pelágicos • Nesse caso a divisão pode não ser apropriada • Em cada grupo vários níveis tróficos observados • Problema: teias alimentares são densas ou não possuem estruturas de comunidade

31. Demonstração • TouchGraph Aqui

32. Conclusão • Verificamos os métodos de detecção de comunidade • Clássico: núcleos fortementes conectados • Proposto: intermediação de arestas • Vimos que esses métodos são úteis na análise de redes e que o método proposto é superior ao clássico • Várias melhorias podem ser realizadas ainda para método proposto • Diversas aplicações podem ser realizadas a partir da detecção de comunidades

33. Referência • [1] M. Girvan and M. E. J. Newman Community structure in social and biological networks PNAS 2002 99 (12) 7821-7826; doi:10.1073/pnas.122653799 • [2] http://www.touchgraph.com/navigator

34. Dúvidas ?