Confiança e Reputação em SMA

1. Programa de Pós-Graduação em Engenharia de Automação e Sistemas Departamento de Automação e Sistemas Inteligência Artificial Aplicada a Sistemas de Controle e Automação Confiança e Reputação em SMA Rafael Frizzo Callegaro Joao Eduardo Hornburg 29/11/2011

2. Modelos Computacionais Introdução Fundamentação Teórica Considerações Finais Referências • Introdução • Contextualização • Objetivo da pesquisa • Fundamentação Teórica • Definição • Confiança • Reputação • Utilização • Funcionamento • Classificação, vantagens e desvantagens • Modelo Conceitual • Fontes de Informação • Visibilidade • Granularidade • Modelos Computacionais de Confiança e Reputação em SMA • Sporas • ReGreT • Castelfranchi & Falconi • ForTrust • Considerações Finais • Conclusão • Referências

3. Modelos Computacionais Introdução Fundamentação Teórica Considerações Finais Referências Contextualização O comportamento coletivo dos agentes em um sistemas multi-agente (SMA) é utilizado para atingir objetivos. Nestes sistemas a interação entre os participantes é função elementar. Como realizar a avaliação das informações e a escolha de parceiros em SMA abertos?

4. Modelos Computacionais Introdução Fundamentação Teórica Considerações Finais Referências Objetivo da Pesquisa • O objetivo desta pesquisa é fundamentar os conceitos de confiança e reputação em SMA. • Explorar os mecanismos de alguns modelos computacionais conhecidos. • Comparar a arquitetura dos modelos explorados.

5. Modelos Computacionais Introdução Fundamentação Teórica Considerações Finais Referências Definição de Confiança • A confiança • “é a convicção de alguém nas habilidades e intenções de um agente em prover informações corretas ou executar as ações prometidas”. (Barber et al. 2003).

6. Modelos Computacionais Introdução Fundamentação Teórica Considerações Finais Referências Definição de Reputação • Reputação • “ferramenta social com o objetivo de reduzir a incerteza de se interagir com indivíduos de atributos desconhecidos”. (BROMLEY, 1993).

7. Modelos Computacionais Introdução Fundamentação Teórica Considerações Finais Referências Comentários • Áreas de pesquisa que tratam do assunto. • Psicologia (Karlins e Abelson 1970; Bromley 1993), • Sociologia (Buskens 1998), • Filosofia (Platão 1955; Hume 1975) e • Economia (Celentani et al.1966; Marimon et al. 2000) • Ciência da computação • Inteligência artificial • Sistemas multi-agente.

8. Modelos Computacionais Introdução Fundamentação Teórica Considerações Finais Referências Utilização • A confiança e reputação são utilizadas como: • Mecanismo de busca de parceiros honestos. • Ajuda na tomada de decisão sobre honrar ou não contratos. • Melhorar os mecanismos de revisão de crenças e de cooperação. • Em SMA é comum a interdependência entre os agentes a fim de atingir objetivos, quando estes excedem a capacidade de agir isoladamente.

9. Modelos Computacionais Introdução Fundamentação Teórica Considerações Finais Referências • Exemplo de utilização • Ag1tem o objetivo g1 • Para atingi-lo deve executar o plano p111 • P111= consiste nas ações a1(),a2() ,a4() • Ag1não sabe executar a2 • Ag2 e ag3são capazes de executar a ação a2; • Se ag1 puder recompensar ag2 ou ag3, pode-se firmar uma parceria. • Qual dos dois agentes escolher para executar a2? • Como saber se um agente é confiável ou não? Exemplo de Rede de Dependência SICHMAN; CONTE, 2002

10. Modelos Computacionais Introdução Fundamentação Teórica Considerações Finais Referências Classificação, vantagens e desvantagens • Modelo Conceitual • Fontes de Informação • Visibilidade • Granularidade

11. Modelos Computacionais Introdução Fundamentação Teórica Considerações Finais Referências Classificação, vantagens e desvantagens • Modelo Conceitual • Baseado na Teoria de jogos • Cognitivo

12. Modelos Computacionais Introdução Fundamentação Teórica Considerações Finais Referências Classificação, vantagens e desvantagens Modelo Conceitual • Cognitivo • Processo interno de inferência que dá origem à reputação atribuída a um alvo. • Confiança e reputação são compostas de crenças subjacentes e são uma função do grau destas crenças. • Nesta abordagem, os estados mentais que levam a confiar em outro agente ou atribuir uma reputação, bem como as consequências de uma decisão e o ato de contar com um outro agente, são parte essencial do modelo. • Mais adaptáveis. (qualitativo) • Esfandiari e Chandrasekharan, 2001

13. Modelos Computacionais Introdução Fundamentação Teórica Considerações Finais Referências Modelo Conceitual Classificação, vantagens e desvantagens • Teoria de jogos • Confiança e reputação são consideradas probabilidades subjetivas pelo qual um individuo A espera que um indivíduo B execute uma ação do qual depende o seu bem estar. • Manipulações estritamente numéricas. (quantitativo) • Confiança e Reputação não são resultado do estado mental do agente, mas de um jogo mais pragmático (fatos), com funções de utilidade e agregação numérica de interações passadas. • Simples, porém menos adaptativo. • Depende da escolha dos outros indivíduos. • Proposto por Gambetta, 1990

14. Modelos Computacionais Introdução Fundamentação Teórica Considerações Finais Referências Fontes de Informação Classificação, vantagens e desvantagens • Experiências Diretas • Testemunhos • Informação sociológica • Preconceito (sentido de ideia pré-concebida)

15. Modelos Computacionais Introdução Fundamentação Teórica Considerações Finais Referências Fontes de Informação Classificação, vantagens e desvantagens • Experiências Diretas • Fonte de informação mais relevante e confiável. • Utilizada por basicamente todos os modelos. • Interação direta com outro agente. • Prioridade para interações recentes • Depende do numero de interações • Também pode depender da variação dos valores. • Grau de confiabilidade pode crescer até atingir um nível intimo. • Interação observada de outros membros da comunidade (restrita a senários que estão dispostos a permitir isso). • Interações diretas nem sempre são possíveis • Ex: agente recém chegado ou sociedade muito grande.

16. Modelos Computacionais Introdução Fundamentação Teórica Considerações Finais Referências Fontes de Informação Classificação, vantagens e desvantagens X • Testemunhos • Também chamada de interações indiretas. • Informações vem de outros membros da comunidade. • Mais abundante do que as diretas porém mais complexo. X X B’s reputation A’s reputation = 0,7 X X A B X A’s reputation ? X X 0,7 X C Fonte de informação baseado em testemunhos

17. Modelos Computacionais Introdução Fundamentação Teórica Considerações Finais Referências Fontes de Informação Classificação, vantagens e desvantagens • Testemunho • Em um mundo ideal, esta informação sendo correta é tão relevante quanto a direta. • No entanto: • Informação falsa: ou a informação de outro agente não é exata ou o agente esta mentindo. • O agente não pode presumir que a informação é completa. • Evidências correlacionadas: opiniões de diferentes testemunhas são baseadas em um mesmo (s) evento (s). • Os agente não sabe como os testemunhos estão relacionados. • Testemunhos podem manipular ou esconder informações para seu próprio benefício. • Pode-se evitar analisando as relações sociais entre os agentes testemunhos.

18. Modelos Computacionais Introdução Fundamentação Teórica Considerações Finais Referências Fontes de Informação Classificação, vantagens e desvantagens • Informações sociológicas • Com base nas relações sociais entre os agentes e o papel que eles tem na sociedade. • Exemplo de relações: dependência, comércio, concorrência, cooperação. • O indivíduo também pode desempenhar um papel na sociedade. (policial, bombeiro, professor, vendedor) • Os modelos baseados nestas informações baseiam-se em técnicas de análise de rede social (conjunto de métodos para analisar as relações sociais/aspectos relacionais). • A utilização destes métodos está condicionada a disponibilidade das relações sociais. (Scott, 2000).

19. Modelos Computacionais Introdução Fundamentação Teórica Considerações Finais Referências Fontes de Informação Classificação, vantagens e desvantagens • Preconceito (sentido de conceito pré-concebido.) • Mecanismo de atribuição de propriedades (como por exemplo a reputação) a um indivíduo baseado em sinais que identificam o indivíduo como membro de um determinado grupo. • Exemplo: uniforme, comportamento .

20. Modelos Computacionais Introdução Fundamentação Teórica Considerações Finais Referências Visibilidade Classificação, vantagens e desvantagens • Global • Individual

21. Modelos Computacionais Introdução Fundamentação Teórica Considerações Finais Referências Visibilidade Classificação, vantagens e desvantagens • Global • Compartilhada por todos os observadores. • Calculada a partir das opiniões dos indivíduos que no passado interagiram com o indivíduo alvo. • Valores disponíveis publicamente a todos os membros. • Atualizado cada vez que um membro emite uma nova avaliação do indivíduo.

22. Modelos Computacionais Introdução Fundamentação Teórica B’s reputation = ** A A’s reputation = *** Reputation System B A’s reputation ? C *** Considerações Finais Referências Visibilidade Classificação, vantagens e desvantagens • Global • Vantagens • A reputação é sempre conhecida. • A reputação está sempre atualizada pois é calcula através da informação que recebem de outros agentes. • Desvantagens • Os agentes não são capazes de armazenar as reputações dos agentes com os quais interagiram • Não existe mecanismo para verificar se a informação é verdadeira ou falsa. • Não consideram o contexto.

23. Modelos Computacionais Introdução Fundamentação Teórica Considerações Finais Referências Visibilidade Classificação, vantagens e desvantagens • Individual • Subjetiva, avaliada por cada indivíduo. • Cada indivíduo atribui um valor de confiança e reputação de acordo com seu ponto de vista, baseado em interações diretas, testemunhas, relações conhecidas entre agentes.

24. Modelos Computacionais Introdução Fundamentação Teórica B’s reputation A’s reputation = 0,7 A B C A’s reputation ? Considerações Finais Referências Visibilidade Classificação, vantagens e desvantagens • Individual • Vantagens: • Os agentes, que podem estar executando em um sistema multi-agentes de larga escapa e distribuído, não necessitam se comunicar com um mecanismo centralizado • Cada agente é capaz de armazenar a reputação dos outros agente desde seu ponto de vista • Desvantagens: • É necessário interagir com o agente primeiro para depois conhecer sua reputação. • A reputação que um agente conhece de outro agente pode não estar atualizada se faz tempo que os agentes não interagem.

25. Modelos Computacionais Introdução Fundamentação Teórica Considerações Finais Referências Granularidade Classificação, vantagens e desvantagens • Reputação/confiança de acordo com o contexto. • Dependente do contexto • Difícil encontrar informações suficientes para calcular confiança/reputação • No entanto é possível que a complexidade dos agentes aumente necessitando deste modelo. • Não dependente do contexto • Mais utilizado • Menor complexidade • Normalmente temos sistemas/tarefas delimitadas

26. Modelos Computacionais Introdução Fundamentação Teórica Considerações Finais Referências Modelos computacionais de confiança e reputação Sporas • Versão sofisticada dos mecanismos de reputação presentes em sites de comércio eletrônico tipo ebay. • Pioneiro em SMA(ZACHARIA, 1999). • Centralizado/Teoria de Jogos/Testemunho/não dependente de contexto/somente reputação • Novos usuários tem um valor mínimo inicial. • Pontuação: 0 a 3000. • +1, 0, -1 • Reputação não pode ser inferior a inicial, por isso não há vantagens em abandonar o sistema.

27. Modelos Computacionais Introdução Fundamentação Teórica Considerações Finais Referências Modelos computacionais de confiança e reputação ReGreT • ReGreT (SABATER; SIERRA, 2001) • Individual/Teoria de Jogos/Direta + Testemunho + social /dependente de contexto/Confiança e reputação • Usa uma base de dados de resultados para armazenar contratos anteriores e o seu resultado. (ODB) • Informações recebidas de outros agentes. (DIB) • Armazenamento de grafos (sociogramas) que definem o ponto de vista do agente social no mundo. (SDB)

28. Modelos Computacionais Introdução Fundamentação Teórica Considerações Finais Referências Modelos computacionais de confiança e reputação Castelfranchi & Falcone • CASTELFRANCHI; FALCONE, Principles of Trust for MAS, 1998 • Baseado em 2 elementos: • Confiança • Delegação

29. Modelos Computacionais Introdução Fundamentação Teórica Considerações Finais Referências Modelos computacionais de confiança e reputação Castelfranchi & Falcone • Em geral confiança é pré-requisito para delegação • Exceções: • Confiança sem delegação • Delegação sem confiança

30. Modelos Computacionais Introdução Fundamentação Teórica Considerações Finais Referências Modelos computacionais de confiança e reputação Castelfranchi & Falcone • C&F – Delegação • Para atingir um objetivo g, x delega a tarefa t para y • Delegação fraca: • y não sabe que recebeu a tarefa de x, nem conhece g • Ex: ponto de ônibus

31. Modelos Computacionais Introdução Fundamentação Teórica Considerações Finais Referências Modelos computacionais de confiança e reputação Castelfranchi & Falcone • Delegação • Delegação forte: • y sabe a respeito da delegação • pode haver negociação • precisa haver comprometimento de y

32. Modelos Computacionais Introdução Fundamentação Teórica Considerações Finais Referências Modelos computacionais de confiança e reputação Castelfranchi & Falcone • Confiança • Estado mental - BDI • Conjunto de crenças • Restringe-se a uma tarefa • x confia em y para realizar a tarefa t • y não precisa ser um agente

33. Modelos Computacionais Introdução Fundamentação Teórica Considerações Finais Referências Modelos computacionais de confiança e reputação Castelfranchi & Falcone • Confiança • Não é absoluta - pode ter vários níveis • Delegação acontece a partir de um certo nível • Reajustada levando em conta o resultado da tarefa t (sucesso ou fracasso)

34. Modelos Computacionais Introdução Fundamentação Teórica Considerações Finais Referências Modelos computacionais de confiança e reputação Castelfranchi & Falcone • Crenças • Competência • x acredita que y tem competência para realizar a tarefa t • Disposição • x acredita que y vai de fato realizar a tarefa t

35. Modelos Computacionais Introdução Fundamentação Teórica Considerações Finais Referências Modelos computacionais de confiança e reputação Castelfranchi & Falcone • Crenças • Dependência • x acredita que depende de y para realizar a tarefa t • Cumprimento • derivado das 3 crenças anteriores • x acredita que o objetivo g será realizado

36. Modelos Computacionais Introdução Fundamentação Teórica Considerações Finais Referências Modelos computacionais de confiança e reputação Castelfranchi & Falcone Estado mental

37. Modelos Computacionais Introdução Fundamentação Teórica Considerações Finais Referências Modelos computacionais de confiança e reputação Castelfranchi & Falcone • Crenças delegação fraca • Determinação (willingness) • x acredita que y decidiu fazer t • Persistência • x acredita que y não vai mudar de ideia quanto a t • Autoconfiança • x acredita que y crê que é capaz de atingir o objetivo g (do qual t faz parte)

38. Modelos Computacionais Introdução Fundamentação Teórica Considerações Finais Referências Modelos computacionais de confiança e reputação For Trust • HERZIG et al; A logic of trust and reputation • Baseado no C&F • Dois tipos de confiança • y vai agir imediatamente • y vai agir assim que algumas condições forem atingidas

39. Modelos Computacionais Introdução Fundamentação Teórica Considerações Finais Referências Modelos computacionais de confiança e reputação For Trust Crenças • Objetivo • x tem o objetivo g • Capacidade • y é capaz de realizar a tarefa t (necessária para atingir g)

40. Modelos Computacionais Introdução Fundamentação Teórica Considerações Finais Referências Modelos computacionais de confiança e reputação For Trust Crenças • Competência • y tem competência para executar t com qualidade satisfatória • Intenção • y está decidido a realizar t

41. Modelos Computacionais Introdução Fundamentação Teórica Considerações Finais Referências Modelos computacionais de confiança e reputação For Trust Reputação • Crenças de Grupo

42. Modelos Computacionais Introdução Fundamentação Teórica Considerações Finais Referências Quadro comparativo entre os modelos

43. Modelos Computacionais Considerações Finais Introdução Fundamentação Teórica Referências Conclusão • Foi possível definir os conceitos e observar que confiança e reputação estão diretamente relacionadas porém é possível diferenciá-las. • Informações diretas e baseados em testemunhas são as fontes mais utilizadas, porém para aumentar a eficiência dos modelos é necessário utilizar os aspectos sociológicos. • Sistemas com arquitetura mais simples e centralizados são os mais utilizados, porém poderá haver um aumento na demanda por sistemas com maior robustez. • Ficou claro que a maioria dos modelos são baseados na teoria de jogos, porém esta abordagem pode ser demasiadamente restritiva. Uma solução seria a utilização de modelos cognitivos ou uma combinação de ambos. • A necessidade da Delegação gera a necessidade dos conceitos de confiança e reputação.

44. Modelos Computacionais Introdução Fundamentação Teórica Considerações Finais Referências Congressos, Workshops • International Workshop on Multi-Agent Systems and Agent-Based Simulation (MABS) • Trust, Reputation and User Modeling Workshop (TRUM) • Workshop on Trust and Reputation (Inerdisciplines) • Workshop-Escola de Sistemas de Agentes, seus Ambientes e aplicações (WESAAC) • International Conference on Autonomous Agents and Multiagent Systems (AAMAS) • Simpósio Brasileiro de Inteligência Artificial (SBIA) • Workshop on Deception, Fraud and Trust in Agent Societies

45. Modelos Computacionais Considerações Finais Referências Introdução Fundamentação Teórica Referências BROMLEY, D. B. Reputation, Image and Impression Management. [S.l.]: John Wiley & Sosns Ltd., 1993. CASTELFRANCHI, C.; FALCONE, R. Principles of trust for MAS: Cognitive anatomy, social importance and quantification. ICMAS, v. 1, p. 72–79, 1998. HERZIG, A. et al. Prolegomena for a logic of trust and reputation. In: 4th ForTrust Meeting. [S.l.: s.n.], 2008. J. SICHMAN, R. CONTE, 2002. Multi-Agent Dependence by Dependence Graphs. Proceedings of the 1st International Joint Conference on Autonomous Agents and Multi-Agent Systems. 483-492. ACM Press. SABATER, J.; SIERRA, C. Review on computational trust and reputation models. Kluwers Academic Publishers, v. 1, p. 27, 2005. SABATER, J.; SIERRA, C. Reputation and social network analysis in multi-agent systems. In Proceedings of First International Conference on Autonomous Agents and Multiagent Systems (AAMAS), pages 475–482, 2002. SCIHMITZ, T. Crenças de Grupo como Instrumento de Formação da Reputação: Uma Arquitetura Baseada em Agentes e Artefatos. Dissertação (Mestrado) Universidade Federal de Santa Catarina,2011.  SILVA, V. On-line 29/11/2011: www.ic.uff.br/~viviane.silva/2010.1/isma/util/aula09_1.ppt ZACHARIA, G. Collaborative Reputation Mechanisms for Online Communities. Dissertação (Mestrado) — Massachusetts Institute of Technology, 1999.