Confianza y Reputación en Sistemas Multi-Agente

Confianza y Reputación en Sistemas Multi-Agente Ramón Hermoso Traba Universidad Rey Juan Carlos ramon.hermoso@urjc.es

Contenidos • Introducción • Aproximación al problema • Definiciones • Modelos de Confianza • Comerciales • Investigación • Testbeds • ART Testbed • TOAST • Discusión 03/10/2014 Confianza y Reputación en Sistemas Multi-Agente Confianza y Reputación en Sistemas Multi-Agente 2

1. Introducción Aproximación al problema Confianza + Coste + Riesgo + … O: comprar un coche nuevo P1 P2 C1 P3 C1 Acción: Comprar coche a P2 P4 Confianza y Reputación en Sistemas Multi-Agente

1. Introducción Aproximación al problema Human-based metaphores again?... Ok, coordination is fine, but… Any other factor that leads the agent to act? What about “trust” on others? Come on!, this is a course about agents!!! Let me tell you something… bla, bla, bla Bob Alice Confianza y Reputación en Sistemas Multi-Agente

[Gambetta90] “La confianza es la probabilidad subjetiva por la que un individuo A espera que otro individuo B realice una determinada acción de la que el bienestar de A depende” RAE Confianza: esperanza firme que se tiene de alguien o algo Reputación: prestigio o estima en que son tenidos alguien o algo Falta de consenso semántico Confianza ≠ Reputación Trust ≠ Reputation ≠ Confidence ≠ Reliability ≠ Willingness … 1. Introducción Definiciones Confianza y Reputación en Sistemas Multi-Agente

IntrouducciónDefiniciones Dificultad de modelización Medida de la estima o del prestigio Subjetividad ¿Qué es algo bueno? ¿Y para quién? Dificultad para el diseño Medida cuantitativas o cualitativas… tAB = 0.7 | tBA= 0.3 | tBC= “bueno” | tBA= k Distintos campos confluyen: informática (modelos computacionales), sociología (redes sociales), psicología (estados mentales), economía (funciones de utilidad, toma de decisiones, etc.), … Confianza y Reputación en Sistemas Multi-Agente

Modelos de confianza Sirven para estimar la confianza en un agente/situación Predicen el comportamiento en una hipotética interacción confianza = Confianza ≠ Confiar La confianza se usa como factor en procesos de selección de acciones: 1. Introducción Definiciones Confianza Selección de la acción Planificación Determinación de acciones Búsqueda de la acción Negociación / Ejecución Confianza y Reputación en Sistemas Multi-Agente

Contenidos Introducción Aproximación al problema Definiciones Modelos de Confianza Comerciales Investigación Testbeds ART Testbed TOAST Discusión 03/10/2014 Confianza y Reputación en Sistemas Multi-Agente Confianza y Reputación en Sistemas Multi-Agente 8

Modelos de confianzaComerciales Dominios comerciales o redes sociales Ejemplo: eBay Usado como ayuda al usuario Valoración de opiniones distribuida Visión de valoraciones unívoca Naturaleza de las valoraciones: Suma de opiniones numéricas individuales: +1,0,-1 Comentarios textuales Visión global de la reputación de los usuarios Confianza y Reputación en Sistemas Multi-Agente

Modelos de confianzaComerciales • Trip Advisor (www.tripadvisor.es) • Opiniones • Votaciones • Ránkings • Positivos (preferencias) • Negativos (características a evitar) Confianza y Reputación en Sistemas Multi-Agente

Modelos de confianzaComerciales Dominios comerciales o redes sociales Ejemplo: eConcozco,Friendster, Facebook, … Aplicable a todo tipo de interacciones Intercambio de datos Redes P2P Descarga de ficheros Usan valoraciones como indicación al usuario Opiniones Ratings 1..10 “muy bueno” Confianza y Reputación en Sistemas Multi-Agente

Modelos centralizados vs. distribuidos Centralizados Mejor gestión de la información Presunción de autoridad (¿debemos confiar en ella?) Menos flexible / más dependiente Distribuidos Permiten subjetividad Mecanismo adaptativo y autónomo de control social  normas sociales emergentes (sociedades humanas) Antropomorfismo Más robusto Modelos centralizados y distribuidos  ¡¡¡compatibles!!! Modelos de ConfianzaTipos de modelos Confianza y Reputación en Sistemas Multi-Agente

Modelos de ConfianzaInvestigación ¿Cómo lograr sistemas estables usando la confianza? Empatía o reciprocidad con los agentes a partir de factores como la disposición o la fiabilidad (otros muchos) Se obtienen y evolucionan por Modelos de Confianza La confianza será una medida para decidir la interacción con otro agente (necesaria pero no suficiente) Interacciones directas e indirectas Información interna (experiencia pasada)o externa (opiniones de terceros) Diseño de protocolos y mecanismos para las interacciones (reglas de encuentro) Confianza y Reputación en Sistemas Multi-Agente

Modelos de ConfianzaInvestigación Problemas Ajuste de la confianza tras una experiencia directa Ajuste de la confianza tras una experiencia indirecta (p.ej. en una organización o grupo) Cómo agregar opiniones de otros a las experiencias locales propias Cómo ajustar la confianza en agentes que han servido como fuentes de reputación Exploración vs. Explotación Confianza y Reputación en Sistemas Multi-Agente

Modelos de confianzaInvestigación Factores a tener en cuenta: Capacidad Disposición Permisos Utilidad (no sólo económica…) Altruismo Egoísmo Dependencia … Confianza y Reputación en Sistemas Multi-Agente

Dos formas de conceptualizar la confianza en sistemas multi-agente Nivel individual: creencia sobre el comportamiento futuro de otro agente en una situación determinada  lo mejor para el agente Nivel de sistema: usada para forzar a los agentes a actuar de forma benevolente (normas de comportamiento emergente)  lo mejor para el sistema Conceptos: honestidad, benevolencia, malicia, incompetencia, altruismo difíciles de distinguir Modelos de confianzaInvestigación Confianza y Reputación en Sistemas Multi-Agente

Clasificación de modelos de confianza Modelos basados en Aprendizaje y Evolución Modelos basados en Reputación Modelos Socio-Cognitivos Modelos para Organizaciones Alineación semántica Modelos de confianzaInvestigación Confianza y Reputación en Sistemas Multi-Agente

EVOLUCIÓN No siempre escenarios cooperativos Aunque éstos no son ideales Malevolencia Incompetencia Desconocimiento, … Utilidad vs. Confianza (equilibrio) [Wu,Sun]  Confianza emerge como resultado de la evolución de estrategias en varias interacciones Mayor ganancia a largo plazo para los agentes “buenos” sacrificando parte de su utilidad a corto plazo (Dilema del prisionero) Umbral en el número de interacciones (característico para el cálculo) Variabilidad de los resultados Modelos de confianzaInvestigación – Aprendizaje y Evolución Confianza y Reputación en Sistemas Multi-Agente

APRENDIZAJE [Birk]  Confianza también emerge del aprendizaje Dar más peso a los objetivos sociales vs. objetivos individuales Metáfora de la sociedad (inversión) Ciclo de actuación Modelos de confianzaInvestigación – Aprendizaje y Evolución Confianza y Reputación en Sistemas Multi-Agente

Modelos de confianzaInvestigación – Aprendizaje y Evolución Ciclo de Birk Equilibrio final Aprenden ( beneficio global) Mayoría corrupta Mayoría cooperativa Explotan ( beneficio individual) Confianza y Reputación en Sistemas Multi-Agente

Problemas: Asumen información completa (estrategias, recompensas, utilidades,…) Probados con restricciones fijas, no en el mundo real Resultado de interacciones  valor dicotómico (0 ó 1) Modelos de confianzaInvestigación – Aprendizaje y Evolución Confianza y Reputación en Sistemas Multi-Agente

Opinión o vista de alguien acerca de algo Confianza≠ Reputación Reputación es un medio para la Confianza (ej. eBay) Líneas de investigación en Reputación: Métodos para recoger ratings acerca de lo “bueno” que es el agente Métodos de razonamiento para la agregación de esa información Mecanismos de actualización (nuevos pesos) Recuperación y agregación con Redes Sociales Representación mediante grafos (relaciones) Los ratings“fluyen” entre los nodos por los arcos [Schillo et al.] Honestidad y Altruismo Posibilidad para los agentes de adquirir información de otros Modelos de confianzaInvestigación - Reputación Confianza y Reputación en Sistemas Multi-Agente

Agregación Combinación de valores de reputación que llegan a un agente Ejemplo: eBay (+1, -1). Comentarios? Modelos basados en teorías más sólidas: [Yu y Singh]  Teoría de Dempster-Shafer  Funciones de creencia - tres tipos de valores: Trustworthy Untrustworthy Uncertain Modelos de confianzaInvestigación - Reputación Confianza y Reputación en Sistemas Multi-Agente

Concepto de witness Testigos o fuentes de reputación Problema: Asunción de que nunca mienten Cómo elergir las fuentes de reputación Todo intercambio de información implica riesgo de imprecisión (casual o intencionada)  A más intercambio mayor riesgo Soluciones: [Schillo] honestidady altruismo [Sen y Dutta]  probabilidad de mentira sobre los testigos Modelos de confianzaInvestigación - Reputación Confianza y Reputación en Sistemas Multi-Agente

[Sabater y Sierra]  3 dimensiones de la reputación: Dimensión individual Reputación como suma ponderada de impresiones subjetivas que derivan de interacciones directas Dimensión social Impresión del grupo de a1 acerca de a2 Impresión del grupo de a1 acerca del grupo de a2 Impresión de los agentes del grupo de a2 sobre su compañero Dimensión ontológica Modelos de confianzaInvestigación - Reputación Confianza y Reputación en Sistemas Multi-Agente

Búsqueda de un modelo de confianza basado en reputación: Más valor a experiencias propias Cuanto mayor es el intercambio de información mayor es la probabilidad de hacer un razonamiento inexacto (incompetencia – malevolencia) Buscamos un equilibrio entre Razonamiento local  experiencia propia hasta ahora Información externa  reputación Modelos de confianzaInvestigación - Reputación Confianza Confianza y Reputación en Sistemas Multi-Agente

Creencias acerca de la valoración del entorno y las características del agente evaluado (estado mental) Cómo se crea y evoluciona la confianza como atributo mental Castelfranchi (ISTC-CNR)  visión cognitiva de la confianza vs. visión cuantitativa (para agentes BDI) Competencia Buena voluntad Persistencia Motivación Problemas Les falta base experiental (“muy sociológico”) Costosos Combinación con modelos probabilísticos Modelos de confianzaInvestigación – Cognitivos Confianza y Reputación en Sistemas Multi-Agente

Modelos de confianza orientados a organizaciones de agentes Organización  SMAs + restricciones Roles, interacciones, normas, … Aprovechan la información de la organización para mejorar modelos de confianza Similitud de roles/interacciones Argumentación con normas Modelos de confianzaInvestigación – Orientados a OV Confianza y Reputación en Sistemas Multi-Agente

Modelos de confianzaInvestigación – Orientados a organizaciones Definición de la Organización Proporcionado por la organización • Problema de decisión del agente • Los agentes deben cumplir objetivos • Los agentes deben realizar diversas interacciones para cumplir estos objetivos • De entre los agentes capacitados (por su rol) para realizar las interacciones, ¿a cuál de ellos elegir? Confianza y Reputación en Sistemas Multi-Agente

Modelos de confianzaInvestigación – Orientados a OV Los agentes mantienen una Local Interaction Table (LIT): Estructura de datos que compila los resultados de las interacciones pasadas Indexados por claves del tipo agente/rol/interaction (<X,Y,Z>) Con valores asociados de confidence y reliability <X,Y,Z>: unidad atómica “agente X jugando el rol Y en la interación Z” Confidence (cA <X,Y,Z>): de la propia experiencia del agente Reliability (rA <X,Y,Z>): mide cómo de seguro está un agente acerca de su propio valor de confidence en la situación <X,Y,Z> Confianza y Reputación en Sistemas Multi-Agente

Modelos de confianzaInvestigación – Orientados a OV Enfoque básico: “… un agente A jugando el rol Estudiante necesita encontrar un compañero para un tipo de práctica en una asignatura específica” El estudiante mirará en su LIT las interacciones pasadas haciendo ese tipo de prácticas (I) con otros estidiantes (R) El agente A seleccionará a aquel agente con una mayor confidence en su LIT poniendo atención únicamente en aquellas entradas <X,R,I>, donde X puede ser cualquier otro agente Confianza y Reputación en Sistemas Multi-Agente

Modelos de confianzaInvestigación – Orientados a OV Problema: la LIT puede ser incompleta No hay entradaspara la situación <X,Y,Z> Existebaja precisiónen los valores para las entradas<X,Y,Z> Hipótesis: los agentes se comportan de manera similar cuando juegan roles similares o actúan en interacciones similares Los valores de confidence pueden ser aproximados a partir de las entradas en la LIT del agenteen lugar de preguntar a fuentes de reputación Experiencias con un agente en roles/interacciones similares pueden ser usadas para aproximar mejor valores de confidence Las similitudespueden ser obtenidas a partir de las taxonomías de roles e interacciones que facilita la organización Confianza y Reputación en Sistemas Multi-Agente

Modelos de confianzaInvestigación – Orientados a OV Basictrust model aplicado a los datos de la LIT: Sacamos partido a la estructura de la organización (inference trust model): Cálculo de laSimilitud: Actualización de confidence: Actualización de la reliability: basado en el número de interacciones y en su variabilidad Confianza y Reputación en Sistemas Multi-Agente

Modelos de confianzaInvestigación – Alineación semántica • Línea de investigación en dominios SOC • Especialmente  Semantic Web Services • Cualquier dominio de intercambio de información • Solución: definir ontologías‘ad-hoc’ • Problema: mundo de la heterogeneidad • ¿Qué es 0.5 en [0..1]? • ¿0.7 es bueno para ti? • ¿Cómo identificar situaciones iguales o similares? • “Traductores” semánticos • Entidades intermedias • Interpretan lo que quieren decir • Como con los lenguajes de representación del conocimiento • Técnicas más avanzadas • Integración de ontologías a través de reglas • … Confianza y Reputación en Sistemas Multi-Agente

3. Testbeds - ART Agent, Reputation and Trust (ART) testbed http://www.lips.utexas.edu/art-testbed/index.html Motivación Excesiva heterogeneidad de las métricas para evaluar modelos de confianza Unificación de perspectivas Entorno común de experimentación La competición hace más llamativa la herramienta Confianza y Reputación en Sistemas Multi-Agente

3. Testbeds - ART Confianza y Reputación en Sistemas Multi-Agente

3. Testbeds - ART Tasadores reciben clientes que pagan precio fijo por tasación Las pinturas se distribuyen aleatoriamente entre las eras Al pasar rondas los mejores tasadores recibirán más clientes (y por tanto más beneficios) Confianza y Reputación en Sistemas Multi-Agente

3. Testbeds - ART Tasadores saben su nivel de expertise en cada era Tasadores no saben el nivel de los demás Tasadores pueden comprar reputaciones, por un precio fijo, de otros tasadores. Valor de reputación entre 0 y 1, valoración sólo para comunicación entre agentes No se fuerza a usar una representación interna fija Confianza y Reputación en Sistemas Multi-Agente

3. Testbeds - ART Compra/Venta de opiniones Por cada pintura, un tasador puede pedir opiniones (a un precio fijo) de otros tasadores La simulación genera opiniones sobre las pinturas para los tasadores que aceptan dar opiniones La precisión de la opinión es proporcional al expertise del agente que da la opinión sobre la era del cuadro y al dinero invertido en la opinión Confianza y Reputación en Sistemas Multi-Agente

3. Testbeds - ART Métricas De un agente Dinero del ganador Error medio cometido en las tasaciones Desviación típica del error cometido en las tasaciones Número de cada tipo de mensajes intercambiados De la sociedad de agentes Saldo de cada agente Ganancia de cada agente en cada iteración Número de mensajes y transacciones ocurridas Distribución de transacciones entre agentes Confianza y Reputación en Sistemas Multi-Agente

3. Testbeds - ART Ventajas Intento de unificar visiones y criterios No fija la representación del conocimiento de los agentes Aceptado por la comunidad (bajando la popularidad  ) Desventajas Orientado a maximizar la función de tasación Teoría de juegos no debería ser el fin En una misma población  Dilema del Prisionero Iterado (más complejo) Resultados “anormales” en las competiciones Confianza y Reputación en Sistemas Multi-Agente

3. Testbeds - TOAST Trust Organisational Agent System Testbed (TOAST) Objetivo Proporcionar un soporte experimental para la evaluación de modelos de confianza en organizaciones virtuales  SMAs + algunas restricciones (roles, interacciones, objetivos, normas, …) Características Experimentalsetup: Definición de la OV:Taxonomías de Roles, Interacciones Número y tipos de objetivos/agentes Experiment generation Generación estocástica de las características de los agentes (capacidad, diversidad) Experiment execution Evaluación cuantitativa de los modelos de confianza Confianza y Reputación en Sistemas Multi-Agente

3. Testbeds - TOAST Ejemplo de taxonomía de Roles Definición de objetivos <GoalsType> <Goal Name="Select Subject to Enrol"> <Interaction Name="Study Subject"> <Role Name="Student"> </Role> <Role Name="Academic Staff"> </Role> </Interaction> </Goal> <Goal Name="Select Lecturer"> <Interaction Name="Teach"> <Role Name="Academic Staff"> </Role> <Role Name="Student"> </Role> </Interaction> </Goal> … Confianza y Reputación en Sistemas Multi-Agente

Generación estocástica Asignación Agentes/Objetivos Qué es lo que un agente tiene que hacer Asignación Agentes/Roles Qué funcionalidades ofrecen los agentes Valores de capacidad Agentes/Rol/Interacción Cómo de “bueno” es un agente jugando un rol determinado en una interacción específica Se modela mediante distribuciones de probabilidad normales Media: habilidad del agente para realizar la acción Desviación típica: variaciones sufridas por diferentes situaciones Testbeds – TOASTGeneración de experimentos Confianza y Reputación en Sistemas Multi-Agente

Testbeds – TOASTDinámica de ejecución • Los objetivosson entregado en las colas de los agentes • Los agentes toman los objetivos y les asocian interacciones • Los agentes se basan en sus modelos de confianza para elegir un agente de entre los posibles candidatos • TOAST determina la utilidad de las interacciones • Los agentes actualizan sus modelos Confianza y Reputación en Sistemas Multi-Agente

Confianza y Reputación en Sistemas Multi-Agente