Incertitude

1. Incertitude Chap. 13

2. Plan • Incertitude • Probabilité • Syntaxe et Sémantique • Inférence • Indépendance et règle de Bayes • Comment l’utiliser?

3. Incertitude Soit action At = partir pour l’aéroport t minutes avant le vol Est-ce que At me permet d’arriver à temps? Problèmes: • Observabilité partielle (état de route, plans des autres conducteurs, etc.) • Senseurs bruités (nouvelle sur le trafic) • Incertitude dans les résultats des actions (pneu dégonflé, etc.) • Complexité énorme pour modéliser et prédire le trafic Donc, une approche purement logique va • Soit risquer le fausseté: “A25 me permet d’arriver à temps” • Soit arriver à la conclusion trop faible pour prendre une décision: “A25 va me permettre d’y arriver à temps s’il n’y a pas d’accident sur le pont et qu’il ne pleut pas et que mes pneus restent intacts, etc. » (A1440 pourrait raisonnablement être considérée de m’y amener à temps mais je dois rester une nuit à l’aéroport …)

4. Méthodes pour traiter l’incertitude • Étendre la logique • Logique de défaut ou non monotone: • Par défaut: supposons que ma voiture n’a pas de pneu à plat • Supposons que A25 marche à moins contredit par des évidences • Problèmes: Quelles hypothèses par défaut sont raisonnables? Comment traiter la contradiction? • Logique non monotone: quand contradiction, défaire la chose la moins ancrée • Approche numériques • Probabilité • Modéliser le degré de croyance de l’agent en une proposition • Étant donné les évidences disponibles, "A25 me permet d’y arriver à temps" avec la probabilité 0.04 • Combinaisons • Règles avec facteurs arbitraire (fudge factors): • A25 |→0.3 arriver à temps • Sprinkler |→0.99WetGrass • WetGrass |→0.7Rain • Problèmes: combinaison des règles, Sprinkler causes Rain?? • Logique floue: étend les valeurs de vérité en [0,1] ≠ probabilité • WetGrass est vrai à degré 0.2

5. Probabilité Des assertions probabilistes résument les effets de • Paresse (laziness): impossibilité d’énumérer les exceptions, qualifications, etc. • ignorance: manque des faits pertinents, des conditions initiales, etc. Probabilité subjective ou Bayesienne: • Probabilités reliées aux propositions par rapport à l’état de connaissances de l’agent e.g., P(A25 | pas d’accident rapporté) = 0.06 (Ceci n’est pas une assertion sur le monde, mais une évaluation) Probabilités de propositions changent avec de nouvelles évidences: e.g., P(A25 | pas d’accident rapporté, 5 a.m.) = 0.15 (analogie à l’entraînement KB |=α, non à la vérité)

6. Prendre des décisions sous incertitude Supposons que je crois en : P(A25 arrive à temps | …) = 0.04 P(A90 arrive à temps | …) = 0.70 P(A120 arrive à temps | …) = 0.95 P(A1440 arrive à temps | …) = 0.9999 • Quelle action prendre? Dépend de mes préférences sur rater le vol vs. temps d’attente, etc. • Théorie d’utilité est utilisée pour représenter et inférer des préférences • Théorie de décision = théorie de probabilité + théorie d’utilité

7. Probabilité: base • Commençons par un ensemble Ω — l’espace d’échantillonnage • e.g., 6 chiffres d’un dé. • est un point d’échantillon / monde possible / événement atomique • Un espace de probabilité ou modèle probabiliste est un espace d’échantillonnage avec l’assignation P(w) pour chaque : • 0 ≤ P(w) ≤ 1 • ΣwP(w) = 1 • e.g., P(1)=P(2)=P(3)=P(4)=P(5)=P(6)=1/6. • Un événement A est n’importe quel sous ensemble de Ω • E.g., P(jet de dé < 4) = P(1) + P(2) + P(3) = 1/6 + 1/6 + 1/6 = 1/2

8. Variable aléatoire • Une variable aléatoire est une fonction des points d’échantillonnage vers certain champ, e.g. réel ou booléen • E.g. Impaire(dé=1) = vrai • P induit une distribution de probabilité de toute variable aléatoire X: • E.g. P(Impaire=vrai) = P(1) + P(3) + P(5) = 1/6 + 1/6 + 1/6 = 1/2

9. Propositions • Considérer une proposition comme l’événement (ensemble de points d’échantillonnage) où la proposition est vraie • Étant donné des variables aléatoires A et B: • Événement a = ensemble de points d’échantillonnage où A(w) = vrai • Événement a = ensemble de points d’échantillonnage où A(w) = faux • Événement ab = ensemble de points d’échantillonnage où A(w) = vrai et B(w) = vrai • Dans les applications d’IA, les points d’échantillonnage sont souvent définis pat les valeurs d’un ensemble de variables aléatoires, i.e. l’espace d’échantillonnage est le produit cartésien des champs des variables • Avec des variables booléennes, les points d’échantillonnage = modèles de logique de proposition • E.g. A = vrai, B = faux, ou ab • Proposition = disjonction des événements atomiques dans lesquels elle est vraie • E.g. (a  b) =(¬a  b)  (a ¬b)  (a  b)  P(a  b) = P(¬a  b) + P(a  ¬b) + P(a  b)

10. Syntaxe • Élément de base: variable aléatoire • Similaire à la logique propositionnelle: les mondes possibles sont définis par des assignations de valeurs aux variables aléatoires • Variables aléatoires booléennes e.g., Cavity (est-ce que j’ai une carie?) • Variables aléatoires Discrètes e.g., Weather prend des valeurs dans <sunny,rainy,cloudy,snow> • Les valeurs dans le domaine doivent être exhaustives et exclusives mutuellement • Propositions élémentaires construites par assignation de valeur à une variable aléatoire: • e.g., Weather =sunny, Cavity = false (abbreviated as cavity) • Propositions complexes sont formées avec les propositions élémentaires et des connecteurs logiques standard. E.g., Weather = sunny  Cavity = false

11. Syntaxe • Événement atomique: une spécification complète de l’état du monde dont l’agent est incertain E.g., si le monde est composé de 2 variables booléennes Cavity et Toothache, alors il y a 4 événements atomiques distincts: Cavity = false Toothache = false Cavity = false  Toothache = true Cavity = true  Toothache = false Cavity = true  Toothache = true • Ces événements atomiques sont exhaustives et mutuellement exclusives

12. Axiomes de probabilité • Pour toutes propositions A, B • 0 ≤ P(A) ≤ 1 • P(true) = 1 et P(false) = 0 • P(A B) = P(A) + P(B) - P(AB)

13. Probabilité a priori • Probabilité a prori ou probabilité inconditionnelle e.g., P(Cavity = true) = 0.1 et P(Weather = sunny) = 0.72 correspondent aux croiyances a priori (i.e. avant l’arrivée de toute nouvelle évidence) • Distribution de probabilité: fournit tous les affectations possibles: P(Weather) = <0.72,0.1,0.08,0.1> (normalisé, i.e., somme à 1) • Distribution de probabilité conjointe pour un ensemble de variables aléatoires: fournit la probabilité de chaque événement atomique avec ces variables aléatoires P(Weather,Cavity) = une matrice de 4 × 2 valeurs: Weather = sunny rainy cloudy snow Cavity = true 0.144 0.02 0.016 0.02 Cavity = false 0.576 0.08 0.064 0.08 • Toute question sur le domaine peut être répondue par la distribution conjointe

14. Probabilité conditionnelle • Probabilité a posteriori or conditionnelle e.g., P(cavity | toothache) = 0.8 i.e., étant donné que toothache est tout ce que je sais • (Notation pour les distributions conditionnelles: P(Cavity | Toothache) = vecteur de 2 éléments de vecteurs de 2 éléments) • Si on sait plus, e.g., cavity est aussi donnée, alors on a P(cavity | toothache,cavity) = 1 • Une nouvelle évidence peut être non pertinente, ce qui permet à la simplification, e.g., P(cavity | toothache, sunny) = P(cavity | toothache) = 0.8 • Ce genre d’inférence, sanctionnée par les connaissances du domaine est cruciale

15. Probabilité conditionnelle • Définition de probabilité conditionnelle: P(a | b) = P(a  b) / P(b) si P(b) > 0 • Règle de produit: fournit une formulation alternative: P(a  b) = P(a | b) P(b) = P(b | a) P(a) • Une version générale tient pour toutes les distributions, e.g., P(Weather,Cavity) = P(Weather | Cavity) P(Cavity) (vu comme ensemble de 4X2 équations) • Règle de chaîne est dérivée par application successive de règle de produit: P(X1, …,Xn) = P(X1,...,Xn-1) P(Xn | X1,...,Xn-1) = P(X1,...,Xn-2) P(Xn-1 | X1,...,Xn-2) P(Xn | X1,...,Xn-1) = …

16. Inférence par énumération • Commencer par la distribution de probabilité conjointe: • Pour toute proposition φ, some les événements atomiques où elle est vraie: P(φ) = Σω:ω╞φ P(ω)

17. Inférence par énumération • Commencer par la distribution de probabilité conjointe: • Pour toute proposition φ, some les événements atomiques où elle est vraie: P(φ) = Σω:ω╞φ P(ω) • P(toothache) = 0.108 + 0.012 + 0.016 + 0.064 = 0.2

18. Inférence par énumération • Commencer par la distribution de probabilité conjointe: • Pour toute proposition φ, some les événements atomiques où elle est vraie: P(φ) = Σω:ω╞φ P(ω) • P(toothache ∨cavity) = 0.108 + 0.012 + 0.016 + 0.064 + 0.072 + 0.008 = 0.28

19. Inférence par énumération • Commencer par la distribution de probabilité conjointe: • Peut aussi calculer les probabilités conditionnelles: P(cavity | toothache) = P(cavity toothache) P(toothache) = 0.016+0.064 0.108 + 0.012 + 0.016 + 0.064 = 0.4

20. Normalisation • Dénominateur peut être vu comme une constante de normalisation α P(Cavity | toothache) = α, P(Cavity,toothache) = α, [P(Cavity,toothache,catch) + P(Cavity,toothache,catch)] = α, [<0.108,0.016> + <0.012,0.064>] = α, <0.12,0.08> = <0.6,0.4> Idée générale: calculer la distribution des variables de requête en fixant les variables d’évidence et sommant sur les variables cachées

21. Inférence par enumération Typiquement, nous sommes intéressés par la distribution de probabilité conjointe des variable de requêteY sachant la valeur spécifique e pour les variables d’évidence E Soit les variables cachéesH = X - Y – E Alors la somation requise pour les entrées conjointes est faite en sommant sur (summing out) les variables cachées: P(Y | E = e) = αP(Y,E = e) = αΣhP(Y,E= e, H = h) • Les termes dans la sommation sont des entrées conjointes parce que Y, E et H couvre l’ensemble de variables aléatoires • Problèmes évidents: • Complexité en temps au pire cas O(dn) où d est la plus grande arité • Complexité en espace O(dn) pour stocker les distributions conjointes • Comment trouver les nombres pour O(dn) entrées?

22. Indépendence • A et B sont indépendantes ssi P(A|B) = P(A) or P(B|A) = P(B) or P(A, B) = P(A) P(B) P(Toothache, Catch, Cavity, Weather) = P(Toothache, Catch, Cavity) P(Weather) • 32 entrées sont réduites à 12; pour n pièces de monnaie indépendantes, O(2n)→O(n) • Indépendance absolue est puissante, mais rare • La dentisterie est un domaine vaste avec des centaines de variables, aucune n’étant indépendante. Quoi faire?

23. Indépendance conditionnelle • P(Toothache, Cavity, Catch) a 23 – 1 = 7 entrées indépendantes • Si j’ai une carie (cavity), la probabilité que la sonde l’accroche (catch) ne dépend pas de si j’ai mal aux dents: (1) P(catch | toothache, cavity) = P(catch | cavity) • La même indépendance tient si je n’ai pas de carie: (2) P(catch | toothache,cavity) = P(catch | cavity) • Catch est indépendante conditionnellement de Toothache sachant Cavity: P(Catch | Toothache,Cavity) = P(Catch | Cavity) • Expressions équivalentes P(Toothache | Catch, Cavity) = P(Toothache | Cavity) P(Toothache, Catch | Cavity) = P(Toothache | Cavity) P(Catch | Cavity)

24. Indépendence conditionnelle contd. • Écrire la distribution conjointe au complet en utilisant la règle de chaîne: P(Toothache, Catch, Cavity) = P(Toothache | Catch, Cavity) P(Catch, Cavity) = P(Toothache | Catch, Cavity) P(Catch | Cavity) P(Cavity) = P(Toothache | Cavity) P(Catch | Cavity) P(Cavity) I.e., 2 + 2 + 1 = 5 nombre indépendant • Dans la plupart des cas, l’utilisation de l’indépendance conditionnelle réduit la taille de représentation de distribution conjointe d’exponentiel en n à linéaire en n • L’indépendance conditionnelle est la forme de connaissance la plus basique et robuste concernant l’environnement incertain

25. Règle de Bayes • Règle de produit P(ab) = P(a | b) P(b) = P(b | a) P(a)  Règle de Bayes: P(a | b) = P(b | a) P(a) / P(b) • Ou en forme de distribution P(Y|X) = P(X|Y) P(Y) / P(X) = αP(X|Y) P(Y) • Utile pour évaluer la probabilité de diagnostic à partir de la probabilité causale : • P(Cause|Effet) = P(Effet|Cause) P(Cause) / P(Effet) • E.g., Soit M méningite, S raideur dans le cou: P(m|s) = P(s|m) P(m) / P(s) = 0.8 × 0.0001 / 0.1 = 0.0008 • Note: probabilité a posteriori de méningite encore très faible!

26. Règle de Bayes et indépendance conditionnelle P(Cavity | toothache  catch) = αP(toothache  catch | Cavity) P(Cavity) = αP(toothache | Cavity) P(catch | Cavity) P(Cavity) • C’est un exemple de modèle Bayesnaïve: P(Cause,Effect1, … ,Effectn) = P(Cause) πiP(Effecti|Cause) • Nombre total de paramètres est linéaire en n

27. Le monde de wumpus • Pij =vrais si [i, j] contient une fosse • Bij =vrai ssi [i, j] sent la brise • Contient seulement B1,1,B1,2,B2,1 dans le modèle probabiliste

28. Spécifier le modèle probabiliste • La distribution conjointe complète est P(P1,1, . . . , P4,4, B1,1, B1,2, B2,1) • Appliquer la règle de produit: P(B1,1, B1,2, B2,1 | P1,1, . . . , P4,4)P(P1,1, . . . , P4,4) (faire comme ça pour obtenir P(Effect|Cause).) • Premier terme : 1 si adjacents à des fosses, 0 autrement • Second terme : fosses placées de façon aléatoire, avec une probabilité de 0.2 par carré: pour n fosses

29. Observations et requête • Nous connaissons les faits: b = ¬b1,1 ∧ b1,2 ∧ b2,1known = ¬p1,1 ∧ ¬p1,2 ∧ ¬p2,1 • Requête = P(P1,3|known, b) • Définir Unknown = tous les Pij autres que P1,3 et Known • Pour inférence par énumération, nous avons: P(P1,3|known, b) = αΣunknownP(P1,3, unknown, known, b) • Augmente exponentiellement avec le nombre de carrés

30. Utiliser l’indépendance conditionnelle • Idée de base: Les observations sont indépendantes des autres carrés cachés • Définir Unknown = Fringe ∪ Other P(b|P1,3,Known,Unknown) = P(b|P1,3,Known,Fringe) • Manipuler la requête en une forme où on peut l’utiliser

31. Utiliser l’indépendance conditionnelle

32. Utiliser l’indépendance conditionnelle

33. Sommaire • La probabilité est un formalisme rigoureuse pour des connaissances incertaines • Distribution de probabilité conjointe spécifie la probabilité de tout événement atomique • Des requêtes peuvent être répondues en sommant sur les événements atomiques • Pour des domaines non triviaux, on doit trouver une façon de réduire la taille de jointure • Indépendance et indépendanceconditionnelle fournissent des outils