Szondázás alapú diagnosztika 2.

1. Szondázás alapú diagnosztika 2. Autonóm és hibatűrő információs rendszerek Kocsis Imre ikocsis@mit.bme.hu 2013.09.23.

2. Motiváció • Rish et al.: AdaptiveDiagnosisinDistributed Systems • Szonda által • A rendszer állapotáról felfedett • Többletinformáció • Részleges szondahalmazhoz képest • Mérőszám?!? • A kérdés értelmes előválasztott • Szondák (valvált.-vektor; preplannedprobing) • és szondakimenetek (értékek; activeprobing) esetén is.

3. Alapvető fogalmak • Valószínűségi változók • Rendszerállapot • Szondák (kimenete) • Entrópia

4. Entrópia • f diszkrét értékkészletű val.vált. az valószínűségi tér felett. • ! A „mély” matematikai alapoktól itt eltekintünk. • Mértékegység: nat, bit • Valószínűség-függvénnyel (probabilitymassfunction):

5. Entrópia • P(f) legyen egy val.vált., ami „f kimeneti eseményeit lecseréli azok valószínűségére” • Másképp: változó kimenetéhez kapcsolt információtartalom/”meglepőség” (surprisal) várhatóértéke

6. Entrópia • „Cinkelt érme” • Empirikus eloszlásból közelítünk library('infotheo') library('ggplot2') coinentropy <- function(x){ natstobits(entropy(c(rep(0, x*10000),rep(1, (1-x)*10000)), method=‚emp’)) } coin0prob <- seq(from=0, to=1, by=0.01) coinentropyvals <- sapply(coin0prob, coinentropy) qplot(coin0prob, coinentropyvals)

7. Entrópia

8. Entrópia • A „bizonytalanság” fogalmat ragadja meg • Egyik olvasata: „kimenetek meglepőségének várhatóértéke” • Logaritmus: független bizonytalanságok „additívak”

9. Entrópia • X és Y diszkrét értékkészletű val.vált. ugyanazon val. tér felett.

10. Feltételes entrópia • Definiáljuk így: • Felírható így is: • Azaz: entrópiák „átlaga” a felt. valószínűségekre nézve

11. Kölcsönös információ • Az (átlagos) kölcsönös információ: • „Egymással kapcsolatban hordozott információ”

12. Véletlen minták kölcsönös információja rn1 <- unlist(discretize(rnorm(100))) rn2 <- unlist(discretize(rnorm(100))) myrn <- data.frame(rn1=rn1, rn2=rn2) plot(myrn)

13. Véletlen minták kölcsönös információja

14. Kölcsönös információ: ‚iris’

15. Kölcsönös információ: ‚iris’ Kölcs. inf: 1.41 bit

16. Kölcsönös információ: ‚iris’ Kölcs. inf: 0.44 bit

17. Kapcsolatok

18. Szondakiválasztás • A leginformatívabb szonda: • Igaz a következő: • Azaz a második tagot kell minimalizálnunk! • ~ a rendszer állapotával kapcsolatos (maradék) bizonytalanság

19. Szondakiválasztás • Kifejtve: • Figyeljük meg: • A priori eloszlás kell X-re • Meg eloszlás minden másra… • Mohó algoritmus O(r2) hajtja végre

20. Egyszerűsített alak • Max. egy hiba • Minden állapot azonos valószínűséggel • (???) • Figyeljük meg: az (Y,T) „események” partícionáljákX-et • Egy kimenettel inkompatibilis állapotok „kinullázódnak” a közös valószínűségben • A szumma „átsorrendezhető”

21. Egyszerűsített alak • Legyen m az állapotok száma; • ni az indukált dekompozíció i. részhalmazának elemszáma • Természetes interpretáció: a további szükséges szondák számának várhatóértéke • Partíciónként legalább log(ni) további szonda kell

22. Aktív szondázás Ha nincs hiba? Hatékony implementáció: Bayes hálók

23. Optimális hatásos szondahossz (illusztráció)