230 likes | 358 Views
Szondázás alapú diagnosztika 2. Autonóm és hibatűrő információs rendszerek Kocsis Imre ikocsis @ mit.bme.hu 2013.09.23. Motiváció. Rish et al .: Adaptive Diagnosis in Distributed Systems Szonda által A rendszer állapot áról felfedett Többletinformáció
E N D
Szondázás alapú diagnosztika 2. Autonóm és hibatűrő információs rendszerek Kocsis Imre ikocsis@mit.bme.hu 2013.09.23.
Motiváció • Rish et al.: AdaptiveDiagnosisinDistributed Systems • Szonda által • A rendszer állapotáról felfedett • Többletinformáció • Részleges szondahalmazhoz képest • Mérőszám?!? • A kérdés értelmes előválasztott • Szondák (valvált.-vektor; preplannedprobing) • és szondakimenetek (értékek; activeprobing) esetén is.
Alapvető fogalmak • Valószínűségi változók • Rendszerállapot • Szondák (kimenete) • Entrópia
Entrópia • f diszkrét értékkészletű val.vált. az valószínűségi tér felett. • ! A „mély” matematikai alapoktól itt eltekintünk. • Mértékegység: nat, bit • Valószínűség-függvénnyel (probabilitymassfunction):
Entrópia • P(f) legyen egy val.vált., ami „f kimeneti eseményeit lecseréli azok valószínűségére” • Másképp: változó kimenetéhez kapcsolt információtartalom/”meglepőség” (surprisal) várhatóértéke
Entrópia • „Cinkelt érme” • Empirikus eloszlásból közelítünk library('infotheo') library('ggplot2') coinentropy <- function(x){ natstobits(entropy(c(rep(0, x*10000),rep(1, (1-x)*10000)), method=‚emp’)) } coin0prob <- seq(from=0, to=1, by=0.01) coinentropyvals <- sapply(coin0prob, coinentropy) qplot(coin0prob, coinentropyvals)
Entrópia • A „bizonytalanság” fogalmat ragadja meg • Egyik olvasata: „kimenetek meglepőségének várhatóértéke” • Logaritmus: független bizonytalanságok „additívak”
Entrópia • X és Y diszkrét értékkészletű val.vált. ugyanazon val. tér felett.
Feltételes entrópia • Definiáljuk így: • Felírható így is: • Azaz: entrópiák „átlaga” a felt. valószínűségekre nézve
Kölcsönös információ • Az (átlagos) kölcsönös információ: • „Egymással kapcsolatban hordozott információ”
Véletlen minták kölcsönös információja rn1 <- unlist(discretize(rnorm(100))) rn2 <- unlist(discretize(rnorm(100))) myrn <- data.frame(rn1=rn1, rn2=rn2) plot(myrn)
Kölcsönös információ: ‚iris’ Kölcs. inf: 1.41 bit
Kölcsönös információ: ‚iris’ Kölcs. inf: 0.44 bit
Szondakiválasztás • A leginformatívabb szonda: • Igaz a következő: • Azaz a második tagot kell minimalizálnunk! • ~ a rendszer állapotával kapcsolatos (maradék) bizonytalanság
Szondakiválasztás • Kifejtve: • Figyeljük meg: • A priori eloszlás kell X-re • Meg eloszlás minden másra… • Mohó algoritmus O(r2) hajtja végre
Egyszerűsített alak • Max. egy hiba • Minden állapot azonos valószínűséggel • (???) • Figyeljük meg: az (Y,T) „események” partícionáljákX-et • Egy kimenettel inkompatibilis állapotok „kinullázódnak” a közös valószínűségben • A szumma „átsorrendezhető”
Egyszerűsített alak • Legyen m az állapotok száma; • ni az indukált dekompozíció i. részhalmazának elemszáma • Természetes interpretáció: a további szükséges szondák számának várhatóértéke • Partíciónként legalább log(ni) további szonda kell
Aktív szondázás Ha nincs hiba? Hatékony implementáció: Bayes hálók