Vizuális adatanalízis

1. Vizuális adatanalízis „Big Data” elemzési módszerek Kocsis Imre ikocsis@mit.bme.hu 2013.09.25.

2. Felderítő adatanalízis • Exploratory Data Analysis: statisztikai tradíció, • mely koncepcionális • és számítási eszközökkel segíti • minták felismerését és ezen keresztül • hipotézisek felállítását és finomítását. • Komplementere: ConfirmatoryData Analysis • Hipotézistesztelés, modellválasztás, paraméterillesztés, … • Legismertebb vizionáriusa: John W. Tukey [2] és [3] alapján

3. EDA • Cél: adatok „megértése” • „detektívmunka” • erősen ad-hoc • Fő eszköz: adatok „bejárása” grafikus reprezentációkkal • Hipotézisek: iteratív folyamat • Flexibilitás és pragmatizmus

4. Anscombe négyese Hibás feltételezések elkerülése… és intuíció:

5. Dr. John Snow és az 1854-es kolerajárvány • A járvány nem „miazmikus” • A kútnyél-mítosz kérdéses „Abouthalf of oursensoryneuronsarededicatedtovision, endowinguswith a remarkablepattern-recognitionability.” Prof. Alfred Inselberg Forrás: [5] és [6]

6. Oszlopdiagram (bar chart) • Megjelenített dimenziók száma: 1 • Ábrázolt összefügg.: • Diszkrét változó egyesértékeinek abszolút gyakorisága • Adategység: • Oszlop – az oszlop magassága az adott érték absz. gyakoriságáttükrözi • Tervezői döntés: • Csoportok kialakítása? • Értékkészlet darabolása?

7. Hisztogram Nők és férfiak magasságának eloszlása is szép haranggörbe • Megjelenített dim.k: 1 • Ábrázolt összefügg.: • folytonos változó eloszlása • Adategység: • Oszlop – az oszlop magassága az adott érték absz. gyakoriságát tükrözi • Tervezői döntés: • Oszlopok szélessége? Fontos percentilisek?

8. Doboz diagram (boxplot) • Megjelenített dim.k: 1 • 5 értékkel jellemzésként • Ábrázolt összefügg.: • folytonos változó fontos percentilisei • Adategység: • Doboz – szélei jelzik az alsó és felső kvartiliseket, • Középen a medián. • A minimum és a maximum általában még pontosan jelezve, • Outlierek már csak pöttyökkel.

9. Boxplot Interquartile range

10. Két változó Cél: tartományok, összefüggések keresése

11. Pont – pont diagram (scatterplot) • Megjelenített dim.k: 2 • Ábrázolt összefügg.: • folytonos változók együttes eloszlása • Adategység: • pont – előfordulás • Korlát: • ha az egyik változó értéke hiányzik nem tudjuk felrajzolni • Tervezői döntés: • Overplotting?

12. Hol volt, hol nem volt...

13. Szétszórjuk

14. A pontok....

15. És megpróbáljuk közelíteni...

16. Simító görbe (smoothingspline) [11,12] • „Penalized sum of squares” • Feladat: minimalizáló függvény megtalálása • Első tag: maradvány-hibanégyzetösszeg • Második tag: „roughnesspenalty” • Minél gyorsabban nő a meredekség, annál nagyobb • Megoldása köbös (cubic) spline

17. Simító görbe (smoothingspline) [11,12] • simító paraméter • Adat követése • Simaság • =0 esetén interpolációs görbe • esetében lineáris regresszió (ill. linearleastsquaresestimate)

19. Regresszió [12] • Cél: • megtalálni egy olyan f függvényt, amelynek inputja az attribútumok értéke, az outputja pedig a lehető legjobban közelíti (négyzetes hibaérték) a valóságot • Példa: • testtömeg/magasság együttes eloszlás valójában egyenesreilleszthető, • web forgalom jóslása

20. Lokális p-rendű LS polinomiális regresszió

21. Lokális p-rendű LS polinomiális regresszió

22. Lokális p-rendű LS polinomiális regresszió

23. Scatterplot mátrix • Megjelenített dim.k: n • Ábrázolt összefügg.: • A változópárok együttes eloszlása • Adategység: • Scatterplot – minden diagram a neki megfelelő változók együttes eloszlását mutatja be

24. Mozaik diagram (mosaicplot) • Megjelenített dim.k: 2 • Ábrázolt összefügg.: • két diszkrét változó együttes eloszlása • Adategység: • Téglalap – a téglalap területe arányos az (X = xi, Y = yi) értékpárok gyakoriságával • Korlát: • Sorfolytonos olvasása nehézkes A túlsúlyosak nagy része férfi!

25. Hőtérkép (heat map) • Megjelenített dim.k: 3 • Ábrázolt összefügg.: • sűrű 3D struktúrák összefüggései • Adategység: • tile – azonos „magasságú” összefüggő területrész • Tervezői döntés: • tile-ok mérete? Színekkel kommunikál: Pl. nincs senki, aki kétméteres lenne és 25 kiló, de sok 1.60-as van 60 kiló környékén

26. Párhuzamos koordináták • Megjelenített dim.k: n • Ábrázolt összefügg.: • Rekordok/attribútumok hasonlósága • Adategység: • Törött vonal – az egyes attribútumtengelyeken felvett értékek rendezett sorozata • Korlátok: • Tengelyek (attribútumok) más mértékegysége/nagyságrendje stb. torzíthat … de a fogyasztás nagyobb Az új autókban a tömeg kisebb…

27. Buborék diagram (bubblechart) • Megjelenített dim.k: 3 • Ábrázolt összefügg.: • ritka 3D struktúrák összefüggései • Adategység: • körlap – 3 attribútummal leírható: X és Y koordináta a középpontra + sugár • Korlátok • overplotting torzíthat (ha a ritka struktúrában vannak sűrű részek) A Lotushoz tartozik a legkönnyebb Az X, Y pozíciót a fogyasztás és a teljesítmény adja, a kör sugara a tömeget mutatja

28. Interaktív statisztikai grafika Vezetett adatbejárás – „datatour” Lekérdezések Kijelölés és csatolt kiemelés Csatolt analízisek Interakció az ábrákkal Ábrák képzése – „plotolás” [7] alapján

29. iPlots • Interaktív statisztikai grafika R-ben • http://stats.math.uni-augsburg.de/iplots/ • Mondrian, Rserve, rJava • Interaktív… Bar chart, Boxplot, Hammockplot, Histogram, Map, MosaicPlot, Parallel CoordinatesPlot, Scatterplot

30. Lekérdezések • „Query” • iPlots: CTRL • Többszintű lekérdezés

31. Kijelölés • SHIFT-CTRL: OR • SHIFT: XOR • Pointer, Drag-box, Brush, Slicer, Lasso • Kijelölés-sorozatok

32. Csatolt kiemelés

33. „Colorbrush”

34. Interakció az ábrákkal • Billentyűkombinációk és menük • Paraméterek (pl. hisztogram) • Tengelyek megcserélése • Skálázás • Nagyítás (középső egérgomb) • Áttetszőség ()

35. iPlots alternatívák: Acynonix • „iPlotseXtreme” • OpenGL gyorsítás • Kiforrottság?

36. rggobi • GGobi kötés • Kiváló eszköz… • … de nehézkes, • GTK és C++, • nincs aktív fejlesztés

37. cranvas Qt; forevergithub…? Forrás: [10], p 16

38. További alternatívák • RStudioggvis? • RNavGraph? • Ha nem kell komoly R kötés: • Mondrian, XmdvTool, Spotfire, Tableau, SAS JMP, Minitab, DataDesk, … • Az R-be ágyazás előnyei: • Helyben az adat • Helyben a statisztika • Helyben iteratív adatfinomítás

39. Példa elemzési feladat • Pataricza et al.: Empirical Assessment of Resilience • Az EDA-t a szolgáltatásbiztonság (dependability) elemzésében is kellene használnunk • [9] • Itt: • Interaktív technikák szemléltetése • [9] munkafolyamatának néhány lépésén keresztül

40. Példa adatkészlet • Számítási felhő teljesítménymérések • Gorbenko et al. [8] • ResponseTime = RequestProcessingTime + RoundTripTime

41. Példa adatkészlet Forrás: [8], p 186

43. Adatkészlet library('iplots') dat<-read.table(myfilepath, sep=',', header=TRUE, colClasses=c('factor', 'double', 'double', 'double', 'factor', 'factor', 'factor', 'double', 'factor')) dat$pm.pa <-NULL dat$Time<-NULL dat$start.time<-dat$start.time-min(dat$start.time, na.rm=TRUE) dat<-dat[rowSums(is.na(dat))==0,]

44. Adatkészlet

45. RT, RPT, RTT vizsgálata Kapcsolatok?

46. RT, RPT, RTT vizsgálata

47. RT, RPT, RTT vizsgálata Selection (egérrel) Közös skála? View CommonScale

48. „Commonscale” után

49. RT ~ RTT? Vágás két részre: „normál” és (RT-ben) „hibás” tartományok

50. Vágás Lineáris kapcsolat?