1 / 72

Vizuális adatanalízis

Vizuális adatanalízis. „Big Data” elemzési módszerek Kocsis Imre ikocsis @ mit.bme.hu 2013.09.25. Felderítő adatanalízis. Exploratory Data Analysis : statisztikai tradíció, mely koncepcionális és számítási eszközökkel segíti minták felismerését és ezen keresztül

elie
Download Presentation

Vizuális adatanalízis

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Vizuális adatanalízis „Big Data” elemzési módszerek Kocsis Imre ikocsis@mit.bme.hu 2013.09.25.

  2. Felderítő adatanalízis • Exploratory Data Analysis: statisztikai tradíció, • mely koncepcionális • és számítási eszközökkel segíti • minták felismerését és ezen keresztül • hipotézisek felállítását és finomítását. • Komplementere: ConfirmatoryData Analysis • Hipotézistesztelés, modellválasztás, paraméterillesztés, … • Legismertebb vizionáriusa: John W. Tukey [2] és [3] alapján

  3. EDA • Cél: adatok „megértése” • „detektívmunka” • erősen ad-hoc • Fő eszköz: adatok „bejárása” grafikus reprezentációkkal • Hipotézisek: iteratív folyamat • Flexibilitás és pragmatizmus

  4. Anscombe négyese Hibás feltételezések elkerülése… és intuíció:

  5. Dr. John Snow és az 1854-es kolerajárvány • A járvány nem „miazmikus” • A kútnyél-mítosz kérdéses „Abouthalf of oursensoryneuronsarededicatedtovision, endowinguswith a remarkablepattern-recognitionability.” Prof. Alfred Inselberg Forrás: [5] és [6]

  6. Oszlopdiagram (bar chart) • Megjelenített dimenziók száma: 1 • Ábrázolt összefügg.: • Diszkrét változó egyesértékeinek abszolút gyakorisága • Adategység: • Oszlop – az oszlop magassága az adott érték absz. gyakoriságáttükrözi • Tervezői döntés: • Csoportok kialakítása? • Értékkészlet darabolása?

  7. Hisztogram Nők és férfiak magasságának eloszlása is szép haranggörbe • Megjelenített dim.k: 1 • Ábrázolt összefügg.: • folytonos változó eloszlása • Adategység: • Oszlop – az oszlop magassága az adott érték absz. gyakoriságát tükrözi • Tervezői döntés: • Oszlopok szélessége? Fontos percentilisek?

  8. Doboz diagram (boxplot) • Megjelenített dim.k: 1 • 5 értékkel jellemzésként • Ábrázolt összefügg.: • folytonos változó fontos percentilisei • Adategység: • Doboz – szélei jelzik az alsó és felső kvartiliseket, • Középen a medián. • A minimum és a maximum általában még pontosan jelezve, • Outlierek már csak pöttyökkel.

  9. Boxplot Interquartile range

  10. Két változó Cél: tartományok, összefüggések keresése

  11. Pont – pont diagram (scatterplot) • Megjelenített dim.k: 2 • Ábrázolt összefügg.: • folytonos változók együttes eloszlása • Adategység: • pont – előfordulás • Korlát: • ha az egyik változó értéke hiányzik nem tudjuk felrajzolni • Tervezői döntés: • Overplotting?

  12. Hol volt, hol nem volt...

  13. Szétszórjuk

  14. A pontok....

  15. És megpróbáljuk közelíteni...

  16. Simító görbe (smoothingspline) [11,12] • „Penalized sum of squares” • Feladat: minimalizáló függvény megtalálása • Első tag: maradvány-hibanégyzetösszeg • Második tag: „roughnesspenalty” • Minél gyorsabban nő a meredekség, annál nagyobb • Megoldása köbös (cubic) spline

  17. Simító görbe (smoothingspline) [11,12] • simító paraméter • Adat követése • Simaság • =0 esetén interpolációs görbe • esetében lineáris regresszió (ill. linearleastsquaresestimate)

  18. Regresszió [12] • Cél: • megtalálni egy olyan f függvényt, amelynek inputja az attribútumok értéke, az outputja pedig a lehető legjobban közelíti (négyzetes hibaérték) a valóságot • Példa: • testtömeg/magasság együttes eloszlás valójában egyenesreilleszthető, • web forgalom jóslása

  19. Lokális p-rendű LS polinomiális regresszió

  20. Lokális p-rendű LS polinomiális regresszió

  21. Lokális p-rendű LS polinomiális regresszió

  22. Scatterplot mátrix • Megjelenített dim.k: n • Ábrázolt összefügg.: • A változópárok együttes eloszlása • Adategység: • Scatterplot – minden diagram a neki megfelelő változók együttes eloszlását mutatja be

  23. Mozaik diagram (mosaicplot) • Megjelenített dim.k: 2 • Ábrázolt összefügg.: • két diszkrét változó együttes eloszlása • Adategység: • Téglalap – a téglalap területe arányos az (X = xi, Y = yi) értékpárok gyakoriságával • Korlát: • Sorfolytonos olvasása nehézkes A túlsúlyosak nagy része férfi!

  24. Hőtérkép (heat map) • Megjelenített dim.k: 3 • Ábrázolt összefügg.: • sűrű 3D struktúrák összefüggései • Adategység: • tile – azonos „magasságú” összefüggő területrész • Tervezői döntés: • tile-ok mérete? Színekkel kommunikál: Pl. nincs senki, aki kétméteres lenne és 25 kiló, de sok 1.60-as van 60 kiló környékén

  25. Párhuzamos koordináták • Megjelenített dim.k: n • Ábrázolt összefügg.: • Rekordok/attribútumok hasonlósága • Adategység: • Törött vonal – az egyes attribútumtengelyeken felvett értékek rendezett sorozata • Korlátok: • Tengelyek (attribútumok) más mértékegysége/nagyságrendje stb. torzíthat … de a fogyasztás nagyobb Az új autókban a tömeg kisebb…

  26. Buborék diagram (bubblechart) • Megjelenített dim.k: 3 • Ábrázolt összefügg.: • ritka 3D struktúrák összefüggései • Adategység: • körlap – 3 attribútummal leírható: X és Y koordináta a középpontra + sugár • Korlátok • overplotting torzíthat (ha a ritka struktúrában vannak sűrű részek) A Lotushoz tartozik a legkönnyebb Az X, Y pozíciót a fogyasztás és a teljesítmény adja, a kör sugara a tömeget mutatja

  27. Interaktív statisztikai grafika Vezetett adatbejárás – „datatour” Lekérdezések Kijelölés és csatolt kiemelés Csatolt analízisek Interakció az ábrákkal Ábrák képzése – „plotolás” [7] alapján

  28. iPlots • Interaktív statisztikai grafika R-ben • http://stats.math.uni-augsburg.de/iplots/ • Mondrian, Rserve, rJava • Interaktív… Bar chart, Boxplot, Hammockplot, Histogram, Map, MosaicPlot, Parallel CoordinatesPlot, Scatterplot

  29. Lekérdezések • „Query” • iPlots: CTRL • Többszintű lekérdezés

  30. Kijelölés • SHIFT-CTRL: OR • SHIFT: XOR • Pointer, Drag-box, Brush, Slicer, Lasso • Kijelölés-sorozatok

  31. Csatolt kiemelés

  32. „Colorbrush”

  33. Interakció az ábrákkal • Billentyűkombinációk és menük • Paraméterek (pl. hisztogram) • Tengelyek megcserélése • Skálázás • Nagyítás (középső egérgomb) • Áttetszőség ()

  34. iPlots alternatívák: Acynonix • „iPlotseXtreme” • OpenGL gyorsítás • Kiforrottság?

  35. rggobi • GGobi kötés • Kiváló eszköz… • … de nehézkes, • GTK és C++, • nincs aktív fejlesztés

  36. cranvas Qt; forevergithub…? Forrás: [10], p 16

  37. További alternatívák • RStudioggvis? • RNavGraph? • Ha nem kell komoly R kötés: • Mondrian, XmdvTool, Spotfire, Tableau, SAS JMP, Minitab, DataDesk, … • Az R-be ágyazás előnyei: • Helyben az adat • Helyben a statisztika • Helyben iteratív adatfinomítás

  38. Példa elemzési feladat • Pataricza et al.: Empirical Assessment of Resilience • Az EDA-t a szolgáltatásbiztonság (dependability) elemzésében is kellene használnunk • [9] • Itt: • Interaktív technikák szemléltetése • [9] munkafolyamatának néhány lépésén keresztül

  39. Példa adatkészlet • Számítási felhő teljesítménymérések • Gorbenko et al. [8] • ResponseTime = RequestProcessingTime + RoundTripTime

  40. Példa adatkészlet Forrás: [8], p 186

  41. Adatkészlet library('iplots') dat<-read.table(myfilepath, sep=',', header=TRUE, colClasses=c('factor', 'double', 'double', 'double', 'factor', 'factor', 'factor', 'double', 'factor')) dat$pm.pa <-NULL dat$Time<-NULL dat$start.time<-dat$start.time-min(dat$start.time, na.rm=TRUE) dat<-dat[rowSums(is.na(dat))==0,]

  42. Adatkészlet

  43. RT, RPT, RTT vizsgálata Kapcsolatok?

  44. RT, RPT, RTT vizsgálata

  45. RT, RPT, RTT vizsgálata Selection (egérrel) Közös skála? View CommonScale

  46. „Commonscale” után

  47. RT ~ RTT? Vágás két részre: „normál” és (RT-ben) „hibás” tartományok

  48. Vágás Lineáris kapcsolat?

More Related