Adatbányászat az Internet korszakában

1. Adatbányászat az Internet korszakában Digitális lábnyomok és adatelemzés Budapest, 2009.01.28

2. Mi is az adatbányászat? Adatbányászat az Interneten Bemutatkozás

3. Data Research Kft. • 2005-ben alakult – 100%-ban magyar tulajdonú tanácsadó cég. Célkitűzése: • Új elemzési módszertan kifejlesztése primer és szekunder adatok kombinációján keresztül, • CRM jellegű elemzések meghonosítása • Innovatív megoldások kifejlesztése (Voice Miner, MOSAiC tanulmány család, Churn Kompetencia Center üzemeltetése) • Tudástranszfer – SPSS Magyarországgal közösen CRM témájú szeminárium sorozat indítása. • 2005-2007 között a Data Research Kft. a TÁRKI csoport tagja, 2007 óta a Nextent informatikai cégcsoport tagja

4. CHURN KOMPETENCIA CENTER Data Research Kft. szolgáltatás portfoliója DATA RESEARCH ADATBÁNYÁSZAT • Churn elemzés • Várható élettartam számítás • KOMBINÁLT ELEMZÉSEK • Árrugalmasság mérése • Termékbevezetés/árazás hatáselemzése • Ügyfélszegmentáció • Termékaffinitás PIACKUTATÁS • Egyedi kvalitatív/kvantitatív kutatások • Fizetési teszt mérés • MOSAIC tanulmányok • KONZULTÁCIÓS CSOMAGOK • Útmutatók kidolgozása ügyfélszolgálat számára (megtartás, keresztértékesítés) • Ügyfélszolgálati folyamatok átvilágítása OKTATÁS, WORKSHOPOK • INNOVATÍV MEGOLDÁSOK • Voice Mining – hanganyagok elemzése • Community elemzések

5. Mi is az adat- bányászat? Adatbányászat az Interneten Bemutatkozás

6. Néhány alapfogalom az üzleti intelligencia területről Adattárház/adatpiac: egy olyan intelligens adatbázis, mely lehetővé teszi az üzleti célú adatelemzések hatékony végrehajtását OLAP: egy multidimenzionális lekérdező felület – mely kiválós eszköz annak feltárására, hogy mi történik, de alkalmatlan előrejelzések elkészítésére illetve az okok feltárására. Adatbányászat: olyan MI algoritmusokra épülő módszertan, mely egyrészt alkalmas rejtett információk feltárására, ok-okozati összefüggések megkeresésére és ez alapján előrejelzések elkészítésére.

7. Adatok osztályzása Múltbéli viselkedés Jelen Jövőbeni akció Az adatbányászat az ügyfelek múltbeli viselkedés adatainak felhasználásával minden egyes ügyfélre kiszámol egy speciális ügyfél jellemzőt (churn valószínűség, termék affinitás, stb). Az információ leíró jellegű – az adott körülmények között érvényes információ (feltéve, hogy a múltbeli minta érvényes a jelenre is) Adat-bányászat A kérdőíves kutatás az ügyfeleknek ugyancsak speciális attitűdjeit próbálja kinyerni – és ezen információkra is jellemző, hogy az ügyfelek jelen állapotát tükrözi az adott körülmények között. A jövővel kapcsolatos információk megbízhatósága kérdéses. Az információk nem egyéni szintűek. Kérdőíves kutatás

8. Néhány példa adatbányászati elemzések outputjára Múltbéli viselkedés Jelen Jövőbeni akció • LEGFONTOSABB TULAJDONSÁG: • minden ügyfélre rendelkezésre áll (ügyfélszint) • a jelenlegi állapotot tükrözi – amennyiben a múltbeli összefüggések igazak • előrejelzésre használják – múltbeli viselkedés alapján annak előrejelzése, hogy mi történik a közeljövőben Adat-bányászat Churn valószínűség Annak a valószínűsége, hogy az adott ügyfél a következő x hónapban elhagyja az adott vállalatot Szegmens címke Valamilyen ügyféljellemzők ügyfelek automatikus szegmentálása Termék affinitás Mekkora a valószínűsége, hogy az adott ügyfél az elkövetkező x hónapban vásárol az adott termékből Ügyfélérték Az ügyfél által generált jövedelem + várható élettartam számítás Reakciókészség Mekkora a valószínűsége annak, hogy egy megkeresés során pozitívan reagál

9. Adatbányászati algoritmusok (MI „örökség”) • Irányítatlan algoritmusok • Klaszterező eljárások • Asszociációs szabályok • Idősor elemzések • Irányított algoritmusok (klasszifikáció) • Döntési fák • Neurális hálók • Logisztikus regressziók • Genetikai algoritmusok

10. Adatbányászat az Interneten Mi is az adatbányászat? Bemutatkozás

11. Adatbányászat az Interneten Két téma Új technológiák ismertetése Néhány érdekes honlap Az Interneten számos olyan oldal van, ahol a látogató barangolását különböző adatbányászati technológiák támogatják Olyan új elemzése technológiák bemutatása, melyek lehetővé teszik az Interneten lévő publikus adatok automatikus elemzését

12. Új technológiák – Text Mining és Gráf Mining

13. Digitális nyomok az IT rendszerekben Szöveges dokumentumok Hanganyagok Adattárház X mining Kérdőíves kutatási adatok Hálózati adatok Adatbányászat

14. Új adat források – még pontosabb elemzések • Text mining: szöveg alapú struktúráratlan adatbázisok automatikus feldolgozása (szövegek értelmezése és kategorizálása) • Voice Mining: hanganyagok automatikus feldolgozása (ügyfélszolgálati hanganyagokból érzelem és protokoll információk detektálása) • Gráf Mining: szociális hálózatok modellezése és információ kinyerése (Interneten közösségi hálózatok illetve linkek elemzése) Interneten tárolt adatok szerepe nő!

15. Szövegbányászat A szövegbányászat a strukturálatlan vagy kis mértékben strukturált szöveges állományokból történő ismeret kinyerés tudománya. Olyan különböző dokumentum forrásokból származó szöveges ismeretek és információk gépi intelligenciával történő kigyűjtése és reprezentációja, amely a feldolgozás előtt rejtve és feltáratlanul maradt az elemző előtt (bővebben: http://www.vazsonyi.hu/szovegbanyaszat/) Célja: jelentéstartalmak felismerése Attribútuma: öntanuló (lásd AI) és képes információ strukturálásra kategorizál tömörít releváns keresés újdonság detekció

16. Kitűzött feladat Textmining feldolgozás Online tartalmak (hírek, blogok, fórumok) figyelése, az ebben található információkból adatok szöveganalitikai feldolgozása, ezek alapján elemzések, trendfigyelés, monitoring… Egy adott cégről található dokumentumok osztályzása Egységes adatbázis létrehozása Elemzés Automatikus letöltő és feldolgozó eljárások, scriptek Monitoring, trendfigyelés

17. Eredmény I.

18. Eredmény II. – vélemények alakulása Internetes blogok és ezen keresztül bloggerek automatikusan elemezhetők , ez alapján különbözö statisztikák készíthetők. Pl. „egy adott cégről írt pozitív illetve negatív tartalmaú vélemények hogyan alakultak az elmúlt 2 évben”

19. Gráf mining Olyan algoritmusok gyűjteménye, melyek gráf alapú struktúrákból (általában kis világok) automatikusan nyernek ki információt, a gráfban lévő objektumokhoz új attribútumokat rendel. • Milyen információk nyerhetők ki? • Klaszterek, közösségek – az egymással szoros kapcsolatban lévők detektálása • Vélemény vezérek detktálása – egy közösségen belül speciális szerepet betöltők azonosítása • Információterjedés vizsgálata (vagy fertőzés vizsgálat) – egy hálózaton belül hogyan terjed az információ

20. Gráf mining (hálózati kutatás matematikai módszerekkel) Hálózati elemek - pont és vonal Központiság (Dani)centralitás/fokszám Köztesség (Gergő) Közelség (Tamás – András) Elérés (% 1, 2, 3 lépéssel) Eszter Tamás Judit Gergő Dani Miklós Andi Rita András Roland

21. Egy kapcsolati háló Ez egy ember kapcsolati hálója - iwiw adatok alapján. Első ránézésre értelmez-hetetlen!

22. Kapcsolati háló értelmezése gráf mining segítségével Automatikusan detektálásra kerültek iskolás, munkahelyi és egyéb kapcsolatai!

23. Gráf mining és text mining alkalmazások Gráf mining • Mobil hívások illetve e-mail-ek alapján hálózati elemzések (pl. humán tanácsadó cégek) • Banki átutalások vizsgálata – bedőlési kockázatok pontosabb mérése • Internetes közösségek elemzése Gráf mining és text mining • Blogok elemzése – bloggerek közötti kapcsolatok feltárása, vélemény formálók detektálása • Vélemény terjedés vizsgálata

24. Néhány érdekes honlap

25. www.amazon.com • Nyitó oldalon: • Recommended for You • Latest from Your Favorite Artists, Including Pat Metheny Group • New For You • Inspired by Your Wish List • Didn't Get What You Wished For? Treat Yourself • For You to Enjoy • Most Wished For in Jazz

26. www.amazon.com • Termék oldalon: • Frequently Bought Together • Customers Who Bought This Item Also Bought • Listen To Samples • Editorial Reviews • Customer Reviews

27. www.farecast.com

29. Köszönöm a figyelmet!