Pécsi Tudományegyetem Pollack Mihály Műszaki Kar Műszaki Informatika Szak Data Mining

1. Pécsi TudományegyetemPollack Mihály Műszaki KarMűszaki Informatika SzakData Mining 15. Előadás Dr. Pauler Gábor, Egyetemi Docens PTE-PMMFK Villamos Intézet Számítástechnika Tanszék Iroda: Boszorkány u., B épület 101 Tel: 72/503-650/3725 E-mail: gjpauler@acsu.buffalo.edu

2. Linearizált regresszió analízis Nemlineáris függvények linearizálása Parabola Haranggörbe Exponenciális függvény Bevételi görbe Logisztikus görbe Számítógépes alkalmazás linearizált regresszióhoz Excelben Számítógépes alkalmazás linearizált regresszióhoz SPSS-ben Regresszió nominális független változókkal A bináris dummy változók fogalma Példa: politikusok népszerűsége Autoregressziós (AR) modellek Fogalma A multikolinearitás kiküszüöbölése Számítógépes alkalmazás autoregressziós modellekhez Excelben Az előadás tartalma

3. A linearizált regresszió alapfogalmai 1 Eddig úgy tanultuk, hogy a lineáris regresszió a függő és független változók közti lineáris kapcsolatok (Linear Relationship) elemzésére alkalmas. Ellenben mind az üzleti, mind a műszaki alkalmazásoknál legtöbbször valamilyen nemlineáris jellegű kapcsolatot (Nonlinear Relationship) kellene becsülni: • Pl. Egy ballisztikus rakéta röppályája parabola alakú, a röppálya ívét és becsapódási pontot zavaros radar észlelésekből kellene megbecsülni. • Pl. Egy adott hővezető képességű anyag hőforrás körüli melegedése egy haranggörbének a mért kísérleti adatokra illesztésével becsülhető, pl. processzor hűtőventillátorok tervezésénél • Pl. Egy piacra bevezetett termék felfutása, tündöklése, elavulása, kikopása a piacról haranggörbével modellezhető • Pl. A pénzügyekben a kamatos kamatozás miatt a legtöbb jelenség exponenciális görbével leírható, például egy beruházás jövőbeni jövedelemtermelő képessége • Pl. A bevétel és a termék ára közti kapcsolat: ha az ár alacsony, sokat adok el, de az alacsony ár miatt alig lesz bevételem. Ha az ár nagyon magas, csak nagyon kevés terméket adok el, és emiatt nem lesz bevételem. Az optimális árat a bevételi görbe segítségével kereshetjük meg • Pl. Egy tranzisztor kapcsolási karakterisztikája, vagy egy emberi idegsejt jelzési függvénye logisztikus görbével modellezhető

4. A linearizált regresszió alapfogalmai 2 Mindezek a jelenségek linearizált regresszióval (Linearized Regression) modellezhetők: • Egy nemlineáris összefüggést valamilyen matematikai transzformációval vagy változócserével lineárissá teszek • A lineáris összefüggés paramétereit a legisebb négyzetek módszerével megbecsülöm • Ezekből az együtthatókból – a korábban alkalmazott matematikai transzformációt megfordítva – visszaszámoljuk a nemlineáris összefüggés paramétereit. A regressziós elemzések egy speciális esete a trendillesztés (Trend Fitting), ahol • A független változó mindig az idő, • A célja lehet extrapoláció (Extrapolation): idősorok jövőbeli várható alakulására végzünk becslést • Vagy interpoláció (Interpolation): egy idősor valamilyen köztes, hiányzó elemét próbáljuk megbecsülni a többi elemből • A trendelemzésen belül is létezik lineáris és linearizált változat

5. Parabolával leírható kapcsolatok becslése • Gyakorlati példa: egy ballisztikus rakéta röppályájának és várható célpontjának becslése zavaros radar mérésekből • Formula: az x független változó (pl. távolság) és y függő változó (pl. magasság) korábbi j=1..m darab megfigyelésére igyekszünk parabolát illeszteni: (15.1) • Linearizálás: egy új független változót (x2) vezetünk be, ami az eredeti függő változó négyzetének előre kiszámított értékeit tartalmazza, és kétváltozós lineáris regresszióval becsüljük a, b, c paramétereket: (15.2) • Az eredeti paraméterek előállítása:a, b, c egyúttal a parabola paraméterei is lesznek • Magasabb fokszámú polinomiális függvé- nyeket is hasonló módon linearizálhatunk: • Új független változókat vezetünk be, ame- lyek az eredeti változó harmadik, negyedik, stb. hatványainak előre kiszámított értékei • A módszer korlátja, hogy a változók száma egyre nő, de a megfigyelések számának a változószám 5-10-szeresének kell lenni mi- nimum ahhoz, hogy a regresszió jól mű- ködjön.

6. Haranggörbével leírható kapcsolatok becslése • Gyakorlati példa: egy adott hővezető képességű anyag hőforrás körüli melegedésének becslése, vagy egy termék (pl. magastalpú női cipők) iránti piaci kereslet alakulása az idő függvényében – a termékéletciklus (felfutás, csúcs, lecsengés) • Formula: az x független változó (pl. idő) és y függő változó (pl. kereslet) korábbi j=1..m darab megfigyelésére haranggörbét illesztünk, ahol a jelenti a haranggörbe maximumhelyét, b a maximum értékét, c a haranggörbe szélességét: (15.3) • Linearizálás: a haranggörbét logaritmikus transzformációval parabolává alakítjuk, y függő változót lecserélvén ln(y)-nal, a természetes alapú logaritmusával, majd egy új független változót (x2) vezetünk be, ami az eredeti függő változó négyzete, és kétváltozós lineáris regresszióval becsüljük az a, b, g paramétereket: (15.4) (15.5) • Az eredeti paraméterek előállítása: a, b, g becsült paraméterekből 15.4 alapján visszaszámolhatók a harang- görbe eredeti a, b, c paraméterei: (15.6) (15.7) (15.8) c b a

7. Exponenciális görbével leírható kapcsolatok becslése • Gyakorlati példa: egy termék keresletének alakulása különböző árszinteknél • Formula: az x független változó (pl. egységár) és y függő változó (pl. kereslet, db) korábbi j=1..m darab megfigyelésére exponenciális görbét illesztünk: (15.9) • Linearizálás: az exponenciális görbét logaritmikus transzformációval egyenessé alakítjuk, y függő változót lecserélvén ln(y)-nal, majd egyváltozós lineáris regresszióval becsüljük a, b paramétereket: (15.10) • Az eredeti paraméterek előállítása:a, b egyúttal az exponenciális görbe paraméterei is lesznek

8. Bevételi görbével leírható kapcsolatok becslése • Gyakorlati példa: egy termékből származó összbevétel becslése különböző árszinteknél: ha az ár túl alacsony, sokat adok el, de a bevétel alacsony marad, ha az ár túl magas, nagyon keveset adok el, ezért a bevétel ekkor is alacsony marad. Hol lesz a maximális bevételt biztosító ár? • Formula: az x független változó (pl. egységár) és y függő változó (pl. forgalom) korábbi j=1..m darab megfigyelésére bevételi görbét illesztünk, ahol a jelenti a bevételi görbe maximumhelyét, b a maximum értékét: (15.11) • Linearizálás: a bevételi görbét logaritmikus transzformációval és x független változóval történő osztással lineáris függvénnyé alakítjuk, y függő változót lecserélvén ln(y/x)-el, majd egyváltozós lineáris regresszióval becsüljük az a, b paramétereket: (15.12) (15.13) • Az eredeti paraméterek előállítása: a, b becsült paraméterekből 15.12 alapján visszaszámolhatók a bevételi görbe eredeti a, b paraméterei: (15.14) (15.15) b a

9. Logisztikus görbével leírható kapcsolatok becslése • Gyakorlati példa: egy tranzisztor kapcsolási karakterisztikájának, vagy egy emberi idegsejt jelzési függvényének becslése mért kísérleti adatokból. • Formula: az x független változó (pl. sejtmembrán-feszültség, mV) és y függő változó (pl. kisülés intenzitása) korábbi j=1..m darab megfigyelésére logisztikus görbét illesztünk, ahol a jelenti a kapcsolási határértéket, c az állapotváltás, élességét, meredekségét: (15.16) • Linearizálás: a bevételi görbét logaritmikus transzformációval és y függő változóval történő osztással lineáris függvénnyé alakítjuk, y függő változót lecserélvén ln(1/y-1)-el, majd egyváltozós lineáris regresszióval becsüljük az a, b paramétereket: (15.17) (15.18) • Az eredeti paraméterek előállítása: a, b becsült paraméterekből 15.17 alapján visszaszámolhatók a bevételi görbe eredeti a, c paraméterei: (15.19) (15.20) c a

10. Linearizált regresszió analízis Nemlineáris függvények linearizálása Parabola Haranggörbe Exponenciális függvény Bevételi görbe Logisztikus görbe Számítógépes alkalmazás linearizált regresszióhoz Excelben Számítógépes alkalmazás linearizált regresszióhoz SPSS-ben Regresszió nominális független változókkal A bináris dummy változók fogalma Példa: politikusok népszerűsége Autoregressziós (AR) modellek Fogalma A multikolinearitás kiküszüöbölése Számítógépes alkalmazás autoregressziós modellekhez Excelben Az előadás tartalma

11. Számítógépes alkalmazás linearizált regressziókhoz Excelben 1 • A NemLinRegr.xls fájlban a korábban ismertetett függvények becslésére látunk számpéldákat: • A zöld cellákban megadhatjuk a független változó értékintervallumát • A sárga cellákban beállíthatjuk a legenerálandó adatsor függvényparamétereit, valamint beállíthatjuk, hogy milyen zajos legyen az adatsor • A rendszer elvégzi a linearizlást, és az eredeti paraméterek visszaszámolását a lineáris paraméterekből, amit a piros cellákban mutat • A narancssárga cellákban pontbecslést számít a függő változó értékeire, és ezt diagrammokon is megjeleníti

12. Számítógépes alkalmazás linearizált regressziókhoz SPSS-ben 1 katt • A linearizált regressziókat - hasonlóan a lineáris regressziókhoz - az Analyze| Regression| Linear... menüvel végezzük • Előbb azonban a függő- és független változókat transzformálni kell az adott linearizálás szabályainak megfelelően Ezt a Transform|Compute menüben tehetjük meg: • Megadhatjuk az eredményváltozó nevét, • Típusát és címkéjét • Milyen formulával számítódik ki, • A formula szerkesztéséhez komplett SPSS függvénylistát kapunk, • Illetve egy kezelőpultot a műveleti- és zárójelek beviteléhez. • Ha nem az összes megfigyelésre szeretnénk elvégezni a számítást, akkor ezt az If... gombnál megadott feltételben korlátozhatjuk katt

13. Számítógépes alkalmazás linearizált regressziókhoz SPSS-ben 2 • Pl. 2003-as OTKA Romakutatás 1000 fős, az egész ország területére • kor, nem, • jövedelem, iskolai végzettség, • foglalkozás, településtípus szerint reprezetatív mintájában (lásd Romak.sav) a következő vizsgálatot szeretnénk elvégezni: • Sok roma család nagy problémája a jövedelemtermelő/ eltartó képességéhez képest magas gyerekszám. • Máig vitatott, hogy ennek csak a roma tradícióban és értékrendben gyökerező okai vannak, vagy létezik-e a jobb oldal által sokszor felhánytorgatott, szociális segélyezésre alapozó „megélhetési célú gyerekvállalás”? • Elemezzük nemlineáris regresszióval, hogy a jövedelem, az iskolai végzettség, a település mérete milyen hatást gyakorolnak a romáknál a gyerekszámra • A változók neve és értékei a következők • Végigfuttatjuk az összes nemlineáris modellt rajta: SPSS| Analyze| Regression|Curve Estimation... • Független változók kijelölése • Függő változó kijelölése • A kipróbált nemlináris modellek • Logisztikus függvény felső korlátja • Egyúttal ANOVA-t is végezzen • Legyen konstans a modellekben

14. Számítógépes alkalmazás linearizált regressziókhoz SPSS-ben 3 Az Output Window tartalma: • A modellek illeszkedése és együtthatói: • Görbeilleszkedési diagrammok: Dependent variable.. H6A Method.. QUADRATI Listwise Deletion of Missing Data Multiple R .12916 R Square .01668 Adjusted R Square .01458 Standard Error 49163.64539 Analysis of Variance: DF Sum of Squares Mean Square Regression 2 38340940820.0 19170470410.0 Residuals 935 2259954866116 2417064027.9 F = 7.93130 Signif F = .0004 -------------------- Variables in the Equation -------------------- Variable B SE B Beta T Sig T H3B 6243.695653 2711.503979 .184111 2.303 .0215 H3B**2 -440.476852 559.894990 -.062902 -.787 .4316 (Constant) 71002.413422 2756.110358 25.762 .0000

15. Linearizált regresszió analízis Nemlineáris függvények linearizálása Parabola Haranggörbe Exponenciális függvény Bevételi görbe Logisztikus görbe Számítógépes alkalmazás linearizált regresszióhoz Excelben Számítógépes alkalmazás linearizált regresszióhoz SPSS-ben Regresszió nominális független változókkal A bináris dummy változók fogalma Példa: politikusok népszerűsége Autoregressziós (AR) modellek Fogalma A multikolinearitás kiküszüöbölése Számítógépes alkalmazás autoregressziós modellekhez Excelben Az előadás tartalma

16. Regresszió nominális független változókkal 1 • Tankönyvi definíció szerint a lineáris regresszió legalább intervallum skálán mérhető független változókkal képes csak dolgozni • A gyakorlatban azonban sokszor van arra szükség, hogy egy nominális skálán mért, kategóriaváltozó valamely függő változóra gyakorolt hatását megmérjük: • Pl. Egy 2004-es 400 fős lekérdezésben öt hazai politikust értékeltek a válaszadók 7 jellemző plusz a szimpátia szerint 0-10 skálán (0-rossz, 10-jó) • Azt szeretnénk tudni, hogy a 7 jellemző, illetve az 5 politikus személye önmagában - jellemzőiktől függetlenül - milyen hatást gyakorol a szimpátia kialakulására

17. Regresszió nominális független változókkal 2 • A politikus személye azonban egy nominális változó, amit nem vonhatunk be független változóként a regresszióba, akkor sem, ha a politikusok neveit számkódokkal látjuk el! • Pl. Ha Orr Bánt kódoljuk 1-el, Olajos Lacit 3-mal, nem tudnánk értelmes magyarázatot adni arra, hogy az utóbbi miért pont kettővel nagyobb az előbbinél, és mit jelent az, hogy a különbségük 2 • A nominális skála értékei nagyon sok tulajdonsággal rendelkező személyek, amelyek nem rendezhetők semilyen előzetes sorrendbe, illetve ez eltorzítaná a vizsgálatot! • Azt viszont megtehetjük, hogy minden politikus- hoz hozzárendelünk egy {0,1}-értékű bináris vál- tozót (Binary Dummy), ami 1, ha az adott meg- figyelés az adott politi- kusra vonatkozik, és 0, ha nem. • Ezek a bináris dummy változók már bevonha- tóak a regresszióba, mert legalább interval- lum skálán mértek!

18. Regresszió nominális független változókkal 3 • 5 politikushoz elvileg 5 bináris dummy változó tartozik, de ezek közül egyszerre csak 4-et vonhatok be független változóként. Mivel az ötödik egyértelműen kiszámítható az előző négyből, tehát erős korrelációban áll velük, így a függetlenek közti multikolinearitás eltorzítaná modellt • A szimpátia, mint függő változó és a 7 jellemző, illetve a 4 politikus dummy változó közti sokváltozós lináris regresszió R2 mutatója 0.73, ami még éppen elfogadható. Megnézzük, hogy mely változók t-próbájának szignifikancia szintje marad 5% alatt, ezek hatása jelentősnek tekinthető (lásd piros cellák). Ezután a bi sztenderdizált koefficienseket vizsgáljuk, mert azok a változók különböző szórásának eltérítő hatása nélkül, tisztán mutatják köztük a kapcsolatot. • Az egyetlen szignifikáns politikus dummy a Feri nevű politikusé lett, akinek saját személye, a 7 jellemzőjétől függetlenül -8%-os negatív hatást gyakorol a saját népszerűségére • A szimpátiára 4 jellemző hat szignifikánsan: elsősorban a hitelesség, a másodsorban a megjelenés, harmadsorban a karitativitás. A gyorsan felívelő karrier viszont 7%-os negatív hatást gyakorol a népszerűségre! (Az „én disznóm megdöglött, dögöljön meg a tied is” magyar össznépi alapszabály statisztikai megjelenése...) • A bináris dummyk alkalmazásának korlátja, hogy növelik a változószámot, pedig ezt a megfigyelések számának legalább 5-10-szeresen kell túlhaladnia

19. Linearizált regresszió analízis Nemlineáris függvények linearizálása Parabola Haranggörbe Exponenciális függvény Bevételi görbe Logisztikus görbe Számítógépes alkalmazás linearizált regresszióhoz Excelben Számítógépes alkalmazás linearizált regresszióhoz SPSS-ben Regresszió nominális független változókkal A bináris dummy változók fogalma Példa: politikusok népszerűsége Autoregressziós (AR) modellek Fogalma A multikolinearitás kiküszüöbölése Számítógépes alkalmazás autoregressziós modellekhez Excelben Az előadás tartalma

20. Autoregressziós modellek 1 • Az autoregressziós modelleknél feltételezzük, hogy a független változó egymástól fix távközökre lévő összes értékénél meg tudom figyelni a függő változó értékét • Ez tipikusan idősoroknál, trendszámításnál fordul elő, ahol a függő változó yt értékét t= 1..T egyenlő időperiódusban (nap, hét, hónap, stb.) meg tudom figyelni. A legbonyolultabb szerkezetű idősorokat az jellemzi, hogy többszörösen összetett szerkezetű hullámmozgások keverednek bennük emelkedő/csökkenő tendenciákkal vagy véletlen zajjal: • 1. példa Tőzsde: a tőzsdei árfolyamok, indexek (pl. Dow Jones, BUX) mozgását eltérő hosszúságú hullámjelenségek kioltásai/erősítései, interferenciái (Interference) befolyásolják: világgazdasági ciklusok (8-12 év), kormányzati ciklusok (4 év), beruházási ciklusok (3-5 év), évszakok váltakozása (1 év), államkötvény kamatciklusok (1 hónap), a tőzsdei heti munkaciklusa (1 hét), napi nyitás és zárás közti piaci hullámzások (1nap) • 2. példa Emberi hangképzés/ hangfelismerés: az alábbi diagrammon a tárgy oktatójának „nyílt e” hangja látható, PCM Mono 8KHz mintavételezés mellett: a gége és a hangszálak csak a hangmagasságot képesek változtatni megfeszítésük révén, így modulálatlan, szabályos szinusz hullámokból álló hangrezgést keltenek, ez a hullám azonban a szájüreg, a nyelv és a fogak közt ide-oda verődik, interferálódik, és így jön létre az adott hangra jellemző hullámalak. Kísérlet: vegyünk a szánkba egy-két pingponglabdát, és próbáljunk tagoltan, érthetően beszélni. Megtudhatjuk, hogy a hangszálak önmagukban mennyi modulációra képesek...

21. Autoregressziós modellek 2 • Meglepő módon, ezeket a kőkeményen nem lineáris szerkezetű idősorokat is jól lehet lineáris regresszióval modellezni, ha a modellt dinamikus szerkezetben (Dynamic Structure) írjuk fel: az idősor egy adott yt értéke az yt-kk=1..c korábbi elemek, mint független változók lineáris függvénye: (15.21) • Természetesen az adott yt érték is résztvesz majd független változóként a későbbi értékek kialakításában. • Elképesztő, de a dinamikus modellben egy szinusz-hullám kialakításához elég, ha az adott idősor elem csupán két korábbi elem lineáris függvénye, amelyek közül az egyik együtthatója alkalmasan megválasztott pozitív, a másik negatív érték! • Kettőnél több független változó használatával sokkal bonyolultabb hullámformák is leírhatók. • Egy masszívan nemlineáris idősor tehát egy adott időszeletét tekintve mégis leírható lineárisan. • Az autoregressziós modellek (Auto Regression Model, AR) onnan kapták a nevüket, hogy mind függő, mind független változóik úgy keletkeznek, hogy egy időbeli ablakot (Time Window) elcsúsztatunk visszafele ugyanazon az idősoron, így becsüljük a korábbi idősor elemek hatását (bt-kk=1..c) az adott elemre

22. Autoregressziós modellek 3 • Az időbeli ablak maximális elcsúsztatását (c) az alapján választjuk ki, hogy várhatóan mennyi a modellezni kívánt jelenség maximális hullámhossza. • Rendkívül fontos azonban, hogy nem szabad a k =1..c darab összes lehetséges független változót egyszerre bevonni a modellbe! A szomszédos, vagy egymáshoz közeli független változók ugyanis annyira hasonlóak egymáshoz (ugyanaz az idősor, csak 1-2 egységgel eltolva), hogy nagyon magas köztük a korreláció, így az erős multikolinearitás teljesen tönkretenné a modellt! • Az autokorrelációs diagramm (Autocorrelation Plot) a függetlenek alkalmas kiválasztásban nyújt segítséget: ez a függő változó és az összes lehetséges független közti korrelációkat jeleníti meg: Corr(yt, yt-k), k=1..c (15.22) • Olyan változókat vonunk csak be a modellbe, amelyek a diagrammon jól elkülönülő, nagy pozitív vagy negatív csúcsot képeznek, és k pozícióik nem egymás egész számú többszörösei (pl. xt-7, xt-13, xt-20, xt-26, xt-33, xt-42, xt-47, xt-54) • A többszöröződést azért kell figyelni, mert a hullámok megismétlődnek a diagrammon, és az ismétlődésekből már nem szabad bevonni változókat

23. Autoregressziós modellek 4 • Ha a modell R2 értéke elfogadható (itt pl. 0.802), akkor az eredményül kapott bt-k paramétereket felhasználhatjuk arra, hogy sorfolytonosan jövőbeli yt értékeket számoljunk ki múltbeli értékekből, vagyis az idősort extrapoláljuk. (Az időtengelyt a diagrammon fordítva ábrázoltuk) • Ez a gyakorlatban azt jelenti, hogy előrejelezhetjük pl. a tőzsdei árfolyamok hullámzását, vagy pl. mesterségesen előállíthatunk egy, az adott személy beszédhangja szerinti „nyílt e” hangot. • A hangfelismerésben a becsült együttható értékek összehasonlítása a fonémák azonosításában nyújt segítséget. • Az autoregressziós modellek fő hátránya, hogy az időbeli ablak hossza 5-10-szeresen meg kell, hogy haladja az elemzésbe bevont változók számát, és erre még rájön az időbeli eltolás is, így csak viszonylag hosszú idősor-minták esetén működnek jól. • A korábban már tárgyalt mozgóátlagolás alkalmas volt arra, hogy adott hullámhosznál rövidebb hullámzásokat/zajokat letakarítson az idősorból, ami nagyban növelheti egy utána végrehajtott autoregressziós becslés megbízhatóságát. Ezért a két módszert gyakran kombinálva alkalmazzák autoregresszió mozgóátlagokon (Autoregression on Moving Averages, ARMA) néven.

24. Számítógépes alkalmazás autoregresszióhoz Excelben • Az AutoRegr.xls fájlban a zöld cellákba tölthetjük az elemzésre kerülő idősort, majd az autokorrelációs diagramm alapján kiválaszthatjuk az elemzésbe vonandó független változók sorszámát a sárga cellákban. A rendszer megadja az együtthatók értékét a piros cellákban, illetve a narancssárga cellákban pontbecslést és extrapolációt végez:

25. Szakirodalom Autoregressziós modellek: • Elméleti bevezető az AR-hoz: http://astronomy.swin.edu.au/~pbourke/other/ar/ • AR, ARMA, ARIMA modellek: http://www2.chass.ncsu.edu/garson/pa765/time.htm • Autoregresszió SPSS Trends-ben: http://www.spss.com/se/images/manualpictures/Contents_Trends10.0.pdf#search='autoregression%20SPSS‘