Masinõppe algoritmid e rakendused riskide tõenäosuse hindamisel

1. Risk Management Forum — Mai 2019 Masinõppealgoritmide rakendusedriskide tõenäosuse hindamisel

2. Tööstus/teenindusharu MÕ rakendusekaasused? • Riskide tõenäosuse hindamine KREDIIDIRISK Kõrge LOODUSRISK Madal KÜBERRISK Keskmine

3. Masinõpe – milleks seda vaja on? • Masinõppimine on teadusvaldkond, mille eesmärk on välja töötada empiiriliste andmete põhjal otsuseid ja ennustusi tegevaid algoritme(Wikipedia) • Prognoosiv analüüs (predictiveanalytics) hõlmab mitmeid statistika tehnikaid [..] sh masinõpet, mis analüüsivad ajaloolisi ja käesoleval ajal teadaolevaid fakte, et teha ennustusi teadvama sündmuste võitulevikukohta (Wikipedia) • Lihtsas keeles: MÕ ennustab riske!

4. Tööstus/teenindussektoritekoondülevaadetepuudumine • Spetsiifilisi ülevaateid on palju!Üldistavaid on vähe. • Riskide tõenäosuse hindamine

5. Kaggle – mis see on? • Kaggle on Google LLC-le kuuluv andmeteadlaste ja masinõppijate veebikogukond (Wikipedia) • Kaggle konkursid • 1.Konkursi korraldaja soovib lahendada mõnda probleemi. Ta valmistab ette andmed ja probleemi kirjelduse. • 2.Osalejad katsetavad erinevaid tehnikaid ja võistlevad omavahel, et esitada parim mudel. Tavaliselt hinnatakse esitatud mudelit koheselt,võrreldes mudeli poolsete tulemuste täpsust tulemustega, mis on olemas osalejate eest varjatud tulemusfailis. • 3.Konkursi võitjaks tunnistatakse isik või meeskond, kelle algoritm suudab kõige täpsema ennustuse teha. Korraldaja annetab võitjale peaauhinna.Omalt poolt saab korraldaja endale õiguse konkursil kõige võimekamaks osutunud algoritmi enda tegevuses - olgu selleks äri või avalik teenistus - tasuta kasutada. • Riskide tõenäosuse hindamine

6. Source: Tips and tricks to win Kaggle data science competitions, DariusBarušauskas • Riskide tõenäosuse hindamine

7. Kaggle kui praktilise allika tugevused ja nõrkused • Ühes kohas palju lahendusi • Võistlevad maailma parimad andmeteadlased, sponsorid ehk tellijad on soliidsed ettevõtted • Probleemid on reaalsed, reaalsed on ka andmed (kas on GDRP-i poolt okei?) • Võisteldakse mitte probleemi lahendamise eest, vaid maksimaalse skoori ehk tulemuse saamise eest • Lahendused ei pruugi olla kõige praktilisemad • Riskide tõenäosuse hindamine

8. Riskigaseotudnäide • Ennustada iga korrarikkuja (soditud seinad, korrarikkujaks on seina omanik) kuulekus trahvi maksmiselDeitroitilinnavalitsusele • Riskide tõenäosuse hindamine Auhind: $300 Amazongiftcard + MSSISS poster Tegin ise järgi Gradient BoostedForest algoritmiga, skoor on:

9. BrowserManipulator WebBrowser • Riskide tõenäosuse hindamine “Kaggle.com“ Kokkuvõtete tegemiseks botSeleniumi põhjal NLP Credit risk Cyber risk Insurance risk Natural risk Political risk Measuredwith “Wordnet“ Suvaliselt valitud tööstus-või teenindusharu-dele sobivad näited Wordnet on poolel teel nutikuseni! Create Excel Table withresults

10. Kaggle: tulemustehindamine MAE (Mean Absolute Error) Mõõdetakse ennustamise täpsust RMSE (Root Mean Square Error), Log Loss AUC (Area Under Curve) RMSLE (Root Mean Square logarithmic Error) MAP@, MCAP Score, R2 Mõõdetakse ennustamise ebatäpsust Keerulisemaid mõõdikuid ignoreerin!

11. Krediidirisk Lühikirjeldus Mõõdik Ennustuse täpsus Konkursi nimi Give Me SomeCredit Laenu mittetagasimaks-miseennustamine AUC 0.86 Home Credit Default Risk Kodulaenu tagasimaksmise ennustamine (ilma krediidiajaloota inimesed) AUC 0.80 Home SiteQuote Conversion Kodukindlustaja kindlustusostu ennustamine AUC 0.97 Springleaf Marketing Response Laenu otsepakkumisele reageerimise ennustamine AUC 0.80 Influencers in SocialNetworks Inimeste sotsiaalvõrkudes mõjukuse ennustamine AUC 0.88

12. Krediidirisk Lühikirjeldus Mõõdik Ennustuse ebatäpsus Konkursi nimi The Big Data by BattleFin Aktsiakursi ennustamine MAE 0.42 Bond TradePriceChallenge US valitsuse väärtpaberite hinna ennustamine MAE 0.68

13. Kindlustusrisk Lühikirjeldus Mõõdik Ennustuse täpsus Konkursi nimi AstheWorldChurns Kindlustuskliendi 12 kuu lojaalsuse ennustamine AUC 0.80 AllstatePurchasePredictionChallenge Kindlustuse müügitulemuste ennustamine Accuracy 0.53 Give Me SomeCredit Laenu mittetagasimaks-miseennustamine AUC 0.86 Home siteQuoteConversion Kodukindlustaja kindlustusostu ennustamine AUC 0.97 Mis liikikindlustus? Springleaf Marketing Response Laenu otsepakkumisele reageerimise ennustamine AUC 0.80

14. Küberrisk Lühikirjeldus Mõõdik Ennustuse täpsus Konkursi nimi Amazon.com - Employee Access Challenge Kasutaja privileegide ennustamine AUC 0.92 TalkingDataAdTracking Fraud Detection Challenge Teeseldud hiireklikkide kindlakstegemine AUC 0.98 NIPS 2017: Adversarial Attack (I-III) Pildituvastussüs-teemideeksitamine Score 0.40-0.95 Findingchargedlepton Science! AUC 0.99 Microsoft MalwarePrediction Ennusta WIN arvuti nakatumist AUC 0.67

15. Loodusrisk/katastroofiderisk Lühikirjeldus Mõõdik Ennustuse (eba)täpsus Konkursi nimi VSB Power Line Fault Detection Tuvasta elektriliinide elektro-erosioon MCC 0.71 Walmart Recruiting II: Sales in Stormy Weather Ilmatundlike kaupade müügi ennustamine RMSLE 0.09 MLSP 2013 BirdClassificationChallenge Lindude tuvastamine hääle järgi AUC 0.95 "How Much Did It Rain? II" Vihma ennustamine MAE Normaliseerimata LANL EarthquakePrediction Ennusta maavärin MAE Normaliseerimata

16. Poliitiline/ühiskondlikrisk Lühikirjeldus Mõõdik Ennustuse (eba)täpsus Konkursi nimi See Click Predict Fix Miks kodanikud kaebavad linnavalitsusele RMSLE 0.28-0.43 Conway's Reverse Game of Life Evolutsioon? RMSLE 0.10 Influencers in SocialNetworks Inimeste sotsiaalvõrkudes mõjukuse ennustamine AUC 0.88 Cause-effect pairs Science! B AUC 0.82 NIPS 2017: Adversarial Attack (I-II) Pildituvastussüsteemide eksitamine Score 0.78-0.95

17. BEST AUC (kõik, mitteainultriskidegasarnased)

18. Järeldused • Krediidi ja kindlustusriskid – võisteldakse palju, tihti saavutatakse suurepäraseid tulemusi.Robot lisas tulemustele mõned väärtpaberitega kauplemise ennustused: need tulemused nii head ei ole. • Küberriskid – krediidi ja kindlustusega võrreldes vähem näiteid.Kas on vähem konkursside tellijaid? MÕ-l on keskmisedväljavaated riskide tõenäosused korralikult ennustada (MS kurivara näide – suuresti ennustamine ebaõnnestus!) • Looduslikud ja poliitilised riskid – vähe konkursse! Katastroofe on Kaggles vähe ennustatud ja poliitikaga ei taheta tegelda. Robot ei suuda neidExceliveergusidõigetenäidetegatäita. Ennustamisega on samutiraske. Robot pani sama kategooria alla loodusnähtuste (loomad, linnud) analüüsi tulemused ja mõned meditsiinilised teemad, nendes on andmeteadlased edukamad.

19. KONTAKT Raul NugisLighthouse CoE for Data & Analytics and Intelligent Automation +372 626 8700rnugis@kpmg.com