1 / 85

オンライン学習

オンライン学習. 定式化 評価法： Regret など パーセプトロン Passive Aggressive Algorithm ( アルゴリズムと損失の限界の評価） Confidence Weighted Algorithm Pegasos Coordinate Descent バッチ、オンライン、ストリームの比較 ビッグデータへの対応. オンライン（あるいは逐次）学習とは. データを１つづつ読み込んで、それまでの学習結果を更新する。 2 つの 利用局面 データ全体は保持しているが、 学習を 1 データ毎 に行う

konala
Download Presentation

オンライン学習

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. オンライン学習 定式化 評価法：Regretなど パーセプトロン Passive Aggressive Algorithm (アルゴリズムと損失の限界の評価） Confidence Weighted Algorithm Pegasos Coordinate Descent バッチ、オンライン、ストリームの比較 ビッグデータへの対応

  2. オンライン（あるいは逐次）学習とは • データを１つづつ読み込んで、それまでの学習結果を更新する。 • 2つの利用局面 • データ全体は保持しているが、学習を1データ毎に行う • データが１こずつ時系列としてやってくる • この場合はストリームという。 • データ全体をメモリの乗せなくてよいのでマシンに必要なメモリ少、あるいはメモリに乗りきらないほど大きなデータから学習可能 • 1個のデータからの学習（これを1roundという）だけなら高速

  3. オンライン学習の概観 以下1,2,3を時刻 t=1,2,…,Tで繰り返す • 時刻tにおいて、仮説ht、入力データxt、正しい結果データyt∈Yが与えられる。 • 仮説htによる結果h(t) (xt)を計算し、その後でytとの比較を損失関数lによって行う。つまりl(h(t) ,(xt,yt))を計算 • lとしては2乗損失やヒンジ損失など • 損失関数lの値に応じてh(t) を更新し、新しい仮説 h(t+1)を求める • 最終的な目的の累積損失　　　　　　　 などを最小化すること • 簡単（線形）な仮説として重みベクトルwとxの内積を使う場合はと書き、　　　　　　　　　　　　　と定義

  4. オンライン学習のイメージ 正解（実測あるいは人手による） 予測 データ 識別関数h(t) xt h(t)(xt) yt If　予測≠正解 then 更新：h(t)→h(t+1)

  5. オンライン学習の評価法 • 仮説hのなす空間をH, tラウンドの予測値をh(t)(xt) • 累積損失 　　　　　　　　　　（最小化したい）： • Mistake(失敗回数）のupper bound • 以後は識別に失敗しなくなるまでの学習回数＝学習データ数

  6. オンライン学習をオンライン凸最適化の観点から定式化By ShaiShalev-Shwartz • 以下ではL(w,(xi,yi)) をfi(w)と略記することに留意。 • 最も簡単なオンライン学習は、過去の全roundの損失を最小化するようなwを選ぶ方法：Follow-The-Leader(FTL)

  7. Follow-The-Regularized-Leader (FoReL) • FTLではｗに制約がないので、過学習が危ぶまれる。そこで、正則化項(Regularizer)を加えたものを最適化（FoReL)

  8. Example of FoReL: Online Gradient Descent: OGD

  9. FoReLのRegretのUpper Bound • Theorem 30 Regretの上限がに比例していることに注目！

  10. 損失fが連続でない場合Sub-gradient(劣勾配）のFoReL損失fが連続でない場合Sub-gradient(劣勾配）のFoReL • fの凸性が重要

  11. Sub-gradient の場合のFoReLのRegretBound 問題はこの部分

  12. このboundはにできる。付録参照

  13. FoReLの上界を厳しくする • まず、FoReLの別形式を導入する Online Mirror Descent (OMD)という

  14. 数学的ツールの準備 • Fenchel-Young 不等式

  15. 数学的ツールの準備 • Bregman Divergence: DR

  16. 定理 OMD2

  17. パーセプトロン(Perceptron) • FoReLから導出されたOnline Gradient Descent の例としてパーセプトロンを紹介する。 • パーセプトロンはF. Rosenblattが1956年に提案した線形識別の繰り返しアルゴリズム • 効率がよく、現在でもその価値が高い • 入力xtが目的のクラスに • 属する場合にyt=1, 属さない場合にyt= −1 • 　右図

  18. のsub-gradientを計算すると • ηは正 • 次にPerceptronのアルゴリズムが得られる。 • FoReLの別形式として導入したOnline Mirror Descentとみれば、(OMD20)の上界が使える

  19. Perceptron アルゴリズム 分類に失敗したときだけ そのデータを分類器Wに足し込むという至って単純な更新

  20. 線形分離可能性 • 線形分離可能：クラスを識別するする超平面が存在する場合 • そうでない場合を線形分離不可能という。 • 下図参照 　　　線形分離可能　　　　　線形分離不可能 γ：マージン

  21. Perceptronアルゴリズムの分析 FoReLの別形式として導入したOnline Mirror Descentとみれば、(OMD20)の上界が使える Wt,Xtをスケール変換して、最も０に近い正例で1となったと見なしたと考えてもよい

  22. Perceptronアルゴリズムの分析

  23. PassiveAggressiveAlgorithm • K.Crammer et.al. Online Passive-Aggressive Algorithms Journal of Machine Learning Research 7 (2006) 551–585 • 識別（あるいは分類）の問題設定 • round tでn次元データ　　　　　　が到着 • 　　の正負は　　　　　　　　　　　のように与えられる • 重みベクトル: • 正しい（誤った）判定： • wtはデータが到着するたびに更新されている

  24. 損失関数による定式化 • 境界面そのもので判定はきわどいのでマージンを持たせる。マージンを1とした場合の損失関数(hinge-loss function)は以下の通り • この設定で、round tの更新は次の条件付き最適化問題となる。 0 1

  25. FoReＬとして見ると

  26. 最適化問題（PA-1)を解く • If lt=0 then wt minimizes wt+1 =wt • If lt≠0 then Lagrange 未定乗数法で解く。 Passive Aggressive

  27. Passive Aggressive xt xt Passive Aggressive

  28. soft marginの学習法 PA-I, PA-II

  29. Passive Aggressive Algorithm • INPUT: aggressiveness parameter C > 0 • INITIALIZE: w1 = (0, . . . ,0) • For t = 1,2, . . . • • receive instance: xt∈Rn • • predict: ˆ yt = sign • • receive correct label: yt∈ {−1,+1} • • suffer loss: lt= max{0 , 1−yt} • • update: • 1. set:(PA) • (PA-I) • (PA-II) • 2. update: wt+1 = wt+τt

  30. 付録：PA-Iの導出

  31. 付録：PA-IIの導出

  32. 損失の限界の評価

  33. Proof

  34. Proof

  35. Theorem 2では次の制約が厳しい。 • この制約は、uで完全な識別ができること。 • この制約を外す定理を考える Proofは次ページ

  36. Proof

  37. PA-Iにおける入力データ識別の失敗回数の上限PA-Iにおける入力データ識別の失敗回数の上限 Proofは次のページ

  38. PA-IIにおける累積損失の上限 Proofは次のページ

  39. Confidence Weighted Algorithm Crammer et al. 2008

  40. 学習する重みベクトルWを点ではなく分布（正規分布）にする学習する重みベクトルWを点ではなく分布（正規分布）にする  Wの期待値と分散を更新する

  41. Pegasos：Primal Estimated sub-GrAdientSOlverfor SVM • L2正則化＋L1損失のSVM • Pegasosの更新は次式による • 更新の後、wを半径　　　　 の球にproject • 以上を収束するまで繰り返す。データ集合Aごとなので、onlineというよりはmini-batcｈ

  42. Pegasos：Primal Estimated sub-GrAdientSOlver for SVMのアルゴリズム

  43. f(w)の評価

More Related