Support Vector Machines (Chapter 3)

1. Support Vector Machines(Chapter 3) 2004.5.18 野沢康文

2. Overview • 特徴空間での学習 • カーネル関数

3. Limitation of Linear Learning Machine Linearly separable なデータでなければならない 別の空間へ写像してから学習する

4. Learning in Feature Space φ(x) x x o φ φ(x) φ(x) x o o φ(o) φ(x) φ(o) x o φ(o) φ(o) Input space X Feature space F

5. Learning in Feature Space e.g.) x1 x2 x2 φ(x) x x o φ(x) φ(x) φ x o o φ(o) φ(x) φ(o) x o φ(o) x12 φ(o) x1 x22 Input space X Feature space F

6. Problems • Computational problems • Generalization problems (curse of dimensionality)

7. Dual form (Linear Leaning Machine) Linear Learning Machine での識別式 ・αi ,b 学習から得られる ・ yi {1,-1} ・ xi 訓練サンプル ・ x 識別したい点

8. Algorithm

9. Algorithm (Feature Space)

10. Dual form (Feature Space) 特徴空間における識別式は 特徴空間における内積　　　　　　　　　　をxとxiの関数として直接表すことができれば、計算が楽になる。

11. Kernel function 定義(カーネル関数) カーネル関数を用いて、識別式は次のように表される

12. Kernel function • カーネル関数を定めるとmapping関数φが一意に決まる ・カーネル関数Kとφの関係の例 例1) x,z∈R2で K(x,z)=〈x・z〉2としたとき、 となるから

13. Kernel function ・カーネル関数Kとφの関係の例 例2) x,z∈R4で K(x,z)=〈x・z〉2としたとき、

14. Characterization of kernel • K(x, z)がカーネル関数であるためには以下のように内積の形にかけなければならない。 上のようにできるためにはK(x, z)は具体的にはどのような形になっていなければならないのか？

15. Characterization of kernel (finite input space) 命題(有限入力空間でのカーネル関数) Xを有限個の元からなる入力空間とする。 xi∈Xとする。 K (xi, xj)を対称な関数とする。次のような行列が負の固有値を持たなければKはカーネル関数となりうる。(mはXの元の個数)

16. Mercer’s Theorem Mercerの定理 x,z∈Xの関数Kが内積の形 と書けるための必要十分条件は、Kが対称関数であり、すべてのf∈L2(X)に関して以下が成り立つことである。

17. Making Kernels from Kernels B:負の固有値を持たないn×n行列

18. Making Kernels from Kernels • 系 • 有名なカーネル 多項式カーネル Gaussianカーネル Sigmoidカーネル

19. Reproducing Kernel Hilbert Spaces • 再生核ヒルベルト空間(RKHS) • 集合X上の関数ヒルベルト空間H において • 任意のx ∈ X に対してK(x,・) ∈ H • H での内積を<x・z>Hで表す。任意のf ∈H, x’∈Xに対して • <f(・)・K(x’,・)>H =f(x’) (reproducing property) • を満たすX×X 関数K(x,x’)が存在するとき，Hを再生核ヒルベルト空間といい，関数K(x,x’) を再生核という。

20. Reproducing Kernel Hilbert Spaces とする。 となるような関数全体からなる空間をHとする。 として、fとgのHでの内積を と定める。 このとき、HはKを再生核とする再生核ヒルベルト空間となっている。 つまり任意のカーネル関数Kに対し、それを再生核とする再生核ヒルベルト空間が存在する。

21. Working in Feature Space つぎのようなマッピングを考える (Fはφ(X)の線形結合からなる空間) P,Q ∈F を 内積 を すると特徴空間における２点間の距離はφを知らなくても求まる