1 / 33

Aplikace Machine Learning v Image Processing

Aplikace Machine Learning v Image Processing. Irena Váňová. Osnova. Motivace Aproximace signálu pomocí slovníku Matching Pursuit, OMP Porovnání těchto metod s jinými Vytváření vlastního slovníku MOD, K-SVD Aplikace těchto algoritmů. location. scale. orientation. Motivace.

ernie
Download Presentation

Aplikace Machine Learning v Image Processing

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Aplikace Machine Learning v Image Processing Irena Váňová

  2. Osnova • Motivace • Aproximace signálu pomocí slovníku • Matching Pursuit, OMP • Porovnání těchto metod s jinými • Vytváření vlastního slovníku • MOD, K-SVD • Aplikace těchto algoritmů

  3. location scale orientation Motivace Active basis pursuit Gaborovy wavelety

  4. Learning active basis clustering Kočkopes

  5. Basic Matching Pursuit Máme fci f, a její hodnoty {y1,…,yl} v bodech{x1,…,xl} Slovník – množina fcí {g1,…,gM} Chceme minimální chybu Chyba = kvadrát normy, Globální minimum - NP

  6. Greedy přístup Hledáme bázi gi a koeficienty 0. prázdná báze n. máme g1,…,gn a hledáme gn+1: nechť máme gn+1 , pak chceme minimalizovat zvolíme gn+1, max. kolineárnost s Rn Stop. Chyba klesne pod danou hodnotu

  7. Příklad

  8. Upgrade 1. - OMP • Back-fitting, Orthogonal MP • Stejný postup hledání gn+1 • Zafixujeme gi a minimalizujeme přes - lineární regrese

  9. zafixováno hledáme Upgrade 2. • Pre-fitting, lze spočítat přes projekce • Basic, fix. vše kromě gn+1 • Back-fitting, fix. g1,…,gn+1 hledáme • Pre-fitting, fix pouze g1,…,gn

  10. Použití matching pursuit • Původně pochází ze signal processing, wavelets skupin • Signál = součet funkcí • Nové uplatnění: Machine learning • Regresní křivka = součet funkcí • Nutnost zavést obecnější ztrátovou funkci

  11. Rozšíření přístupu • Máme obecnou ztrátovou fci L(yi,fn(xi)) • Předefinujeme reziduum Rn • Směr největšího spádu v prostoru fcí • Back-fitting možný, ale časově náročný

  12. Regrese • Chceme vyjádřit klasifikační fci – regrese • MP s obecnější ztrátovou fcí

  13. Kernel MP • Máme danou kernel fci K • Slovník je kernel v každém trénovacím bodě • Aproximace • jsou indexy „support points“

  14. Výhody KMP • Žádné omezení na kernely • Více než jeden tvar, měřítko kernelu • pro všechny, pro jednu třídu • Vložit do slovníku libovolné fce • Konstantní, …

  15. Porovnání s SVM, … mapování do nových dimenzí Minimalizujeme • Jiná funkce, jiná chyba • Kontrola řídkosti

  16. Tool příklady Stejný kernel - Gausián 7 iterací back-fitting KMP = OMP 100 iterací Basic KMP Support Vector Machine 7 iterací Pre-fitting KMP

  17. Houbař • 8124 hub, 22 vlastností • 2 třídy – , • Chyba podobná • Počet support vektorů je velmi rozdílný

  18. Active basis pursuit

  19. Vlastní slovník • Zvolené slovníky – wavelets • Univerzální – výhody, nevýhody • Naučit se slovník pro náš problém • MOD, K-svd

  20. Označení • Máme data yi • Hledáme slovník di, který nejlépe popisuje naše data Chyba vektoru y Chyba vstupních vektorů y1,…,yN

  21. Příklad Y D

  22. Obecný framework 1. Inicializujeme slovník 2. Najdeme koeficienty X ke slovníku • Matching Persuit nebo jiná metoda • Omezení na X, chceme řídké 3. Pomocí X opravíme slovník D • MOD, K-SVD • Není ten framework povědomý? • K-mean, omezení na X

  23. Zderivujeme výraz podle Da položíme = 0 Method of optimal directions Chyba vektoru y Chyba vstupních vektorů y1,…,yN po odvození oprava slovníku 1 krok 1 slovník

  24. Y D X . - = n n K N K N Dk Kk Y . - . - K-1 n n N N K-1 K-SVD • V 1 kroku optimalizujeme 1 slovo =

  25. SVD A = U S VT Ak = u1s1 v1T+ ... + uksk vkT

  26. SVD Příklad uisi viT Ak = u1s1 v1T+ ... + uksk vkT Ai

  27. Porovnání metod • MOD, K-SVD • Náhodný slovník • 50 slov – 20D • Data 1500 yi • Kombinace 3 slov • Přidán šum • Z dat spočítán slovník a porovnán • y-osa # „Stejný“

  28. Porovnání slovníků • K-SVD, Haar, DCT • slovníky 64x441 • Trénovací data – 11000 bloků 8x8 • Z face-image databáze • Hledání koeficientů OMP • 20-90% pixelů bylo vymazáno • Na zbytku – OMP pomocí slovníků • Chybějící pixely se dodefinovali

  29. Příklad K-SVD Y D K-SVD Haar DCT

  30. Výsledky K-SVD

  31. Použití v odšumování • 1. Init slovíku D • 2. J krát opakuj • Vyjádři patche pomocí D • OMP • Oprav slovník D • K-SVD • 3. Průměrování patchů na pozicích vyjádřených slovníkem D patche zašuměný obrázek Y

  32. Původní Výsledek 30.829dB Initial dictionary (overcomplete DCT) 64×256 Výsledky odšumování Zašuměný Slovník po 10 iteracích

  33. Reference • Elad, M.   Aharon, M.,  Image Denoising Via Sparse and Redundant Representations Over Learned Dictionaries, IEEE Transactions on Image Processing, 2006 • P. Vincent, Y. Bengio, Kernel matching pursuit, Machine Learning Journal 48, 2002 • Aharon, M., Elad, M. and Bruckstein, A.M., The K-SVD: an algorithm for designing of overcomplete dictionaries for sparse representation. IEEE Transactions on Signal Processing, 2005 • Ying Nian Wu, Deformable Template as Active Basis, ICCV07, http://www.stat.ucla.edu/~ywu/ActiveBasis.html

More Related