Memory-based Learning

1. Učení založené na paměti (výtah z přednášky Waltera Daelemanse, GSLT, Göteborg 2003) + TiMBL -ukázka použití programu Jiří Mírovský, ÚFAL, 2005 Memory-based Learning

2. Učení a klasifikace • Učení: • ulož trénovací příklady do paměti • Klasifikace testovacího příkladu X: • porovnej X s každým příkladem v paměti: • spočítej vzdálenost mezi X a příkladem v paměti • aktualizuj k dosud nalezených nejbližších příkladů (sousedů) • nejvýznamnější třídu mezi k nejbližšími sousedy vezmi jako klasifikaci příkladu X

3. Vlastnosti MBL • příklad tzv. líné metody • dobře zobecňuje • dobře zvládá výjimky • neabstrahuje • náročná na paměť a práci s ní

4. Parametry • jádro algoritmu MBL • tři hlavní parametry: • reprezentace příkladů (samozřejmě, jako u všech ostatních metod strojového učení) • určení podobnosti příkladů (metrika) • výběr nejvýznamnější třídy z k nejbližších sousedů

5. Metriky -metrika překrytí • metrika překrytí • počet atributů s různými hodnotami (u nečíselných atributů)

6. Metriky -MVDM • Modified Value Difference Metric (modifikovaná metrika různosti hodnot) • pro nečíselné atributy • 'p' a 'b' ve fonetice jsou podobnější než 'p' a 'a' • jak často se v1 vyskytuje se stejnými třídami jako v2

7. Metriky -váhy atributů • různé váhy atributů • výpočet vah: např. informační zisk: • spočítej základní entropii dat H • pro každý atribut: • rozděl data na množiny dané hodnotami atributu • spočítej entropii každé z těchto množin • spočítej váženou průměrnou entropii těchto množin • rozdíl této vážené průměrné entropie a základní entropie dat H je informační zisk daného atributu

8. Výběr z k nejbližších sousedů • třída s největší četností vyhrává • hlasování vážené vzdáleností • lineárně, inverzně, exponenciálně • řešení nerozhodných případů

9. TiMBL • Tilburg Memory-Based Learner • http://ilk.uvt.nl/software.html • zdarma pro výzkum a vzdělávání • implementace mnoha variant MBL