Rozproszone reprezentacje

1. Rozproszone reprezentacje Inteligentne Systemy Autonomiczne W oparciu o wykład Prof. Geoffrey Hinton University of Toronto Janusz A. Starzyk Wyzsza Szkola Informatyki i Zarzadzania w Rzeszowie

2. Lokalne reprezentacje • Najprostszą drogą reprezentacji rzeczy w sieciach neuronowych jest dedykowanie jednego neuronu dla każdej rzeczy. • Łatwe do zrozumienia. • Łatwe do ręcznego kodowania. • Często wykorzystywane do reprezentacji danych wejściowych sieci. • Łatwe do nauki. • To jest to co robią mieszane modele. • Każdy klaster odpowiada jednemu neuronowi. • Łatwedo łączenia z innymi reprezentacjami. • Ale lokalne modele są bardzo nieskuteczne gdy dane mają strukturę składnikową.

3. Przykłady struktur składnikowych. • Duży, Żółty, Volkswagen • Czy mamy neuron dla takiej kombinacji ? • Czy jest z góryustalonyneuron DŻV ? • Czy jest on tworzony w trakcie uczenia? • Jak jest on związany z neuronami Duży i Żółty i Volkswagen? • Rozważ obserwowany obraz • Zawiera wiele różnych obiektów • Każdy objekt ma wiele własności np. kolor, wielkość, kształt, ruch • Obiekty mają przestrzenne relacje z innymi obiektami

4. Reprezentują połączenia przez aktywowanie wszystkich elementów w tym samym czasie. To nie wymaga połączeń między elementami Ale co gdy rownoczesnie chcemy reprezentować żółty trójkąt i niebieskie koło? Może to tłumaczy seryjną naturę świadomości. A może nie! Wykorzystanie równoczesności do łączeniarzeczy razem kształtne neurony kolorowe neurony

5. Wykorzystanie przestrzeni do łączeniarzeczy razem. • Typowe komputery potrafią łączyć rzeczy razem przez umieszczenie ich w sąsiednich komórkach pamięci. • Najlepiej prezentuje się to na wizji. Powierzchnie są generalnie nieprzezroczyste, więc widzimy tylko jedną rzecz w każdym miejscu pola wizyjnego. • Jeśli używamy map topograficznych dla różnych cech, to możemy założyć, że cechy w tej samej lokalizacji należą do tej samej rzeczy.

6. Definicja „rozproszonej reprezentacji”. • Każdy neuron musi reprezentować coś, więc musi to być lokalna reprezentacja. • “Reprezentacja rozproszona” oznaczarelacje wiele-do-wielu między dwoma typami reprezentacji (takimi jak koncepcje i neurony). • Każda koncepcja jest reprezentowana przez wiele neuronów. • Każdy neuron uczestniczy w reprezentacji wielu koncepcji.

7. Kodowanie przybliżone • Wykorzystanie jednego neuronu dla kazdej rzeczy jest nieefektywne. • Wydajny kod miałby każdy neuron aktywny przez połowę czasu • To mogłoby być mało wydajne dla innych celów (jak łączenie odpowiedzi z odwzorowaniami). • Czy możemy uzyskać dokładne reprezentacje przez wykorzystanie wielu niedokladnych neuronów? • Jeśli tak to byłoby to bardzo odporne na awarie sprzętu komputerowego.

8. Użyj trzech nakładających się tabel o dużych komórkach aby uzyskać tabele wielu drobnych komórek Jeśli punkt jest w drobnej komórce, koduj go przez aktywacje 3 dużych komórek Jest to skuteczniejsze od używania neuronu dla każdej drobnej komórki. Koszt - 3 tablele Zysk - 3x3 w rozdzielczosci Ogólnie 3-krotna oszczednosc Kodowanie przybliżone

9. Jak skuteczne jest kodowanie przybliżone? • Efektywność zależy od wymiarowości • W przestrzeni jedno-wymiarowej kodowanie przybliżone nie pomaga. • W 2D oszczędność w neuronach jest proporcjonalna do stosunku drobnego rozmiaru do zgrubnego rozmiaru. • W przestrzeni k – wymiarowej, powiększając rozmiarrkrotnie możemy utrzymać tę samą dokładność jak z drobnymi polami i zaoszczędzić :

10. Limity kodowania przybliżonego • Osiąga dokładność ale kosztem rozdzielczosci • Dokładnośćjest zdefiniowana jako wielkość przesunięcia punktu do momentu zmiany reprezentacji • Rozdzielczoscjest zdefiniowana jako ta odległość przy której punkty mogą być nadal rozróżnialne w reprezentacji. • Reprezentacje mogą zachodzić na siebie i wciąż być dekodowane jeśli pozwolimy na aktywność powyżej 1 • To sprawia trudności w kojarzeniu bardzo różnych odpowiedzi z podobnymi punktami, ponieważ ich reprezentacje nakładają się. • Jest to użyteczne do generalizacji. • Efekty graniczne dominują gdy pola są bardzo duże.

11. Kodowanie przybliżone w systemiewizyjnym • Idąc dalej od siatkówki oka obszary wejsciowe neuronów stają się coraz większe i wymagają bardziej skomplikowanych cech. • Większość neurologów interpretuje to jako dowód niezmienniczości neuronów • Jest to również potrzebne w przypadku gdy neurony chciałyby osiągnąć wysoką dokładność • Dla właściwości takich jak pozycja, orientacja i rozmiar • Wysoka dokładność jest potrzebna, by zdecydować czy części obiektu są we właściwej przestrzennej relacji ze soba

12. Reprezentacja struktury relacyjnej • “George kocha Pokój” • Jak twierdzenie może być przedstawione jako rozproszony model działania? • Jak neurony przedstawiające różne twierdzenia sa powiązane ze soba i ze skladowymi tych twierdzen? • Potrzebujemy reprezentowacrolę dla każdego skladnika w twierdzeniu.

13. George Tony Wojna Pokój Ryba Chipsy Robaki Miłość Wstręt Jedzenie Dawanie Droga do reprezentacji struktur agent objekt beneficjant akcja

14. Problem rekurencji • Jacques był rozgniewany tym iżTony pomógłGeorgowi • Jedno twierdzenie może być częścią innego twierdzenia. Jak możemy to pokazać w neuronach? • Jedną z możliwości jest użycie „skróconych opisów”. Oprocz pełnej reprezentacji przez model rozlozony na dużą liczbę neuronów, jednostka może mieć znacznie bardziej zwarta reprezentacje, która moze być częścią większej jednostki. • Jest to trochę jak wskazniki (pointers). • Mamy pełną reprezentację wybranego przedmiotu i zredukowane reprezentacjejego części składowych. • Ta teoria wymaga mechanizmów kompresji pełnych reprezentacji do reprezentacji zredukowanych i rozszerzania skróconych opisów do opisow pełnych.