390 likes | 557 Views
Neuronnät och identifiering av CME’s. Peter Wintoft Institutet för rymdfysik i Lund. S. Artificiella neuronnät. 1911 – Neuronen [R. Cajál]. 1943 – Artificiell neuron [McCulloch & Pitts]. 1962 – Perceptronen [Rosenblatt]. 1969 – XOR-problemet [Minsky & Papert]. 0 0 0 0 1 1 1 0 1
E N D
Neuronnätochidentifiering av CME’s Peter Wintoft Institutet för rymdfysik i Lund Industriella tillämpningar inom bildanalysen
S Artificiella neuronnät 1911 – Neuronen [R. Cajál]. 1943 – Artificiell neuron [McCulloch & Pitts]. 1962 – Perceptronen [Rosenblatt]. 1969 – XOR-problemet [Minsky & Papert]. 0 0 0 0 1 1 1 0 1 1 1 0 … 1985 – Backpropagation [Rumelhart, Hinton …]. Industriella tillämpningar inom bildanalysen
Ögon 107 1013 10-1 10-2 potatisar Hjärnan 1011 1018 1 1 potatis Myra 105 1012 10-6 ? Dator vs. riktiga neuronnät Antal processorer Beräknings-kapacitet (s-1) Effekt-förbrukning Vikt (kg) ASCI White 8196 1013 105 Liten stad http://www.marshill.org/worlds_fastest_computer_2001.htm Industriella tillämpningar inom bildanalysen
S Artificiell neuron wi xi y a a = S wi xi + b b y = g(a) Industriella tillämpningar inom bildanalysen
x2 0 om a<0 y = g(a) = 1 om a>0 x1 En neuron – linjär klassificering a = S wi xi + b a = w1x1 + w2x2 + b a = x1 - x2 + 0.5 Industriella tillämpningar inom bildanalysen
Dolt lager Input Output-lager yk(2) xi yj(1) wkj(2) wji(1) Två lager med neuroner yj(1)=g1( S wji(1)xi + bj(1) ) yk(2)=g2( S wkj(2)yj(1) + bk(2) ) Industriella tillämpningar inom bildanalysen
x2 x1 Två lager – icke-linjär klassificering Industriella tillämpningar inom bildanalysen
Feed-forward neuronnät • Ett lager • Linjär klassificering • Två lager • (Konvex) icke-linjär klassificering • Kontinuerliga icke-linjära kurvor • Tre lager • Generell icke-linjär klassificering • Icke-kontinuerliga och icke-linjära kurvor Industriella tillämpningar inom bildanalysen
(p) (p) (p) (p) (p) (p) -1 T T wT = d X (XX ) Hur bestämmer man vikterna? Linjärt filter x1 w1 y = S wixi = wTx x = y = [y(1),y(2),…,y(n)] wm xm X =[x(1),x(2),…,x(n)] Filtrets output: y = wTX Önskad output: d Minsta-kvadratlösning: Industriella tillämpningar inom bildanalysen
yk(2) xi yj(1) wkj(2) wji(1) Hur bestämmer man vikterna? Feed-forward neuronnät Industriella tillämpningar inom bildanalysen
∂E Error gradient och momentum: ∂w + a ∆wprev. ∆w = - h Error-backpropagation Summed squared error: E = 1/2 Sp,k(dk(p)-yk(p))2 Industriella tillämpningar inom bildanalysen
Träningsstrategi för feed-forward neuronnät • Välj ut tre dataserier för • träning, • validering respektive • test. • Variera antalet dolda neuroner och träna varje neuronnät flera gånger (3-10) utifrån olika slumpmässigt valda vikter. • Välj neuronnätet med det minsta valideringsfelet. • Bestäm prestandan på testserien. Industriella tillämpningar inom bildanalysen
Local minimum Global minimum? Validation Hur länge skall man träna? Industriella tillämpningar inom bildanalysen
RMS Error # neurons Hur många dolda neuroner? Industriella tillämpningar inom bildanalysen
Exempel 1: Textigenkänning I Optical Character Recognition (OCR) Tolka handskrivna postnummer [LeCun et al., 1990]. 3 Bild med 20x20 pixlar Industriella tillämpningar inom bildanalysen
Exempel 1: Textigenkänning II FFNN med lokala receptiva fält. [Haykin, 1994]. Lager 5 Lager 4 Lager 3 Lager 2 Lager 1 Input Industriella tillämpningar inom bildanalysen
Exempel 1: Textigenkänning III Lokala receptiva fält Industriella tillämpningar inom bildanalysen
Exempel 1: Textigenkänning IV Industriella tillämpningar inom bildanalysen
Exempel 1: Textigenkänning V • Lager 1–4 implementerade på ett neuron-kretskort. • Lager 5 DSP-kort. • Test på riktiga brev gav • 2.5% fel för människa • 5.5% fel för neuronnät Industriella tillämpningar inom bildanalysen
Exempel 2: Bildkomprimering I FFNN med lika input och output samt 3-5 dolda lager. Output Input Komprimering Rekonstruktion Industriella tillämpningar inom bildanalysen
Exempel 2: Bildkomprimering II • http://neuron.eng.wayne.edu/bpImageCompression9PLUS/bp9PLUS.html Industriella tillämpningar inom bildanalysen
Människa I varje givet ögonblick kontrolerar hjärnan 244 frihetsgrader med över 600 muskler. Industriella tillämpningar inom bildanalysen
Self-organized map – SOM Mappa input till en (vanligen) 2-dimensionell karta och om möjligt bevara topologin. SOM Input Industriella tillämpningar inom bildanalysen
Exempel 3: Robotseende [Ritter et al., 1992] Industriella tillämpningar inom bildanalysen
Referenser • Böcker • Haykin, Neural networks – a comprehensive foundation, Macmillan, 1994. • Ritter, Martinetz, Schulten, Neural computation and self-organizing maps, Addison-Wesley Publ. Comp., 1992. • Swingler, Applying neural networks – a practical guide, Academic Press, 1996. • Artiklar • LeCun, Boser, Denker, Henderson, Howard, Hubbard, Jackel, Handwritten digit recognition with a back-propagation network, Advances in Neural Information Processing Systems 2, Morgan Kaufmann, 396–404, 1990. Industriella tillämpningar inom bildanalysen
Web-referenser • OCR • http://www.geocities.com/SiliconValley/2548/ochre.html • Bildkomprimering • http://neuron.eng.wayne.edu/bpImageCompression9PLUS/bp9PLUS.html • Neuronnät • http://www.kcl.ac.uk/neuronet/ • http://www.neuroinformatik.ruhr-uni-bochum.de/ini/VDM/research/gsn/DemoGNG/GNG.html Industriella tillämpningar inom bildanalysen
Identifiering av CME’s med radon-transformen Examensarbete 2002Åsa FranssonRymdingenjör, Kiruna Industriella tillämpningar inom bildanalysen
Tid Avstånd från solen Industriella tillämpningar inom bildanalysen
Radon-transformen Industriella tillämpningar inom bildanalysen
Test image Industriella tillämpningar inom bildanalysen
Radon-transformed image Industriella tillämpningar inom bildanalysen
Filtered image Industriella tillämpningar inom bildanalysen
Estimation of onset time Industriella tillämpningar inom bildanalysen
Identified CME’s Industriella tillämpningar inom bildanalysen
Modell för CME till solvind • Träna neuronnät för förutsägelse av solvindshastigheten • Input: Radonbilder • Output: Solvinden vid L1 Industriella tillämpningar inom bildanalysen