مباحث :

2. مباحث : معرفی شبکه های عصبی مصنوعی(ANNها) مبانی شبکه های عصبی مصنوعی توپولوژی شبکه فرآیند یادگیری شبکه تجزیه و تحلیل داده ها توسط شبکه های عصبی مصنوعی ایده ی اصلی شبکه های عصبی مصنوعی معایب شبکه های عصبی مصنوعی کاربردهای شبکه های عصبی مصنوعی

3. مقدمه: زمان پاسخ گویی نرون طبیعی : زمان پاسخ گویی ترانزیستور : با این حال عملیات در مغز انسان خیلی سریعتر از کامپیوتر است.

4. معرفی ANN ها • یک سیستم پردازشی داده ها که از مغز انسان ایده گرفته و پردازش داده ها را به عهده ی پردازنده های کوچک و بسیار زیادی سپرده که به صورت شبکه ای به هم پیوسته و موازی با یکدیگر رفتار می کنند تا یک مسئله را حل کنند.

5. معرفی ANN ها • یک سیستم پردازشی داده ها که از مغز انسان ایده گرفته و پردازش داده ها را به عهده ی پردازنده های کوچک و بسیار زیادی سپرده که به صورت شبکه ای به هم پیوسته و موازی با یکدیگر رفتار می کنند تا یک مسئله را حل کنند.

6. معرفی ANN ها • یک سیستم پردازشی داده ها که از مغز انسان ایده گرفته و پردازش داده ها را به عهده ی پردازنده های کوچک و بسیار زیادی سپرده که به صورت شبکه ای به هم پیوسته و موازی با یکدیگر رفتار می کنند تا یک مسئله را حل کنند.

7. در این شبکه ها به کمک دانش برنامه نویسی ، ساختا ر داده ای طراحی می شود که می تواند هما نند نورون عمل کند

11. شبکه های عصبی به طور کلی سیستمهای ریاضی یادگیر غیر خطی هستند.

12. آموزش اعتبار سنجی اجرا

13. output 1 0.9 Input 1 0.3 0.78 output 2 Input 2 0.3 0.7 output 3 0.8 آموزش دیدن شبکه های عصبی در واقع چیزی جز تنظیم وزن های ارتباطی این نرون ها به ازائ دریافت مثال های مختلف نیست تا خروجی شبکه به سمت خروجی مطلوب همگرا شود.

14. توپولوژی شبکه وضعیت نسبی سلولها در شبکه(تعداد و گروه بندی و نوع اتصالات آنها)را توپولوژی شبکه گویند.توپولوژی در واقع سیستم اتصال سخت افزار نورونها به یکدیگر است که توام با نرم افزار مربوطه (یعنی روش ریاضی جریان اطلاعات و محاسبه ی وزنها)نوع عملکرد شبکه ی عصبی را تعیین می کند. در این توپولوژی یک لایه ی ورودی وجود دارد که اطلاعات را دریافت می کند،تعدادی لایه یمخفی وجود دارد که اطلاعات را از لایه های قبلی می گیرند و در نهایت یک لایه ی خروجی وجود دارد که نتیجه ی محاسبات به آنجا میرود و جوابها در آن قرار میگیرند. FeedForward topology Recurrent topology

15. Input layer Output layer Hidden layer

16. قابلیتهای شبکهعصبی • مدل سازی و تقریب توابع • استخراج ویژگی ها • پردازشسیگنال • یادگیری • طبقه و خوشه بندی • فشرده سازی • بهینه سازی • کنترل و شناسایی سیستم • حافظه های انجمنی

17. شبکه عصبی به خودی خود هیچ ارزشی ندارد بلکه شکل دیگری از بیان روابط ریاضی است. • شبکه عصبی در بسیاری موارد شبیه به رگرسیون است. تفاوت اساسی در : • ورودی شبکه • برخی کاربردها

18. مسائلمناسببراییادگیریشبکههایعصبیمسائلمناسببراییادگیریشبکههایعصبی • خطا در داده های آموزشی وجود داشته باشد. مثلمسائلی که داده های آموزشی دارای نویز حاصل از دادهای سنسورها نظیر دوربین و میکروفن ها هستند. • مواردی که نمونه ها توسط مقادیر زیادی زوج ویژگی-مقدار نشان داده شده باشند. نظیر داده های حاصل از یک دوربین ویدئوئی. • تابع هدف دارای مقادیر پیوسته باشد. • زمان کافی برای یادگیری وجود داشته باشد. این روش در مقایسه با روشهای دیگر نظیر درخت تصمیم نیاز به زمان بیشتری برای یادگیری دارد. • نیازیبهتعبیرتابعهدفنباشد. زیرابهسختیمیتواناوزانیادگرفتهشدهتوسطشبکهراتعبیرنمود.

19. فرآیند یادگیری شبکه وظیفه ی اصلی شبکه های عصبی یادگیری است. یادگیری تحت نظارت(supervised) یادگیری بدون نظارت(unsupervised) یادگیری تقویتی(reinforcement)

20. Perceptron یک پرسپترونبرداریازورودیهایبامقادیرحقیقیراگرفتهویکترکیبخطیازاینورودیهارامحاسبهمیکند. اگرحاصلازیکمقدارآستانهبیشتربودخروجی پرسپترونبرابربا 1 ودرغیراینصورتمعادل -1 خواهدبود.

21. Linearly separable + + + + + - - - + - - - Linearly separable Non-linearly separable

22. bias برای اینکه برای یادگیری بایاس نیازی به استفاده از قانون دیگری نداشته باشیم بایاس را بصورت یک ورودی با مقدار ثابت 1 در نظر گرفته و وزن W0 را به آن اختصاص میدهیم.

23. یادگیرییک پرسپترون http://research.yale.edu/ysm/images/78.2/articles-neural-neuron.jpg • خروحی پرسپترونتوسطرابطهزیرمشخصمیشود: • کهبرایسادگیآنرامیتوانبصورتزیرنشانداد: if otherwise where = 1 if y > 0 -1 otherwise

24. آموزش پرسپترون الگوریتمیادگیری پرسپترون: • مقادیریتصادفیبهوزنهانسبتمیدهیم • پرسپترونرابهتکتکمثالهایآموزشیاعمالمیکنیم. اگرمثالغلطارزیابیشودمقادیروزنهای پرسپترونراتصحیحمیکنیم. • آیاتمامیمثالهایآموزشیدرستارزیابیمیشوند: • بله پایانالگوریتم • خیربهمرحله 2 برمیگردیم

25. یافتن مقادیر صحیح اوزان در پرسپترون : دوروش مختلف : • قانون پرسپترون • قانوندلتا

26. قانون پرسپترون • براییکمثالآموزشیدرهرمرحلهوزنها براساسقانونپرسپترونبصورتزیرتغییرمیکند: کهدرآن = η ( t – o ) xi t: target output o: output generated by the perceptron η: constant called the learning rate (e.g., 0.1) اثباتشدهاستکهبراییکمجموعهمثالجداپذیرخطیاینروشهمگراشدهو پرسپترونقادربهجداسازیصحیحمثالهاخواهدشد.

27. قانوندلتاDelta Rule • وقتیکهمثالهابصورتخطیجداپذیرنباشندقانون پرسپترونهمگرانخواهدشد. برایغلبهبراینمشکلازقانوندلتااستفادهمیشود. • ایدهاصلیاینقانوناستفادهاز gradient descent برایجستجودرفضایفرضیهوزنهایممکنمیباشد. اینقانونپایهروشBackpropagationاستکهبرایآموزششبکهباچندیننرونبههممتصلبکارمیرود.

28. قانوندلتاDelta Rule • برایدرکبهتراینروشآنرابهیک پرسپترونفاقدحدآستانهاعمالمیکنیم. درانجالازماستابتداتعریفیبرایخطایآموزشارائهشود. یکتعریفمتداولاینچنیناست:

29. قانوندلتاDelta Rule • براییکمثالآموزشیدرهرمرحلهوزنهابراساسقانوندلتابصورتزیرتغییرمیکند: η: learning rate (e.g., 0.1)

30. MultilayerArchitecture Output layer Input layer Hidden Layers

31. 1 -10 -8 -6 -4 -2 2 4 6 8 10 Activation Functions Sigmoidal Function

32. الگوریتمBack propagation • براییادگیریوزنهاییکشبکهچندلایهازروش Back Propagation استفادهمیشود. دراینروشبااستفادهاز gradient descent سعیمیشودتامربعخطایبینخروجیهایشبکهوتابعهدفمینیممشود. • خطابصورتزیرتعریفمیشود: مرادازoutputs خروجیهایمجموعهواحدهایلایهخروجیوtkdوokdمقدارهدفوخروجیمتناظربا k امینواحدخروجیومثالآموزشی d است.

33. Back-propagation Algorithm

34. انتشاربهسمتجلو(Forward Step) برایهرمثال X مقدارخروجیهرواحدرامحاسبهکنیدتابهگرههایخروجیبرسید. مقدار خروجی هر نرون لایه خروجی را محاسبه می کنیم.

35. انتشاربهسمتعقب(Backward Step) • برایهرواحدخروجیجملهخطارابصورتزیرمحاسبهکنید: • برایهرواحدمخفیجملهخطارابصورتزیرمحاسبهکنید: • مقدارهروزنرابصورتزیرتغییردهید: کهدرآن :

36. الگوریتم BP • شبکهایباninگرهورودی،nhiddenگرهمخفی،وnoutگرهخروجیایجادکنید. • همهوزنهارابایکمقدارتصادفیکوچکعدددهیکنید. • تارسیدنبهشرطپایانی ) کوچکشدنخطا( مراحلزیرراانجامدهید: برایهر xمتعلقبهمثالهایآموزشی: مثال X رابهسمتجلودرشبکهانتشاردهید خطای E رابهسمتعقبدرشبکهانتشاردهید.

37. مرورالگوریتمBP • اینالگوریتمیکجستجوی gradient descent درفضایوزنهاانجاممیدهد. • ممکناستدریکمینیمممحلیگیربیافتد • درعملبسیارموثربودهاست برایپرهیزازمینیمممحلیروشهایمختلفیوجوددارد: • افزودنممنتم • استفادهازstochastic gradient descent • استفادهازشبکههایمختلفبامقادیرمتفاوتیبرایوزنهایاولیه

38. افزودنممنتم • میتوانقانونتغییروزنهاراطوریدرنظرگرفتکهتغییروزندرتکرار n امتاحدیبهاندازهتغییروزندرتکرارقبلیبستگیداشتهباشد. کهدرآنمقدارممنتمα بصورت0 <= α <= 1میباشد. افزودنممنتمباعثمیشودتاباحرکتدرمسیرقبلیدرسطحخطا: • ازگیرافتادندرمینیممحلیپرهیزشود • باافزایشتدریجیمقدارپلهتغییرات،سرعتجستجوافزایشیابد.

39. قدرتتعمیموoverfitting • شرطپاینالگوریتم BP چیست؟ • یکانتخابایناستکهالگوریتمراآنقدرادامهدهیمتاخطاازمقدارمعینیکمترشود. اینامرمیتواندمنجربهoverfittingشود. Validation set error Error Training set error Number of weight updates

40. دلایلرخدادنoverfitting • overfittingناشیازتنظیموزنهابرایدرنظرگرفتنمثالهاینادریاستکهممکناستباتوزیعکلیدادههامطابقتنداشتهباشند. تعدادزیادوزنهاییکشبکهعصبیباعثمیشودتاشبکهدرجهآزادیزیادیبرایانطباقبااینمثالهاداشتهباشد. • باافزایشتعدادتکرار،پیچیدگیفضایفرضیهیادگرفتهشدهتوسطالگوریتمبیشتروبیشترمیشودتاشبکهبتواندنویزومثالهاینادرموجوددرمجموعهآموزشرابدرستیارزیابینماید.

41. راهحل • استفادهازیکمجموعهتائیدVallidationوتوقفیادگیریهنگامیکهخطادراینمجموعهبهاندازهکافیکوچکمیشود. • بایاسکردنشبکهبرایفضاهایفرضیهسادهتر: یکراهمیتوانداستفادهازweight decayباشدکهدرآنمقداروزنهادرهربارتکرارباندازهخیلیکمیکاهشدادهمیشود. • k-fold cross validation وقتیکهتعدادمثالهایآموزشیکمباشدمیتوان m دادهآموزشیرابه K دستهتقسیمبندینمودهوآزمایشرابهتعداد k دفعهتکرارنمود. درهردفعهیکیازدستههابعنوانمجموعهتستوبقیهبعنوانمجموعهآموزشیاستفادهخواهندشد. تصمیمگیریبراساسمیانگیننتایجانجاممیشود.

42. شرطخاتمه معمولاالگوریتم BP پیشازخاتمههزارانباربااستفادههماندادههایآموزشیتکرارمیگرددشروطمختلفیرامیتوانبرایخاتمهالگوریتمبکاربرد: • توقفبعدازتکراربهدفعاتمعین • توقفوقتیکهخطاازیکمقدارتعیینشدهکمترشود. • توقفوقتیکهخطادرمثالهایمجموعهتائیدازقاعدهخاصیپیروینماید. اگردفعاتتکرارکمباشدخطاخواهیمداشتواگرزیادباشدمسئلهOverfittingرخخواهدداد.

43. روشهایدیگر راههایبسیارمتنوعیبرایایجادشبکههایجدیدوجودداردازجمله: • استفادهازتعاریفدیگریبرایتابعخطا • استفادهازروشهایدیگریبرایکاهشخطادرحینیادگیری • Hybrid Global Learning • Simulated Annealing • Genetic Algorithms • استفادهازتوابعدیگریدرواحدها • Radial Basis Functions • استفادهازساختارهایدیگریبرایشبکه • Recurrent Network

44. روشهای مختلف برای آموزش شبکه های عصبی پیشخور FNN • الگوریتم پس انتشار خطا • الگوریتم ژنتیک • الگوریتم Stimulated Annealing • الگوریتم PSO یا Particle Swarm Optimization • و ...

45. مزیت های شبکه عصبی • روش های خود تطبیقی برای مبنای داده هستند • می تواند هر تابعی را با دقت دلخواه تخمین بزند • در تخمین احتمالات عقبی (posterior probability) توانا هستند • یادگیری انطباق پذیر • انجام محاسبات بصورت موازی • تحمل اشتباه بدون ایجاد وقفه • مدل های غیر خطی هستند

46. معایب ANNها • دستورات مشخصی برای طراحی شبكه جهت یك كاربرد اختیاری وجود ندارد. • دقت نتایج بستگی زیادی به اندازه مجموعه آموزش دارد. • آموزش شبكه ممكن است مشكل یا حتی غیرممكن باشد. • پیش‌بینی عملكرد آینده شبكه ( عمومیت یافتن ) آن به سادگی امكان‌پذیر نیست.. • در مورد مسایل مدل‌سازی، نمی‌توان صرفاً با استفاده از شبكه عصبی به فیزیك مسأله پی برد. به عبارت دیگر مرتبط ساختن پارامترها یا ساختار شبكه به پارامترهای فرآیند معمولاً غیرممكن است.

47. مقدمه ای بر RBF • در سال ۱۹۹۰ﻣﻴﻼﺩﻱ ﺑﻮﺩ ﮐﻪ ﮊﻳﺮﻭﺳﻲ، ﭘﻮﮔﻲ ﻭ ﻫﻤﭽﻨﻴﻦ ﻫﺎﺭﺗﻤﻦ ﻭ ﮐﭙﻠﺮ ﺍﺛﺒﺎﺕ ﮐﺮﺩﻧﺪ ﮐﻪ ﺷـﺒﮑﻪ ﻫـﺎﻱ ﺑـﺎ ﺗـﺎﺑﻊ ﻣﺪﺍﺭ ﺷﻌﺎﻋﻲ ﺗﻘﺮﻳﺐ ﺳﺎﺯﻫﺎﻱ ﺑﺴﻴﺎﺭ ﻗﺪﺭﺗﻤﻨﺪﻱﻫﺴﺘﻨﺪ ﺑﻄﻮﺭﻳﮑﻪ ﺑﺎ ﺩﺍﺷﺘﻦ ﺗﻌﺪﺍﺩ ﻧﺮﻭﻥ ﻫﺎﻱ ﮐﺎﻓﻲ ﺩﺭ ﻻﻳﻪﻣﺨﻔﻲ، ﻗﺎﺩﺭ ﺑﻪ ﺗﻘﺮﻳﺐ ﺳﺎﺯﻱ ﻫﺮ ﺗﺎﺑﻊ ﭘﻴﻮﺳﺘﻪ ﻭ ﺑﺎ ﻫﺮ ﺩﺭﺟﻪ ﺩﻗﺖ ﻣﻲ ﺑﺎﺷﻨﺪ.

48. ﺳﺎﺧﺘﺎﺭ ﺷﺒﮑﻪ ﻋﺼﺒﻲ ﺷﻌﺎﻋﻲ

49. ﺗﺎﺑﻊ ﻻﻳﻪ ﭘﻨﻬﺎﻥ ﺗﺎﺑﻊ ﻣﻌﺮﻭﻑ ﺩﺭ ﺷﺒﮑﻪ ﻫﺎﻱ ﺷﻌﺎﻋﻲ ﻫﻤﺎﻥ ﺗﺎﺑﻊ ﮔﻮﺳﻲ ﻳﺎ ﻧﻤﺎﻳﻲ ﺑﻪ ﻓﺮﻡ ﺯﻳﺮ ﻣﻲ ﺑﺎﺷﺪ:

50. تعیین پارامترها: • تعیین موقعیت مراکز: • خوشه بندی • الگوریتم kمیانگین • تعیین انحراف استاندارد