هيدرومتئورولوژي

1. هيدرومتئورولوژي تدوين: جواد بذرافشان استادیار دانشکده مهندسی و فناوری کشاورزی دانشگاه تهران

2. سرفصل درس : • آناليز، مدل‌سازي و پيش‌بيني سري‌هاي زماني هيدرومتئورولوژي • توليد داده‌هاي مصنوعي هيدرومتئورولوژي • الگوهاي زماني بارندگي • تحليل رگبار طرح • حداکثر بارش محتمل (PMP) • رواناب ذوب برف • تبخير و تعرق • خشکسالي • کاربرد رادار در مطالعات هيدرومتئورولوژي

3. 1-3. پيش‌بيني سري‌هاي زماني 1-3-1. مفاهيم بنيادي 1-3-2. مدل‌هاي پيش‌بيني سري هاي زماني 1-3-2-1. مدل ‌هاي استوکاستيک 1-3-2-2. شبکه‌هاي عصبي مصنوعي (Artificial Neural Networks) 1-3-2-3. مدل هيبريد (استوکاستيک + شبکه عصبي) 1-3-3. شاخص‌هاي ارزيابي خطاي پيش‌بيني 1-3-4. مثال کاربردي

4. تعريف : پيش‌بيني (Forecasting) : تخمين شرايط هيدرومتئورولوژيک در يک بازه زماني خاص در آينده. مثل تخمين رواناب ورودي به سد طي 3 ماه آتي. پيشگويي (Prediction): نوعي پيش‌بيني است که به زمان خاصي مربوط نمي‌شود يا به صورت احتمال بيان مي‌شود. مثل تخمين يک سيلاب 100 ساله در رودخانه يا احتمال وقوع خشکسالي در يک سال معين. عناصر پيش‌بيني سري‌ زماني: تابع پيش‌بيني (Forecast Function): تابعي است رياضي كه بر مبناي مشاهدات يك دوره قبلي تا زمان فعلي (t ،1-t ،...،3 ، 2 ، 1) سري زماني بدست آمده است. افق زماني (Lead Time): يك دوره زماني آتي كه پيش‌بيني براي آن انجام مي‌شود، l=1,2,3,…. با افزايش افق زماني پيش‌بيني عدم قطعيت‌ها افزايش يافته تا جايي كه مقادير پيش‌بيني به پيشگويي نزديك مي‌شود. فاصله اطمينان (Confidence Interval): 1-3-1. مفاهيم بنيادي

5. 1-3-1. مفاهيم بنيادي شكل : عناصر پيش‌بيني سري زماني

6. طبقه‌بندي انواع پيش‌بيني‌هاي هيدرومتئورولوژيك پيش‌بيني بر اساس افق زماني: پيش‌بيني كوتاه مدت (Short term) : افق زماني در حد چند روز-به منظور هشدار سيلاب و بهره‌برداري در زمان واقعي از سيستم‌هاي منابع آب مورد استفاده قرار مي‌گيرند. پيش‌بيني بلند مدت (Long term) : افق زماني بيش از يك هفته تا يك سال-در مديريت منابع مانند تخصيص منابع آب براي آبياري، قراردادهاي بلند مدت فروش برقابي و كاهش اثرات خشكسالي از طريق مديريت آب مورد استفاده قرار مي‌گيرند. مقايسه پيش‌بيني‌هاي كوتاه و بلند مدت : پيش بيني‌هاي كوتاه مدت از دقت بيشتري نسبت به انواع بلند مدت برخوردارند. مدل‌هاي پيش‌بيني كوتاه مدت، پيچيدگي كمتري نسبت به انواع بلند مدت دارند. پيش‌بيني‌هاي بلند مدت اهميت بيشتري در سيستم‌هاي منابع آب دارند زيرا افزايش اندكي دقت در پيش‌بيني‌هاي بلند مدت فوايد زيادي نظير تصميم‌گيري مناسب در زمينه ذخيره و آزاد سازي آب، كاهش خسارات سيل و خشكسالي عايد سيستم مي‌سازد. 1-3-1. مفاهيم بنيادي

7. پيش‌بيني بر اساس نوع متغير پيش‌بيني: پيش‌بيني قطعي (Deterministic) : يك تخمين نقطه‌اي از يك متغير. پيش‌بيني احتمالاتي (Probabilistic) : يك تابع توزيع احتمال از متغير مورد نظر را در اختيار قرار مي‌دهد. اساس پيش‌بيني احتمالاتي تخمين توزيع احتمال شرطي (f(y|x1,x2,…) متغير پيش‌بيني است. مراحل مدلسازي براي انجام پيش‌بيني‌هاي هيدرومتئورولوژيك انتخاب پيش‌بيني كننده هاي مناسب: انتخاب پيش‌بيني كننده‌هاي مناسب بستگي به شرايط فيزيكي حاكم بر منطقه يا حوضه و هدف مطالعه دارد. متغيرهايي كه به طور معمول در پيش‌بيني‌هاي هيدرومتئورولوژيك از آنها استفاده مي‌شود عبارتند از: متغيرهاي هواشناسي: بارندگي، دماي هوا و خاك، فشار هوا، سمت و سرعت باد، رطوبت هوا متغيرهاي هيدرولوژي: مقدار رطوبت خاك، ذخيره برف، رواناب سيگنال‌هاي بزرگ-مقياس اقليمي: ENSO، NAO،SST و ... .تاثير اين سيگنال‌ها بر بارش‌ و جريان رودخانه در سال‌هاي اخير در ايران مورد بررسي قرار گرفته است. اين تاثير به دو صورت يكي، افزايشي/كاهشي و ديگري زمان تاخير در مدل‌هاي هيدرومتئورولوژيك وارد شده است. اين سيگنا‌ل‌ها در پيش‌بيني‌هاي بلندمدت هيدرومتئورولوژيك استفاده مي‌شوند. 1-3-1. مفاهيم بنيادي

8. تعيين مدل مناسب مدل‌هاي پيش‌بيني متغيرهاي هيدرومتئورولوژيك اغلب به دو دسته آماري (Statistical) و مفهومي (Conceptual) تقسيم شده‌اند. مدل‌هاي آماري، مدل‌هايي هستند كه با استفاده از روابط آماري نگاشتي بين پيش‌بيني كننده‌ها و متغير پيش‌بيني ايجاد مي‌كنند. مدل‌هاي مفهومي از فيزيك حاكم بر پديده‌ها براي برقراري رابطه بين متغيرهاي پيش‌بيني كننده و پيش‌بيني شونده استفاده مي‌كنند. مهمترين مشكل اغلب اين مدل‌ها عدم توانايي در انعكاس و شمول رفتار استوكاستيك متغيرهاي هيدرولوژيك مي‌باشد. در عين حال، در برخي مواقع به كارگيري مدل‌هاي مفهومي در مدلسازي فرآيندهاي غيرخطي هيدرولوژيك موفق‌تر از مدل‌هاي آماري بوده است. 1-3-1. مفاهيم بنيادي

9. واسنجي مدل (Model Calibration) فرآيندي است كه طي آن پارامترهاي مدل براساس بخشي از اطلاعات مشاهده شده (معمولاً 80 درصد داده‌ها) متغير پيش‌بيني مشخص مي‌گردد. اعتبارسنجي مدل (Model Validation) عبارت است آزمون مدل بدست آمده از مرحله واسنجي بر مبناي داده‌هايي که در مرحله واسنجي مورد استفاده قرار نگرفته‌اند. اين آزمون بر روي 20 درصد باقيمانده داده‌ها انجام مي‌شود. در اين مرحله خطاي مدل‌ با استفاده از معيارهاي مختلفي سنجيده مي‌شود که برخي از مهمترين آنها عبارتند از: ميانگين قدر مطلق درصد خطا (Mean Absolute Percentage Error (MAPE)) 1-3-1. مفاهيم بنيادي

10. ميانگين قدر مطلق خطا (Mean Absolute Error (MAE)) ريشه ميانگين مربع خطا (Root Mean Squared Error (RMSE)) 1-3-1. مفاهيم بنيادي

11. انواع مدل‌هاي پيش‌بيني مدل‌هاي آماري (Statistical) مدل‌هاي رگرسيون پارامتري: ساده، چندگانه، غيرخطي مدل‌هاي رگرسيون ناپارامتري: الگوريتم k-نزديکترين همسايگي مدل‌هاي استوکاستيک: ARMA، ARIMA، ...  مدل‌هاي مفهومي (Conceptual) شبکه عصبي مصنوعي (ANN)  سيستم‌هاي فازي (Fuzzy systems) سيستم‌هاي نروفازي (Neuro-Fuzzy systems) الگوريتم ژنتيک (Genetic Algorithm) 1-3-1. مفاهيم بنيادي

12. قبلا بيان شد که فرم کلي مدل‌هاي ARMA(p,q) به صورت زير است: پيش‌بيني مقدار Z براي افق زماني L از رابطه زير بدست مي‌آيد: 1-3-2. مدل هاي پيش بيني سري هاي زماني1-3-2-1. مدل هاي استوکاستيک (ARMA)

13. مثال 3-1: فرم يک مدل ARMA(1,1) به صورت زير بدست آمده است: اگر Zt=1.4656 و t=1.3622 باشد پيش‌بيني‌هاي يک گام به جلو را انجام دهيد. 1-3-2. مدل هاي پيش بيني سري هاي زماني1-3-2-1. مدل هاي استوکاستيک (ARMA)

14. 1-3-2. مدل هاي پيش بيني سري هاي زماني1-3-2-1. مدل هاي استوکاستيک (ARMA) • مثال 3-2: فرم يک مدل ARMA(1,2) به صورت زير بدست آمده است: اگر Zt=1.4656 و t=1.3622 و t=0.9801 باشد پيش‌بيني‌هاي يک گام به جلو را انجام دهيد.

15. 1-3-2. مدل هاي پيش بيني سري هاي زماني1-3-2-2. شبکه‌هاي عصبي مصنوعي (ANN) • آشنايي با يك سلول عصبي (نرون) بيولوژيک و نحوه كاركرد آن • هر سلول عصبي يا نرون بيولوژيک از سه قسمت اساسي زير تشكيل شده است : • بدنه سلول كه شامل هسته و قسمتهاي حفاظتي ديگر است. • دندريت • اكسون عناصر ارتباطي نرون

16. 1-3-2. مدل هاي پيش بيني سري هاي زماني1-3-2-2. شبکه‌هاي عصبي مصنوعي (ANN) هسته نرون سيگنالهاي الکتريکي دندريت سيگنال الکتروشيميايي + اکسون سيناپس نرون بعدي

17. 1-3-2. مدل هاي پيش بيني سري هاي زماني1-3-2-2. شبکه‌هاي عصبي مصنوعي (ANN) • تعريف شبکه‌هاي عصبي مصنوعي • يك شبكه عصبي مصنوعي برنامه‌اي كامپيوتري است كه مي‌تواند الگوهاي موجود در مجموعه‌اي از داده‌ها را شناسايي و مدل نمايد. اين شبكه از دو جهت مشابه مغز انسان عمل مي‌كند: • دانش شبكه از طريق الگوريتم‌هاي يادگيري به صورت سعي و خطا (trial-error) بدست مي‌آيد. • دانش بدست آمده در اتصالات بين نرون‌ها يعني وزن‌هاي سيناپسي ذخيره مي‌شود.

18. 1-3-2. مدل هاي پيش بيني سري هاي زماني1-3-2-2. شبکه‌هاي عصبي مصنوعي (ANN) • ويژگي‌هاي شبكه‌هاي عصبي مصنوعي • توانايي تطبيق‌پذيري يا پلاستيسيته با محيط (قابليت يادگيري) كه به دو صورت انجام مي‌شود: • ايجاد ارتباطات جديد سيناپسي بين نرونها در حين تجربه جديد • تغييرات در شدت و ضعف (يعني، وزن) سيناپس‌هاي موجود • پراكندگي اطلاعات: منظور آن است كه رابطه يك به يك بين ورودي‌ها و وزن‌هاي سيناپسي وجود ندارد. به عبارت ديگر، هر وزن سيناپسي مربوط به همه ورودي‌ها است و هر نرون از فعاليت كل شبكه تاثير مي‌پذيرد. • قابليت تعميم: پس از آموزش شبكه با مثال‌هاي اوليه، شبكه مي‌تواند در مقابل يك ورودي آموزش نيافته قرار گيرد و يك خروجي مناسب ارائه نمايد. • پردازش موازي اطلاعات: منظور از پردازش موازي، پاسخ همزمان نرون‌هاي شبكه عصبي در يك تراز معين به ورودي‌هاي آن است كه اين ويژگي سبب افزايش سرعت پردازش مي‌شود.

19. 1-3-2. مدل هاي پيش بيني سري هاي زماني1-3-2-2. شبکه‌هاي عصبي مصنوعي (ANN) • تحمل‌پذيري (Robustness) : در يك شبكه عصبي هر سلول به طور مستقل عمل مي‌كند و رفتار كلي شبكه برآيند رفتار محلي سلول‌هاي متعدد است. اين ويژگي سبب مي‌شود تا خطاهاي محلي از ديد خروجي نهايي دور بماند. به عبارت ديگر، چون سلول‌ها در يك فرآيند همكاري خطاهاي محلي يكديگر را تصحيح مي‌كنند قابليت تحمل‌پذيري خطاها در سيستم افزايش مي‌يابد. • تاريخچه شبکه‌هاي عصبي مصنوعي • اوايل قرن بيستم: ارائه تئوري‌هاي کلي يادگيري، بينايي و شرطي (بدون توجه به مدل رياضي عملکرد نرون) • دهه 40 قرن بيستم: شروع فعاليتهاي علمي در زمينه شبکه‌هاي عصبي مصنوعي • اواخر دهه 50 قرن بيستم: ارائه نخستين کاربرد شبکه‌هاي عصبي (يعني شناسايي الگو) با معرفي شبکه پرسپترون توسط روزنبلانت و معرفي شبکه عصبي تطبيقي خطي ADALINE توسط ويدرو • هر دو مدل فوق صرفا توانايي طبقه‌بندي الگوهاي خطي را داشتند.

20. 1-3-2. مدل هاي پيش بيني سري هاي زماني1-3-2-2. شبکه‌هاي عصبي مصنوعي (ANN) • دهه 80 قرن بيستم: رنسانس مجدد در شبکه‌هاي عصبي به دو دليل: • رشد سريع تکنولوژي همگام با عرضه ميکروپروسسورها • خلق ايده‌هاي نو • Hopfield: استفاده از مکانيسم تصادفي جهت توضيح عملکرد شبکه‌هاي برگشتي (recurrent) • Rummelhart & Mcland: ارائه الگوريتم پس‌انتشار خطا (Error Back Propagation)

21. 1-3-2. مدل هاي پيش بيني سري هاي زماني1-3-2-2. شبکه‌هاي عصبي مصنوعي (ANN) • کاربردهاي شبکه‌هاي عصبي مصنوعي • طبقه‌بندي، شناسايي و تشخيص الگو • پردازش سيگنال • پيش‌بيني سري‌هاي زماني : تحت شرايط نا ايستايي يا عدم امکان استفاده از تکنيکهاي کلاسيک • مدل‌سازي و کنترل • بهينه‌سازي • سيستم‌هاي خبره (Expert Systems) و فازي

22. 1-3-2. مدل هاي پيش بيني سري هاي زماني1-3-2-2. شبکه‌هاي عصبي مصنوعي (ANN) • مدل ساده رياضي نرون عصبي مصنوعي • نرون کوچکترين واحد پردازش اطلاعات است و اساس عملکرد شبکه‌هاي عصبي را تشکيل مي‌دهد. • نرون تک ورودي وزن ورودي خالص w n ∑ a f p خروجي ورودي b تابع محرک باياس 1

23. a n 1-3-2. مدل هاي پيش بيني سري هاي زماني1-3-2-2. شبکه‌هاي عصبي مصنوعي (ANN) • توابع محرک (Activation function): ميزان فعاليت يا توانايي و تحريک‌پذيري هر نرون را در قبال پاسخ به يک سيگنال ورودي مشخص مي‌کند. تابع محرک مي‌تواند خطي يا غيرخطي باشد و نوع تابع محرک بر اساس نياز خاص حل مساله مورد بررسي انتخاب مي‌شود. برخي از مهمترين آنها عبارتند از: • تابع محرک خطي: که در آن خروجي برابر ورودي خالص نرون است:

24. a 1 n 0 a 1-3-2. مدل هاي پيش بيني سري هاي زماني1-3-2-2. شبکه‌هاي عصبي مصنوعي (ANN) • تابع محرک آستانه‌اي دو مقداره حدي: خروجي اين تابع برابر صفر يا يک است. به عبارت بهتر، اگر n<0 باشد آنگاه f(n)=0 و در غير اين صورت f(n)=1 خواهد بود. • تابع محرک سيگموئيد (Sigmoid): فرم تابع به صورت زير است :

25. 1-3-2. مدل هاي پيش بيني سري هاي زماني1-3-2-2. شبکه‌هاي عصبي مصنوعي (ANN) • نرون چند ورودي Abbreviated Notation

26. 1-3-2. مدل هاي پيش بيني سري هاي زماني1-3-2-2. شبکه‌هاي عصبي مصنوعي (ANN) • ساختار شبکه‌هاي عصبي مصنوعي • شبکه عصبي تک لايه : گاهي اوقات استفاده از يک نرون به تنهايي براي حل يک مساله کافي نيست بلکه لازم است از اجتماعي از نرونها استفاده نمود که خود يک لايه را به وجود مي‌آورند. فرم تفصيلي شبكه تك لايه به صورت زير است:

27. 1-3-2. مدل هاي پيش بيني سري هاي زماني1-3-2-2. شبکه‌هاي عصبي مصنوعي (ANN) • ساختار شبکه‌هاي عصبي مصنوعي • شبکه عصبي تک لايه • فرم خلاصه شده :

28. 1-3-2. مدل هاي پيش بيني سري هاي زماني1-3-2-2. شبکه‌هاي عصبي مصنوعي (ANN) • ساختار شبکه‌هاي عصبي مصنوعي • شبکه عصبي چند لايه (Multi-layer) • به دليل اضافه شدن به تعداد لايه‌ها، نمادهاي مورد استفاده براي نمايش شبكه عصبي مي‌بايست توسعه يابند. به عبارت ديگر، لازم است بين وزن‌هاي متصل شده به بردار ورودي و وزن‌هاي بين هر دو لايه متوالي تمايز قائل شد. براي اين منظور، وزن‌هاي ورودي را با IW (يعني Input Weight) و وزن‌هاي بين دو لايه را با LW (يعني Layer Weight) نشان مي‌دهند. براي مثال، فرم خلاصه شده يك شبكه تك لايه با نماد جديد به صورت زير است:

29. 1-3-2. مدل هاي پيش بيني سري هاي زماني1-3-2-2. شبکه‌هاي عصبي مصنوعي (ANN) • ساختار شبکه‌هاي عصبي مصنوعي • فرم تفصيلي شبکه عصبي سه لايه

30. 1-3-2. مدل هاي پيش بيني سري هاي زماني1-3-2-2. شبکه‌هاي عصبي مصنوعي (ANN) • ساختار شبکه‌هاي عصبي مصنوعي • فرم خلاصه شده شبکه عصبي سه لايه • خروجي هر لايه به عنوان ورودي براي لايه بعدي است. • لايه سوم به عنوان لايه خروجي شبكه و لايه‌هاي اول و دوم به عنوان لايه‌هاي مياني يا مخفي شناخته مي‌شوند. برخي محققين لايه مربوط به بردار داده‌هاي ورودي‌ را به عنوان لايه ورودي شبكه معرفي مي‌كنند.

31. 1-3-2. مدل هاي پيش بيني سري هاي زماني1-3-2-2. شبکه‌هاي عصبي مصنوعي (ANN) • الگوريتم‌هاي يادگيري شبكه‌هاي عصبي مصنوعي • يادگيري با ناظر (Supervised): قانون يادگيري توسط معلم به زوج داده‌هاي ورودي و خروجي مشاهده شده اعمال مي‌شود و هدف آن نزديك نمودن خروجي شبكه با خروجي مشاهداتي است آنچنانكه خطاي شبكه به حداقل برسد. مثال: الگوريتم پس انتشار خطا (BP) • يادگيري تشديدي (Reinforcement): نوعي يادگيري با ناظر است كه در آن پاسخ مطلوب براي شبكه موجود نيست بلكه به دليل كم بودن اطلاعات مي‌توان گفت كه با توجه به شرايط محيط، پاسخ فعلي سيستم مثلاً 50 درصد صحيح است. به عبارت ديگر، محيط صرفاً پاسخ سيستم را نقد مي‌كند. مثلاً در يادگيري با ناظر مي‌گوييم جواب مطلوب براي ورودي p بايستي a باشد ليكن در يادگيري تشديدي مي‌گوييم چقدر خوب يا چقدر بد شبكه به ورودي p پاسخ داده است. • يادگيري بدون ناظر (Unsupervised): در اين نوع يادگيري، معلم يا نقاد وجود ندارد و اصطلاحاً خود-سازمانده (Self-organizing) ناميده مي‌شوند. اين نوع يادگيري در مورد فرآيند‌هايي است كه فاقد مقادير خروجي مشاهده شده مي‌باشند. به عبارت ديگر، مقادير خروجي بر اساس داده‌هاي ورودي، طبق قوانين خاصي توليد مي‌شوند. مثال: الگوريتم يادگيري رقابتي

32. 1-3-2. مدل هاي پيش بيني سري هاي زماني1-3-2-2. شبکه‌هاي عصبي مصنوعي (ANN) • الگوريتم‌هاي يادگيري شبكه‌هاي عصبي مصنوعي • يادگيري با ناظر

33. 1-3-2. مدل هاي پيش بيني سري هاي زماني1-3-2-2. شبکه‌هاي عصبي مصنوعي (ANN) • الگوريتم‌هاي يادگيري شبكه‌هاي عصبي مصنوعي • يادگيري تشديدي • يادگيري بدون ناظر

34. 1-3-2. مدل هاي پيش بيني سري هاي زماني1-3-2-2. شبکه‌هاي عصبي مصنوعي (ANN) • الگوريتم‌ يادگيري پس انتشار خطا (Back Propagation) • اين الگوريتم جزو الگوريتم‌هاي يادگيري با ناظر است يعني زوج داده‌هاي ورودي و خروجي مشاهداتي وجود دارد. اين الگوريتم اساساً از دو مسير اصلي تشكيل شده است: • مسير رفت (Forward path): كه در آن بردار ورودي به شبكه عصبي اعمال شده و تاثير آن از طريق لايه‌هاي مياني به لايه خروجي انتشار مي‌يابد. در اين مسير براي هر ورودي، مقداري تحت عنوان خروجي توسط شبكه محاسبه مي‌شود. در اين مسير، پارامترهاي شبكه ثابت مي‌مانند. • مسير برگشت (Backward path): پس از توليد خروجي در مرحله رفت، اختلاف خروجي مطلوب (مشاهده شده) و خروجي محاسبه شده توسط شبكه تعيين مي‌شود. سيگنال‌هاي خطا در مسير برگشت از لايه خروجي مجدداً در كل شبكه توزيع مي‌شود و پارامترهاي شبكه مجدداً تنظيم مي‌شوند. تذكر: فرآيند دوگانه فوق به دفعات تكرار شده تا خروجي شبكه به خروجي مطلوب نزديك شود. هنگامي كه خطاي بدست آمده از آستانه مجاز كمتر شود فرآيند آموزش متوقف مي‌شود.

35. 1-3-2. مدل هاي پيش بيني سري هاي زماني1-3-2-2. شبکه‌هاي عصبي مصنوعي (ANN) • مدل رياضي الگوريتم‌ يادگيري پس انتشار خطا (Back Propagation) به مقاله زير مراجعه شود. A.K. Mishra and V.R. Desai (2006):Drought forecasting using feed-forward recursive neural network. Ecological Modelling, Vol.198: 127–138.

36. 1-3-2. مدل هاي پيش بيني سري هاي زماني1-3-2-2. شبکه‌هاي عصبي مصنوعي (ANN) • پارامترهاي قابل تنظيم شبکه عصبي مصنوعي با الگوريتم آموزش BP • مقادير اوليه وزن‌هاي اتصال:الگوريتم BP حساسيت زيادي به مقادير وزن‌هاي اوليه اتصال دارد. اگر مقادير اوليه وزن‌هاي اتصال بسيار کوچک باشد، شبکه از کار خواهد افتاد. از سوي ديگر، اگر مقادير اوليه وزن‌هاي اتصال بسيار بزرگ انتخاب شود، آموزش شبکه بسيار کند و نهايتا متوقف مي‌شود. نتايج مطالعات تجربي نشان مي‌دهد که يک مقدار بهينه يکتا براي مقادير اوليه وجود ندارد. • تابع محرک:توابع محرک مختلفي که عموماً مورد استفاده قرار گرفته‌اند, عبارتند از: تابع سيگموئيد، تابع تانژانت هيپربوليک و تابع لجستيک. به طور کلي، ممکن است تابع محرک مشابهي در همه لايه‌هاي شبکه‌هاي عصبي انتخاب ‌شود اما Karunanithi et al. (1994) نشان دادند در صورتي که برونيابي در ماوراي دامنه داده‌هاي مرحله آموزش ضروري باشد استفاده از تابع محرک سيگموئيد در لايه مياني و تابع محرک خطي در لايه خروجي مناسب خواهد بود.

37. 1-3-2. مدل هاي پيش بيني سري هاي زماني1-3-2-2. شبکه‌هاي عصبي مصنوعي (ANN) • پارامترهاي قابل تنظيم شبکه عصبي مصنوعي با الگوريتم آموزش BP • اندازه اپاک:تعيين مقدار مناسب براي اپاك بستگي به خصوصيات مساله و نحوه آموزش شبكه عصبي مصنوعي دارد. بطور معمول، اگر مقدار اپاك خيلي كم انتخاب شود ممكن است كه شبكه بوسيله تنوع زياد موجود در داده‌ها گيج شود و به جاي يادگيري روابط بين داده‌هاي ورودي و خروجي، آنها را حفظ مي‌کند. از طرف ديگر، اگر مقدار اپاك خيلي زياد انتخاب شود ممكن است شبكه، ماهيت روند موجود در داده‌ها را از دست داده و شرايط جهت اشباع زود هنگام آن فراهم شود. • تابع خطا:تابع خطا، تابعي است که در طي فرآيند آموزش شبکه، حداقل مي‌شود. مشهورترين تابع خطا، مجموع مربعات خطا (MSE) است. مزاياي استفاده از MSE عبارت است از: سادگي محاسبه، اغراق نمودن خطاهاي بزرگ به دليل استفاده از توان دو انحرافات، سادگي مشتق‌گيري جزيي با توجه به وزن‌هاي شبکه.

38. 1-3-2. مدل هاي پيش بيني سري هاي زماني1-3-2-2. شبکه‌هاي عصبي مصنوعي (ANN) • پارامترهاي قابل تنظيم شبکه عصبي مصنوعي با الگوريتم آموزشBP • نرخ يادگيري:نرخ يادگيري در واقع، طول گامها را در هر بار اصلاح شبكه مشخص مي‌سازد. مقدار اين ضريب مي‌تواند در لايه‌هاي مياني و خروجي، متفاوت در نظر گرفته شود ولي بهتر آن است كه در طول فرآيند يادگيري مقدار آن به نسبت مشخصي كاهش يابد. هر قدر نرخ يادگيري كوچكتر انتخاب شود تغييرات ايجاد شده در پارامترهاي شبكه پس از هر مرحله تكرار كوچكتر خواهد بود كه اين خود به هموارتر نمودن مسير حركت پارامترها به سمت مقادير بهينه در فضاي موجود كمك مي‌كند و اين مسئله موجب كندتر شدن يادگيري مي‌شود. بر عكس با افزايش مقدار نرخ يادگيري اگرچه سرعت افزايش مي‌يابد ولي تغييرات فاحشي در پارامترها از هر تكرار تا تكرار بعد ايجاد مي‌شود كه گاهاً موجب ناپايداري شبكه و نوساني شدن آن مي‌گردد كه اصطلاحاً گويند پارامترهاي شبكه واگرا شده است. • مومنتم: مومنتم عبارت است از مقدار اينرسي يا اندازه حركتي كه به هر يك از پارامترهاي شبكه اضافه مي‌شود تا آن پارامتر در مسيري كه منجر به كاهش مقدار انرژي مي‌گردد تغيير داشته باشد. مقدار اين پارامتر را نيز مي‌توان همانند نرخ يادگيري در طي فرآيند يادگيري با نسبت مشخصي كاهش داد. استفاده از مومنتم عموماً به جهت افزايش و بهبود نرخ يادگيري است و از ناپايدار شدن و نوساني شدن شبكه نيز ممانعت بعمل مي‌آورد.

39. 1-3-2. مدل هاي پيش بيني سري هاي زماني1-3-2-2. شبکه‌هاي عصبي مصنوعي (ANN) • انواع شبکه‌هاي عصبي مصنوعي • شبكه‌هاي عصبي پيشخور ( (Feed-forward ANN يا استاتيك: • از اين شبكه‌ها براي تخمين تابع (Function approximation) بين زوج ورودي‌ها و خروجي‌ها استفاده مي‌شود. به عبارت ديگر، خروجي سيستم صرفاً به ورودي فعلي آن بستگي دارد نه به ورودي‌هاي قبلي آن و هيچ مقداري به شبكه بازگشت نمي‌كند. از اين شبكه‌ها مي‌توان شبكه‌هاي پرسپترون چند لايه (MLP) و Radial Basis Function (RBF) را نام برد. • شبكه‌هاي عصبي پسخور ( (Feed-back ANN يا ديناميك: • از اين شبكه‌ها براي پيش‌بيني سري‌هاي زماني استفاده مي‌شود. خروجي شبكه نه تنها به ورودي فعلي بلكه به ورودي يا خروجي‌هاي قبلي نيز وابسته است. مثال: شبكه‌هاي Focused Time-Delay Neural Networks (FTDNN) و Distributed Time-Delay Neural Networks(DTDNN)

40. 1-3-2. مدل هاي پيش بيني سري هاي زماني1-3-2-2. شبکه‌هاي عصبي مصنوعي (ANN) • طراحي شبکه عصبي مصنوعي • يک شبکه عصبي مصنوعي با سه مشخصه توصيف مي‌شود (Fausett,1994) : • الگوي اتصالات بين نرون‌ها (معماري شبکه) • نحوه تعيين وزن‌ها در اتصالات (الگوريتم يادگيري يا آموزش) • تابع محرک • مثال: شبكه عصبي زير يك شبكه پيشخور سه لايه (شامل ورودي، مياني و خروجي) است. الگوريتم آموزش از نوع BP و تابع محرك در تمام لايه‌ها از نوع سيگموئيد است. از اين شبكه براي تقريب تابع استفاده مي‌شود.

41. 1-3-2. مدل هاي پيش بيني سري هاي زماني1-3-2-2. شبکه‌هاي عصبي مصنوعي (ANN) • طراحي شبکه عصبي مصنوعي • مثال: دو نمونه شبكه عصبي براي پيش‌بيني سري‌هاي زماني با تاخير زماني

42. 1-3-2. مدل هاي پيش بيني سري هاي زماني1-3-2-2. شبکه‌هاي عصبي مصنوعي (ANN) • طراحي شبکه عصبي مصنوعي • در مقالات جستجو نماييد و يك مدل شبكه عصبي براي پيش‌بيني سري زماني چند گام به جلو طراحي كنيد كه از مقادير قبلي و فعلي همان سري زماني و مقادير سایر سري‌هاي زماني استفاده كند.

43. 1-3-2. مدل هاي پيش بيني سري هاي زماني1-3-2-2. شبکه‌هاي عصبي مصنوعي (ANN) • مراحل مدلسازي با استفاده از شبکه عصبي مصنوعي • گردآوري داده‌ها • انتخاب متغيرهاي پيش‌بيني شونده (Predictands) • انتخاب مدل ANN • پردازش اوليه (preprocessing) داده‌ها • پالايش داده‌ها (Data Cleansing) • تشخيص متغيرهاي پيش‌بيني كننده (Predictors) مناسب • استاندارد سازي داده‌ها • تعيين مجموعه داده‌هاي آموزش (Training)، اعتبارسنجي متقابل (Cross validation) و آزمون (Testing) • آموزش شبكه با هدف تعيين بهترين مقدار آموزش (epoch)، بهترين تعداد نرون‌ها در لايه مياني با استفاده از مجموعه داده‌هاي آموزش (Training)، اعتبارسنجي متقابل (Cross validation) • ارزيابي كفايت بهترين مدل بدست آمده از مرحله قبل با استفاده از مجموعه داده‌هاي آزمون

44. 1-3-2. مدل هاي پيش بيني سري هاي زماني1-3-2-3. مدل هيبريد (استوکاستيک + شبکه عصبي) • به مقاله زير رجوع شود: K. Mishra, V. R. Desai and V. P. Singh(2007): Drought Forecasting Using a Hybrid Stochastic and Neural Network Model. Journal of Hydrologic Engineering, Vol. 12, No. 6: 626-638.

45. 1-3-2. مدل هاي پيش بيني سري هاي زماني1-3-3. شاخص‌هاي ارزيابي خطاي پيش‌بيني معرفي نرم افزار IRENE

46. 1-3-2. مدل هاي پيش بيني سري هاي زماني1-3-4. مثال كاربردي معرفي نرم افزار Neurosolution