Download
1 / 124
1.27k likes | 1.58k Views
به نام خدا. شبکه بازگشتی. حوری شیرزادنیا آناهیتا کیان مهر تینا هادی فرزانه عطاپور. استاد ارجمند : آقای دکتر عبادتی. مباحث:. یادگیری در شبکه های بازگشتی شبکه بازگشتی ساده شبکه بازگشتی انتقالی شبکه بازگشتی خطی معماری شبکه شبکه عصبی بازگشتی و هاپفیلد. یادگیری در شبکه های بازگشتی.
E N D
به نام خدا شبکه بازگشتی حوری شیرزادنیا آناهیتا کیان مهر تینا هادی فرزانه عطاپور استاد ارجمند : آقای دکتر عبادتی
مباحث: • یادگیری در شبکه های بازگشتی • شبکه بازگشتی ساده • شبکه بازگشتی انتقالی • شبکه بازگشتی خطی • معماری شبکه • شبکه عصبی بازگشتی و هاپفیلد
برای تحلیل شبکه بازگشتی دو مدل داریم: پیوسته گسسته
درمدل گسسته: فعالیت شبکه در هر گام زمانی مشخص، توسط یک رابطه از میزان ورودی در گام قبل مشخص می گردد. درمدل پیوسته: توسط معادلت دیفرانسیلی و بر روی زمان پیوسته تعریف می شود
نمایشی ریاضی از مدل گسسته و پیوستهی شبکه های بازگشتی:
نمایشی از ساختار شبکهی مورد استفاده:
نمایشی از ساختار شبکهی مورد استفاده:
نمایشی از ساختار شبکهی مورد استفاده:
نمایشی از ساختار شبکهی مورد استفاده:
روش های نزول در امتداد گرادیان: • هر سامانهی هوش مصنوعی، دارای یک فضای حالت درونی است. همچنین با تزریق یک ورودی به سیستم، خروجی آن، کهوابسته به حالت درونی آن است، قابل محاسبه است. ایدهآل در این سامانهها بدین صورت است که بتوان حالت درونی سامانهرا به گونهای تنظیم نمود، که خروجی مطلوب را برای هر ورودی تولید نمایند. یکی از روش های متداول در این زمینه، محاسبهینحوهی تغییر حالت داخلی سامانه به صورت ریاضی است؛ با این هدف که خطا ی خروجی آن کم شود. به عبارت دیگر، خطایسامانه به عنوان یک متغیر در فضای حالت سامانه در نظر گرفته می شود و با استفاده از مشتق (گرادیان در مراتب بالاتر)، سامانه را در جهت کم نمودن خطا سوق می دهند. به روش هایی که بر این پایه عمل می کنند، روش های نزول در امتداد گرادیان می گویند.
روش های نزول در امتداد گرادیان: پس انتشار خطا یادگیری بازگشتی
پس انتشار خطا (پاخ): (9) هدف آموزش شبکه این است که به مجموعهای از وزن ها دست بیابیم که مجموع خطای عمل کرد شبکه را حداقل نماید. عموما این مجموع خطا را توسط خطای مجموع مربعی مانند رابطه روبرو محاسبه می کنند:
پس انتشار خطا (پاخ): (10) این عمل توسط تغییر وزن در طول بردار گرادیان وزن ها نسبت به خطا انجام می شود. اگر خطای مجموع راEدر نظر بگیریم، می توان گرادیان مجموع آن را مطابق رابطه ی ۱0 از گرادیان خطای به دست آمده برای هر ورودی به دست آورد.
پس انتشار خطا (پاخ): با در نظر گرفتن یک نرخ یادگیری رابطه ی قبل به صورت رابطه ی ۱۱ برای تغییر وزن های در هر مرحله در خواهد آمد.
پس انتشار خطا (پاخ): این رابطه، رابطهای است که در یادگیری دسته ای به کار می رود. از این جهت که در این رابطه ابتدا تمامی ورودی ها و خروجی ها به شبکه داده شده و خطای مجموع محاسبه می شود. سپس تغییر وزن ها توسط خطای کلی انجام می شود. یک بارمحاسبه ی خطا برای ورودی ها و تغییر وزن ها در فرآیند یادگیری، یک عصر یا یک دوره نامیده می شود. عموما پیش از یادگیری، وزن ها با مقادیر اتفاقی کوچکی مقدار دهی می شوند. این رابطه را می توان به صورت یادگیری افزایشی نیز تغییر داد که در آن پس از هر بار ورودی به شبکه، وزن ها به روز رسانی می شوند که در رابطهی ۱۲ مشاهده می شود. (12)
الگوریتم پس انتشار خطا (پاخ): • برای هر نمونه ی ورودی n، فعالیت واحد های داخلی و خروجی را محاسبه نمایید. (انتشار به جلو) • خطای خروجی شبکه را در آخرین لایه (لایه ی خروجی) طبق رابطه ی ۱۳ محاسبه نمایید. • با انتشار به عقب خطای محاسبه شده، از لایه ی m+1تا اولین لایه، برای هر واحدمیزان خطای دلتا را مطابق رابطه ی ۱۴ محاسبه نمایید. • وزن های شبکه را توسط رابطه ی ۱5 به روزرسانی نمایید که در آن آلفا نرخ یادگیری شبکه است.
پس انتشار خطا (پاخ): • پس از هر فاز، خطای مربعی شبکه در رابطه ی ۹را محاسبه نموده و در صورتی تغییر در میزان خطا، از یک مقدار آستانه ی تعیین شده پایین تر بیاید، آموزش را خاتمه می دهیم.
اشکالات: • روش های آموزش بر پایه ی نزول در امتداد گرادیان دارای اشکال هایی شناخته شده هستند. از جمله ی این اشکالت می توان به همگرایی کند و گیر کردن در حداقل محلی اشاره نمود.
پس انتشار خطا در طول زمان: الگوریتم پاخ، به تنهایی قابلیت پیادهسازی و استفاده بر روی شبکههای بازگشتی را ندارد، از آنجا که این روش بر این فرض بناشده است که در شبکه هیچ حلقهای وجود ندارد. راهحلی که برای این قضیه وجود دارد، این است که می توان اتصالت شبکه را، با قرار دادن نسخههای متعددی از آن در کنار یگدیگر، در طول زمان باز نمود. در این روش، اتصالاتی که درون شبکه وجوددارند به نسخه های قبلی شبکه در یک مرحله ی قبل منتقل می شوند. این روش باز کردن شبکه، در نهایت یک شبکه ی پیش خوردر اختیار می گذارد که می توان روش پاخ را بر روی آن اجرا نمود.
نحوهی باز نمودن یک شبکه ی بازگشتی:
اشکالات: • کندی همگرایی • پیچیدگی محاسباتی
یادگیری بازگشتی بی درنگ: یادگیری بازگشتی بی درنگیکی از روش های نزول در امتداد گرادیان است که گرادیان خطای دقیق خروجی را در هر گامزمانی محاسبه می کند؛ در نتیجه برای آموزش آنی مناسب است.
مشکلات روش های نزول در امتداد گرادیان: روش های یادگیری بازگشتی بی درنگ و پس انتشار خطا در طول زمان، هر دو دارای مشکلات استاندارد روش های بهینه سازیمبتنی بر نزول در امتداد گرادیان هستند. جواب هایی که یافت می شوند می توانند مقدار بهینه ی محلی تابع هدف بوده، و درنتیجه مقدار بهینه ی واقعی نباشند. علوه بر این درجهی یادگیری ، باید خیلی کوچک باشد که می تواند به همگرایی بسیارکندی منجر شود.
تاریخچه • شبکه بازگشتی ساده اولین بار توسط Jeff Elman استفاده شد. • و برای اولین بار در یک مقاله با موضوع (findingstructureintime) در سال 1990 توسط Elman چاپ شد.
در این مقاله،Elman چندین شبیه سازی انجام داده ، یکی تقدم لغات از یک مجموعه عناصر لغوی را نشان میدهد(وی از حروف برای ساختن لغات به عنوان عناصر آن استفاده کرده است.) • و دیگری تقدم جملات از یک جریان لغات را نشان می دهد.
در هر دو مدل، ورودی در هر تکه ای از زمان از یک الفبای ثابت کوچک می آید. • نکته جالب تمرکز بر اینست که چه چیزی می تواند در یک معماری بسیار ساده ی شبکه آموخته شود. • فعالیت قرار گرفته در شبکه برای اینست که مورد(item) بعدی (در رشته) را توسط item موجود در زمان t و یک نمایش داخلی از وضعیت مجموعه ای از واحدهای پنهان از گام زمانی قبلی، پیش بینی کند.
تعریف • شبکه های بازگشتی ساده شبیه به شبکه های استاندارد رو به جلو می باشند. به این معنی که اطلاعات در تمام طول مسیر شبکه بر روی هر پالس رو به جلو منتشر می شوند. • در این شبکه ها، گروه ها به ترتیبی که در صف گروه شبکه ظاهر شده اند به روز می شوند. به روز رسانی گروه شامل محاسبات ورودی های آن و به سرعت محاسبه کردن خروجی های آن می باشد.
تفاوت شبکه های بازگشتی ساده : • این با شبکه های بازگشتی کامل تفاوت می کند چرا که در آن ها تمامی گروه ها با هم ورودی هایشان را به روز رسانی می کنند و سپس همه با هم خروجی هایشان را محاسبه می کنند. • بنابراین، گفته می شود که در شبکه های پیوسته ، به روز رسانی به صورت همزمان صورت می پذیرد اما در شبکه های استاندارد یا بازگشتی ساده ، به روز رسانی به صورت متوالی می باشد.
تعریفی دیگر از SRN : • یک SRN در واقع یک شبکه رو به جلو با یک یا چند گروه از نوع المان (ELMAN) می باشد. یک گروه با زمینه ی المان ،با یک گروه منبع که تعداد واحد های برابر دارد مرتبط می باشد. گروه زمینه باید از نوع المان داشته باشند اما گروه منبع می توانند از هر نوعی داشته باشند.
