تمرین پنجم

1. بسم الله الرحمن الرحیم تمرین پنجم کلاس یادگیری ماشین محمدعلی کیوان راد ترم اول 93-92

2. تمرین 5 • در این تمرین قصد داریم تا در یکی از مسابقات هوش مصنوعی در سایت kaggle شرکت نماییم. • مسابقه مورد نظر: تشخیص ارقام دستنویس • آدرس : http://www.kaggle.com/c/digit-recognizer • هدف: نتیجه باید بهتر از نیمی از تیم های شرکت کننده باشد. • جایزه: نمره اضافه برای نفر اول از افراد کلاس • در ابتدای کار بخشی از داده ها را به عنوان تست جدا کرده و نتایج خود را بر روی این داده بیان کنید. • در صورتی که زمان آموزش با همه داده ها زمان زیادی لازم داشت می توانید از بخشی از این داده ها (حداقل شامل 5000 نمونه) برای آموزش استفاده کرده و فقط در مرحله آخر بهترین ساختار شبکه را با همه داده آموزش داده و نتیجه آن را در سایت kaggle ارسال نمایید.

3. تمرین 5 • تعدادی از تصاویر مربوط به این دادگان را مشابه تصویر زیر رسم نمایید.

4. تمرین 5 • یک شبکه عصبی با دو لایه محاسباتی (یک لایه مخفی) را در نظر بگیرید. تعداد گره های لایه میانی را مقادیر مختلفی قرار دهید. دقت شبکه و زمان آموزش را به صورت نموداری از تعداد گره ها رسم کنید و نمودار را تحلیل نمایید. • در صورتی که ابعاد تصویر ورودی زیاد است، می توانید به کمک دستور imresize ابعاد را کم کنید. • تعداد لایه های میانی شبکه را افزایش دهید(تعداد گره های هر لایه را ثابت در نظر بگیرید). تاثیر افزایش تعداد لایه ها را بررسی کنید. • early stoppingدر شبکه عصبی چیست؟ تعداد گره های لایه میانی یک شبکه عصبی دو لایه را به مقدار دلخواه در نظر بگیرید و سپس تاثیر پارامتر max_fail مربوط به روش early stopping را بررسی کنید. همچنین یک بار این روش را غیر فعال کرده و شبکه را آموزش دهید. تحلیل خود را از آزمایش های انجام شده ارائه دهید.

5. تمرین 5 • الگوریتم مورد استفاده برای آموزش شبکه عصبی را traingd در نظر گرفته و سپس تاثیر ممنتم و نرخ یادگیری را در دقت شبکه مورد بررسی قرار دهید. • الگوریتمهای trainscg(scaled conjugate gradient)، trainoss(one step scant)، traingd(gradient descend) و trainlm(levenberg-marquardt) را برای حل مسئله این تمرین مورد استفاده قرار داده و کارایی آن ها را با یکدیگر مقایسه نمایید. • باتوجهبه آزمایش های انجام شده و حتی تغییرات دیگری که خودتان در شبکه بوجود می آورید، معماری یک شبکه عصبی مناسب برای حل مسئله ارائه دهید.

6. تمرین 5 • در انتها نیز باید دقت داده های تست موجود در سایت Kaggle را بیان نمایید. برای این کار باید دو تصویر زیر را در گزارش قرار دهید.