علیرضا اخوان پور

1. علیرضا اخوان پور Visnet VISnet _ Network & topology

2. Feed-forward Hierarchical Model • four-layerfeed forward network • A series of hierarchical competitive networks with local graded inhibition • Convergent connections to each neuron from a topologically corresponding region of the preceding layer • Synaptic plasticity based on a modified Hebbian learning rule with a temporal trace of each cell’s previous activity • V2-> V4->posterior inferior temporal -> anterior inferior temporal

3. Architecture • بین هر لایه‌ی مدل، یک تابع توزیع گاوسیبرای تعیین احتمال اتصالات شبکه • 67% اتصالات از داخل این دایره • افزایش شعاع همگرایی با بالا رفتن در سلسله مراتب • اندازه‌ی فضای ورودی 128*128 • سایز لایه‌های مدل 32*32

4. Input • پیش پردازش داده ها • ورودی‌ها به لایه‌ی 1 از لایه‌های جداگانه • استخراج خط و لبه » شبیه سازی V1 فرکانس فضایی علامت جهت گیری

5. θ : 4 جهت 0 درجه، 45 درجه، 90 درجه و 135 درجه • اندیس‌های X وY:فاصله از مرکز • سایز فیلترها: 13x13 • )fفرکانس فضایی( : 0.0625، 0.125، 0.25 و 0.5 سیکل بر پیکسل تصاویر ورودی با فیلترهای مختلف کانوالو می‌شود. آستانه‌ی خروجی فیلتر 0 می‌باشد، در نتیجه تنها پاسخ‌های مثبت در نظر گرفته می‌شوند.

6. Input to layer 1 • انتخاب تصادفی • به صورت محلی • بر اساس توپولوژیک سازگار از فیلترهای موجود در لایه‌ی ورودی، دریافت کردند. • با این محدودیت که :هر سلول از تمام فیلترهای فرکانس فضایی نمونه برداری کرده و تعداد ثابتی از ورودی‌ها(برای مثال 272) را دریافت نماید.

7. Input to layer 1 • فیلترهای ورودی ویزنت:4 فرکانس فضایی و 4 جهت فیلتر گاوسی جهت شناسایی خط • هر مربع نمایانگر :تصویر شبکیه که بعد اعمال کردن فیلترهای مناسب به شبکه ارائه شده است. • دایره‌ها نمایانگر :مختصات retinotopic سازگار برای فراهم کردن ورودی به لایه‌ی 1

8. connection • لایه‌ی اول ورودی‌های خودش را به طوری استخراج می‌نماید که توزیع اطلاعات لایه متعادل و برابر باشد. • هر نورون در لایه‌ی ورودی مرکزی برای شعاع مورد نظر است. • ارتباطات به صورت تصادفی و با استفاده از نقطه‌ی مرکز بر طبق احتمال یکنواخت اتصال ایجاد می‌شود. • اتصالات در تمام فرکانس‌ها و جهت‌گیری‌ها ساخته شده و باید از هر کدام از فرکانس‌های فضایی نمونه‌هایی گرفته شود. • به هر اتصالی یک وزن نسبت داده می‌شود - در طول آموزش تغییر می‌کند - به طوری نرمال می‌شوند تا جمع مربعات آن‌ها برابر با 1 شود

9. local graded inhibition • در هر لایه، به جای winner-take-all رقابت درجه بندی شده وجود دارد • توسط طرحی شبیه مهار جانبی • برای تنوع بخشیدن به اطلاعات بین همه ورودی ها • نواحی مختلف لایه برای محرک‌های متفاوتی آتش خواهند کرد • اطلاعات بین تمام نورون‌های شبکه توزیع میگردد • استفاده از یک فیلتر فضایی • شامل یک مرکز مثبت احاطه شده توسط مقادیر منفی • این فیلتر با لایه‌ی فعلی با نرخ فعالیتی که قبلاً محاسبه شده است کانوالو می‌شود • فیلتر به نوعی راه اندازی شده که متوسط مقادیر نرخ فعال‌سازی تغییر نمی‌کند • سایز فیلترها با بالارفتن در سلسله مراتب افزایش می‌یابد ؛تقریباً نصف شعاع همگرایی است.

10. فیلتر مهار جانبی • جفت پارامترهای σ و δ مهار جانبی برای لایه‌ی 1 تا 4 به ترتیب 1.38و 1.5، 2.7 و 1.5، 4.0 و 1.6، و 6 و 1.4 می‌باشد. ( σتضاد و δ عرض ) • مهار جانبی با کانوالو نمودن فعالیت‌های نورون‌های روی یک لایه با فیلتر فضایی Iحاصل می‌شود. • در لایه‌ی 4-ام، از لحاظ تئوری هر نورون یا خوشه‌ای از نورون‌ها به ازای ورودی‌های متفاوتی که به شبکه داده می‌شود رفتار متفاوتی را باید داشته باشد. • محرک‌های ورودی به طور مساوی بین نورون‌های هرلایه تقسیم و بازنمایی شوند.

12. contrast enhancement • پس از اعمال فیلتر مهار جانبی، اعمال تابع افزایش تضاد (contrast enhancement)  تغییر مقیاس مقادیر به بین 0 و 1 :r فعال‌سازی(نرخ آتش) بعد مهار جانبی : y نرخ آتش بعد افزایش تضاد :α آستانه‌ی تابع (تعیین اینکه چند درصد از سلول های عصبی باید آتش کنند!) :β شیب activation sparseness

14. نرمال‌سازی وزن‌ها جلوگیری از اینکه همیشه دسته‌ای از نرون‌های ثابت در رقابت پیروز شوند • نرمال‌سازی بردار ضرائب:

15. آموزش شبکه • آموزش شبکه به صورت لایه به لایه • به ترتیب: • پایین‌ترین لایه برای تعداد ایپاک‌های تعریف شده • لایه 2 برای تعداد ایپاک‌های تعریف شده • لایه 3 برای تعداد ایپاک‌های تعریف شده • لایه 4 برای تعداد ایپاک‌های تعریف شده تا زمانی که لایه‌ی زیرین هنوز تغییر می‌کند آموزش لایه‌های بالاتر هیچ مفهومی ندارد.

16. آموزش شبکه، قانون یادگیری اثر • قانون یادگیری اثر (trace learning rule) : • تغییر یافته‌ی قانون هب • تاثیر ورودی‌های قبلی به محاسبات فعلی • وقتی ما به چیزی برای مدت بسیار کوتاه مثلاً 0.5 ثانیه نگاه می‌کنیم، بسیار محتمل‌تر است که ما در یک چارچوب زمانی باز هم به همان جسم نگاه کنیم، احتمالاً از زاویه‌ای دیگر، تا این‌که به صورت مداوم ورودی‌های متفاوتی به ما نشان داده شود.

17. The original trace learning rule • xjis the jth input to the neuron • y is the output from the neuron • ȳt is the trace value of the output of the neuron at time step t • α is the learning rate • wj is the synaptic weight between jth input and the neuron • η is the trace value ( )

18. Evidenceهای زیستی

20. معیارهای اندازه گیری • Fisher’s unit(عامل تفکیک) • information theory • معیار اطلاعات تک سلولی • معیاز اطلاعات چند سلولی • یک نرون تا چه ‌اندازه بین محرک‌ها تمایز قائل می‌شود • تا چه‌اندازه بین مکان‌های مختلف تمایز قائل می‌شود