רשתות נוירונים

1. רשתות נוירונים הרצאת טעימות אורן שריקי

2. מודל מפושט של נוירון הקלט: הפלט:

3. פונקציות קלט-פלט טיפוסיות:פונקצית מדרגה

4. פונקציות קלט-פלט טיפוסיות:פונקציה סיגמואידלית

5. רשתות נוירונים

6. עיבוד ולמידה ברשתות נוירונים עיבוד- התפתחות בזמן של מצבי הנוירונים ברשת כתוצאה מעדכון מקבילי של פלטי הנוירונים. תנאי ההתחלה: תבנית פעילות המייצגת את הקלט. התוצר הסופי: תבנית פעילות המייצגת את הפלט. למידה - התפתחות בזמן של הקשרים ברשת (והארכיטקטורה) באמצעות אלגוריתמי למידה ואינפורמציה חיצונית. תנאי ההתחלה: סט קשרים התחלתי כלשהו. התוצר הסופי: סט קשרים המאחסנים אינפורמציה נלמדת ומאפשרים לרשת לבצע את תהליך העיבוד במשימה שנלמדה.

7. ייצוג מידע בזמנים קצרים ובזמנים ארוכים הנחת המוצא בחקר המוח - בזמנים קצרים המידע מיוצג ע"י הפעילות החשמלית של תאי העצב ומעובד ע"י הדינמיקה של רשתות תאי העצב במוח. בזמנים ארוכים המידע מיוצג ע"י החוזקים הסינפטיים ומעובד ע"י תהליכי למידה, כלומר ע"י שינוי חוזקיהם של הקשרים.

8. האם יש תפקיד חישובי לתאי הגליה? במוח יש בערך פי 10 עד פי 100 יותר תאי גליה מתאי עצב. בשנים האחרונות מתגלה כי לתאי הגליה (בפרט לאסטרוציטים) תפקידים בתהליכי למידה. האם נזכה לראות תחום כגון:Computational Gliascience?

9. מהן רשתות נוירונים? הגדרה - מערכות המורכבות ממספר רב של מעבדים פשוטים, הקשורים הדדית בקשירות גבוהה ופועלים במקביל. המידע נרכש דרך תהליך למידה ומאוחסן בקשרים.

10. דוגמאות לרשתות פשוטות – שערים לוגיים שער OR שער AND

11. ניקח לצורך הדוגמא נוירונים בינאריים: הפלט של נוירון הוא מהצורה: (פונקצית מדרגה: אם הקלט גדול מהסף הפעילות היא 1 ואם קטן מהסף הפעילות היא 0) שער AND שער OR דוגמאות לרשתות פשוטות – שערים לוגיים

12. סוגים של למידה • למידה מפוקחת – יש מורה שיודע את התשובה הרצויה לכל דוגמא. • למידה לא מפוקחת – אין מורה.

13. למידה מפוקחת

14. זיהוי ספרות בכתב יד http://yann.lecun.com/exdb/lenet/index.html

15. רשת רב שכבתית לא-לינארית

16. פונקצית הקלט-פלט של כל נוירון היא בדרך-כלל פונקציה סיגמואידלית

17. למידה לא מפוקחת

18. למידה לא מפוקחת כיצד גילה מנדלייב את הטבלה המחזורית? הוא הבחין בכך שקיימת חוקיות במאפיינים של היסודות השונים. לא היה לו מורה שלימד אותו את החוקיות! בלמידה לא מפוקחת המטרה היא לאפיין את החוקיות הסטטיסטית של עולם הקלטים.

19. דחיסת מידע על-ידי הפחתת מימדים נתונים קלטים דו-מימדיים. המשימה: לשמור מכל קלט מספר יחיד, כך ששחזור הקלט המקורי יהיה הטוב ביותר שאפשר להשיג. הרעיון: נבחר את הציר שלאורכו השונות הגדולה ביותר!

20. דחיסת מידע על-ידי הפחתת מימדים מימוש ברשת נוירונים לינארית:

21. מה לעשות כשיש קורלציות בין הרכיבים? הרעיון: נבחר מערכת צירים חדשה שבה אין קורלציות, ואז נבחר את הציר שלאורכו השונות הגדולה ביותר! גישה זו מכונה "ניתוח רכיבים עיקריים"(PCA – Principal Component Analysis).

22. דחיסת מידע על-ידי הפחתת מימדים מימוש ברשת נוירונים לינארית: הדגמה ב- MATLAB

23. ניתוח רכיבים בלתי-תלויים(ICA – Independent Component Analysis) גישת ה- PCA מבוססת על נוירונים לינאריים ומוגבלת ביכולת פעולתה על נתונים אמיתיים מהעולם. גישת ה- ICA מבוססת על נוירונים לא לינאריים ושימושית במגוון רחב של ישומים מעשיים.

24. מה קורה כשהקלטים הם תמונות טבעיות? תכונות התאים המתהווים בלמידה דומות לאלו של התאים בשלבים הראשונים של עיבוד המידע הראייתי במוח.

25. זכרון אסוציאטיבי

26. זיכרון אסוציאטיבי ברשתות נוירונים העבודה המקורית נעשתה על-ידי ג'ון הופפילד (1982). המודל מתאר רשת משוב (כל נוירון מחובר לכל נוירון באופן כללי).

27. לכל זיכרון אגן משיכה במרחב המצבים של הרשת

28. זיכרון אסוציאטיבי ברשתות נוירונים ייצוג אינפורמציה - אינפורמציה מיוצגת ע"י וקטורים של N ביטים. כל וקטור מהווה מצב אפשרי של הרשת. שליפת אינפורמציה - התייצבות הרשת במצב מסוים מהווה שליפה או שחזור של תבנית האינפורמציה המיוצגת ע"י מצב זה. אסוציאטיביות- זרימה של הרשת אל המצב היציב ממצב התחלתי מרוחק הנמצא באגן המשיכה שלו. אחסון אינפורמציה - האינפורמציה מאוחסנת באופן מבוזר במטריצת הקשרים הסינפטיים. הקשרים נקבעים כך שתבניות הזכרון תהיינה מצבים יציבים של הדינמיקה. למידה - התהליך שבו מתעדכנים הקשרים הסינפטיים כדי לייצב תבנית או תבניות זכרון חדשות.

29. מודל חישובי להזיות ראייתיות Ermentrout and Cowan, 1979. Bressloff et al., 2000-2003.

30. W K מודל של רשת נוירונים הקלט המגיע מכיוון הרשתית הקורטקס הראייתי

31. הנחות המודל • הסם מחזק את כל הקשרים בין הנוירונים בקורטקס הראייתי. • כאשר חוזק הקשרים עובר ערך קריטי מסוים נוצרות תבניות של פעילות ספונטנית, הנתפסות כגירויים ראייתיים, גם בהעדר קלט ראייתי. • בגלל מבנה הקשרים ההזיות הן של תבניות גיאומטריות אופייניות ואינן שרירותיות.

32. רישום של הזיות מודל

33. מודל רישום של הזיות

34. מודל רישום של הזיות

35. השערה ניתוח מתמטי של ייצוג מידע ברשתות משוב מראה כי הייצוג אופטימלי קרוב ל"מעברי פאזה", כלומר על הגבול בין "הגברה יעילה של הקלט" לבין "פעילות ספונטנית לא נשלטת". במצבים אלו, שינוי קטן בחוזק הסינפסות עשוי לחולל שינוי משמעותי בהתנהגות הדינמית של הרשת. האם יתכן שרשתות נוירונים במוח נוטות לעבוד קרוב לגבול בין "גאונות" ל"שיגעון"?

36. "כשנבין את החישוב בטבע... ...נבין את טבע החישוב". --J. von Neumann