1 / 21

Hopfield Neural Network (HNN)

Hopfield Neural Network (HNN). 霍普菲爾神經網路 ( 非監督式學習 --【 聯想式學習 】 ). 聯想式學習. 自聯想 (auto-associative) Input 與對應的 Target 相同 由一個樣式聯想同一個樣式 異聯想 (hetero-associative) Input 與對應的 Target 不同 由一個樣式聯想另一個樣式. 聯想式學習 ( 續 ). 架構 Feedforward Recurrent. 聯想式學習 ( 續 ).

quon-barnes
Download Presentation

Hopfield Neural Network (HNN)

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Hopfield Neural Network (HNN) 霍普菲爾神經網路(非監督式學習--【聯想式學習】)

  2. 聯想式學習 • 自聯想(auto-associative) • Input與對應的Target相同 • 由一個樣式聯想同一個樣式 • 異聯想(hetero-associative) • Input與對應的Target不同 • 由一個樣式聯想另一個樣式

  3. 聯想式學習(續) • 架構 • Feedforward • Recurrent

  4. 聯想式學習(續) • How many patterns can be stored before the net starts to forget patterns it has learned previously ? • Binary : N patterns  2N  0.15N • Bipolar : • A measure of associative net. Performance • Capacity

  5. 聯想式學習(續) • Learning • Hebb rule X1=(1,-1,1,1,1,-1) y1=(1,1,-1,-1) X2=(1,1,1,-1,-1,-1) y2=(1,-1,1,-1)

  6. 聯想式學習(續) • If the input vectors are orthonormal perfect recall • If the input vectors are not orthonormal  cross talk • Testing ( 1 , 1, -1 , -1) × × × ×  -1+1-1+1=0 (-1, 1 , 1 , -1)

  7. 聯想式學習(續) • Normalization • By the Hebb rule by a factor of 1/n • n : the number of units in the system

  8. Hetero-associative Net. (1,0,0,0)  (1,0) (1,1,0,0)  (1,0) (0,0,0,1)  (0,1) (0,0,1,1)  (0,1) • Example

  9. Hetero-associative Net.(續) • Testing

  10. Auto-associative Net. (1,1,-1,-1), (-1,1,1,-1) • Example 對角線設為0 避免值過大

  11. Auto-associative Net.(續) • Testing

  12. Hopfield Network • 基本架構 • Single layer • 每個處理單元皆有一個狀態值 • 每個狀態值會一直變化到最後呈現穩態(穩定到一個固定值) • 每個處理單元間彼此互相連結(完全連結)

  13. Hopfield Network(續) {+1,-1,+1,-1,+1,-1} {-1,+1,-1,+1,-1,-1} {+1,+1,+1,+1,+1,+1} {-1,-1,-1,-1,-1,-1} • 學習過程 • 設定網路權重值即完成學習

  14. Hopfield Network(續) • 回想過程 • 讀入權重值矩陣 • 輸入初始變數向量X • 計算新的狀態變數向量X • 反覆上一步，直到收斂為止 Thresholds=0

  15. Hopfield Network(續) Epoch 1 維持原 來的值 Epoch 2

  16. Hopfield Network(續) • 網路輸出值的修正 • 同步修正(synchronous update) • 網路輸出值即為下一epoch的輸入值 • 非同步修正(asynchronous update) • 網路輸出值每次只挑選一個與原來輸入值不同的處理單元進行修正（index最小者），修正後的輸出值即為下一epoch的輸入值 • 收斂的機會較大

  17. Hopfield Network(續)

  18. Hopfield Network(續) • 能量函數(Lyapunov function) • 用以判斷是否會收斂 • 能量函數趨近於0，表示會收斂

  19. Hopfield Network(續) • 因Hopfield並無訓練目標值，因此無法以MSE、RMSE或誤判率來衡量網路誤差大小 • 因此，以能量函數進行誤差的衡量 • 簡化能量函數 • 當各處理單元的狀態變數值所構成向量與訓練範例特徵向量之一相似或相同時，能量函數傾向較低的值

  20. Hopfield Network(續) • 應用 • 雜訊過濾 • 資料擷取 • 最佳化 • Travel Salesman Problem, TSP • Linear programming • Job shop scheduling

  21. Hopfield Network(續) • 圖樣辨識

More Related