Download
1 / 31
310 likes | 630 Views
第 23 章 類神經網路. 本章的學習主題 1. 類神經網路的基本概念 2. 類神經網路之應用 3. 倒傳遞類神經網路 4. 類神經網路之運算注意事項 5. 類神經網路 STATISTICA 軟體操作範例說明. 23.1 類神經網路的基本概念. 一種計算系統，包括 軟體 與 硬體 ，它使用大量簡單的相連人工類神經元來模仿生物神經網路的能力。人工神經元是生物神經元的簡單模擬，它從外界環境或者其它人工類神經元取得資訊，並加以運算，再輸出其結果到外界環境或者其它人工神經元。. 23.1 類神經網路的基本概念. 圖 23 - 1 生物神經網路結構.
E N D
第23章 類神經網路 本章的學習主題 1.類神經網路的基本概念 2.類神經網路之應用 3.倒傳遞類神經網路 4.類神經網路之運算注意事項 5.類神經網路STATISTICA軟體操作範例說明
23.1 類神經網路的基本概念 一種計算系統，包括軟體與硬體，它使用大量簡單的相連人工類神經元來模仿生物神經網路的能力。人工神經元是生物神經元的簡單模擬，它從外界環境或者其它人工類神經元取得資訊，並加以運算，再輸出其結果到外界環境或者其它人工神經元。
23.1 類神經網路的基本概念 圖 23 - 1 生物神經網路結構 圖 23 - 2 人工神經元結構
23.1 類神經網路的基本概念 圖 23 - 3 簡單的類神經網路
23.1 類神經網路的基本概念 一、類神經網路的分類 (一)依學習策略分類 1.監督式學習網路 (supervised learning network) 2.無監督式學習網路(unsupervised learning network) 3.聯想式學習網路(associate learning network) 4.最適化應用網路(optimization application network)
(二)依網路架構分類 1. 向前式架構：神經網路由神經元分層排列，形成輸入層、隱藏層、輸出層。每一層只接受前一層的輸出作為輸入，稱前向式架構。 23.1 類神經網路的基本概念 圖 23 - 4 前向式架構
23.1 類神經網路的基本概念 2. 回饋式架構：即輸出層神經元的資訊回饋到輸入層，或層內各神經元間有連結者，或神經元不分層排列，只有一層，各神經元均可相互連結者稱回饋式架構。 圖 23 - 5 回饋式架構
加權值 未學習網路 訓練範例 已學習網路 + + 學習演算 加權值 23.1 類神經網路的基本概念 二、類神經網路運作範例 類神經網路的運作範例大致上分為三種： (一)訓練範例 1. 監督式訓練範例：由代表範例特徵的輸入變數資料，與代範例預測或分類的目標輸出變數資料共同組成。 2. 無監督式訓練範例：由代表範例特徵的輸入變 數資料組成。 3. 聯想式訓練範例：由代表範例特徵的狀態變數資料組成，該變數值既是輸入亦是輸出，以替代方式決定變數值。
推論 評估 待推案例 測試範例 待推案例 已學習網路 精度 + + 回想演算法 回想演算法 推論輸出值 已學習網路 已學習網路 + + 23.1 類神經網路的基本概念 (二)測試範例 測試範例為評估已學習網路之學習效果所使用的範例，其形式與訓練範例相同。該範例只使用回想演算法得到推論輸出值，之後與目標輸出值比較，以評估網路學習的精確度。 (三)待推案例 網路學習完後，可用網路推論待推案例的結果。待推案例沒有目標輸出變數資料。網路根據待推案例之輸入變數資料，透過回想演算法，推論出輸出值。
23.1 類神經網路的基本概念 三、類神經網路的基本架構 類神經網路的基本架構可分三個層次： (一)處理單元的作用可用三個函數來說明 (二)層(layer) (三)網路 (network)
23.1 類神經網路的基本概念 (一)處理單元的作用可用三個函數來說明 1. 集成函數(summation function)：將輸入變數 資料或前一層神經元之輸出與連接加權值加以 綜合，即 I = f (W, X)。常用的函數包括加權乘 積和與歐氏距離等。 2. 作用函數(activity function)：將集成函數值與 神經元狀態加以綜合，通常是直接使用集成函 數輸出，即netjn = Ijn
23.1 類神經網路的基本概念 3. 轉換函數(transfer function)：將作用函數輸出值 轉換成處理單元輸出，即Yj = f (netj)。常用函數 包括硬限函數、線性函數與非線性數函數。
23.1 類神經網路的基本概念 (二)層(layer) 若干個具有相同作用的處理單元集合成「層」。 層本身有三個作用： 1.正規化輸出：將同層中的處理單元的原始輸出值加以正規化，作為「層」的輸出。 2.競爭化輸出：在同層的所有處理單元之原始輸出值中，選擇一個或數個最強值的處理單元，令其值為1，其餘為0後，再作為「層」的輸出。 3.競爭化學習 ：在同層的所有處理單元之原始輸出值中，選擇一個或數個最強值的處理單元，網路將只調整與該單元相連的下層網路連結。
23.1 類神經網路的基本概念 (三) 網路 (network) 網路本身有兩種作用： 1. 學習過程(learning)：從範例中學習，以調整網路連接加權值的過程。 2.回想過程(recalling)：以輸入資料決定網路輸出資料的過程。
23.2 類神經網路之應用 類神經網路的應用極為廣泛，在工業與工程方面的應用包含工業與工程資料分析、工業與工程故障診斷、工業與工程決策諮詢、工業與工程製程監控、工業與工程最適化問題求解。 在商業與金融方面的應用包括商業決策、商業預測、商業分析；在科學與資訊方面的應用包括醫學疾病診斷、醫學影像診斷、氣象預測、化學儀器分析解釋、複雜現象映射與模式化、感測資料分類、軍事目標追蹤、犯罪行為聚類分析、性向測驗分析、資料庫聯想搜尋、電腦輔助教學、電腦音樂、專家系統等。
23.2 類神經網路之應用 表 23 - 1 類神經網路架構模式
23.3 倒傳遞類神經網路 • 誤差函數 • Tj=輸出層目標輸出值 • Aj=輸出層推論輸出值 倒傳遞網路是應用一個訓練範例的一輸入值向量X，與一目標輸出向量T，修正網路加權值W，而達到學習的目的。基本原理是利用最陡坡降法的觀念，將誤差函數予以最小化。
23.3 倒傳遞類神經網路 一、網路架構 倒傳遞網路在隱藏層與輸出層之非線性轉換函數，最常使用雙彎曲函數，即 輸入層：輸入變數資料，該層處理單元數目依問題而定。處理單元之轉換函數為線性函數，亦即 f(x)=x。 隱藏層：表現輸入層處理單元間的交互影響。處理單元之轉換函數為非線性函數。 輸出層：輸出變數，該層處理單元數目依問題而定。處理單元之轉換函數為非線性函數。
23.3 倒傳遞類神經網路 圖 23 - 6 倒傳遞類神經網路模型
23.4 類神經網路運算注意事項 • 若樣本數接近所需估計的權重數時，就會產生過度配適(over-fitting)的情形，使模型失去通則性(generalizability)。 • 樣本數應為5至10倍的連結權重數。 • 連結權重數未知時： • 樣本數則為輸入變數數目的平方值 • 樣本數≧c×(輸入變數數目×輸出變數數目) • 隨機分配樣本為訓練樣本與測試樣本 資料的準備—樣本數
23.4 類神經網路運算注意事項 • 輸入變數應使用計量資料：對於非計量變數值應重新編碼。 • 極端值應被仔細地考慮甚至刪除。 • 變數標準化。 資料的準備—檢視資料
23.4 類神經網路運算注意事項 定義模型架構 • 隱藏層層數 • 一般問題可取一層隱藏層，較複雜的問題則取二層隱藏層。 • 隱藏層處理單元數目 • (輸入層單元數+輸出層單元數)/2 • (輸入層單元數*輸出層單元數)1/2 • 若問題複雜度較高，隱藏層單元數目宜多。 • 若測試範例之誤差值遠高於訓練範例之誤差值，則隱藏層單元數目應減少，反之，則應增加。
23.4 類神經網路運算注意事項 模型估計 • 在網路的訓練過程中，訓練範例與測試範例的誤差值均會逐漸降低，但若測試範例的誤差停止下降，甚至開始上升時，則表示有過度訓練的情形發生，因此研究者應在測試範例之誤差上升前即停止訓練。
23.4 類神經網路運算注意事項 評估模型結果 • 評估模型包括評估輸出變數的預測或分類水準。在預測的問題上，通常使用誤差均方根來評估模型；在分類的問題中，可利用分類矩陣(classification matrix)來計算出個案被正確分類的機率是多少。
23.4 類神經網路運算注意事項 模型效度 • 最後一步是要確認所找到的解是整體最適且要盡可能的一般化。研究者應該使用不同的處理單元數目去測試，以確定不可能再達到更好的解。
23.4 類神經網路運算注意事項 • 類神經網路的能力可處理複雜的關係，特別是非線性的關係。 • 預測及分類。 • 無法針對輸入變數的相對重要性以及變數間的相關提供解釋。 六、使用類神經網路之優缺點
範例結果—各輸入變數之重要程序排序 由敏感度分析可得知，影響「行為意圖(BI)」最重要的變 數為「資訊基礎(IFT)」與「能力(AB)」，次要 變數為「與會員分享(KS_KS)」。
