1 / 32

第五章 神经网络信号处理

第五章 神经网络信号处理. 郑宝玉. 主要内容. 神经网络模型及其训练 自适应主分量分析 模糊自适应信号处理 其它非线性滤波. 神经网络模型及其训练. 引言 神经网络模型. 静态神经网络 动态神经网络. 神经网络训练. 训练规则 训练方法. 神经网络模型及其训练. 静态神经网络 1 . 多层感知器 (MLP: Multilayer Perceptron). 神经网络模型. － 多层感知器是信号处理中应用最多的神经网络结构， 如图 1 所示。 － 多层感知器是一种前饋神经网络 , 由输入层、输出层和

illias
Download Presentation

第五章 神经网络信号处理

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 第五章 神经网络信号处理 郑宝玉

  2. 主要内容 • 神经网络模型及其训练 • 自适应主分量分析 • 模糊自适应信号处理 • 其它非线性滤波

  3. 神经网络模型及其训练 • 引言 • 神经网络模型 • 静态神经网络 • 动态神经网络 • 神经网络训练 • 训练规则 • 训练方法

  4. 神经网络模型及其训练 • 静态神经网络 1.多层感知器(MLP: Multilayer Perceptron) • 神经网络模型 －多层感知器是信号处理中应用最多的神经网络结构， 如图1所示。 －多层感知器是一种前饋神经网络, 由输入层、输出层和 若干中间层(常称为隐层,hidden-layer )组成 － 多层感知器的每一层包括若干个节点 (node) 或神经元 (neuron), 如图2；神经元是人工神经网络的基本单元.

  5. ∑ 图2 图1

  6. 式中 :前一层(第l-1层)第i个神经元的输出信号 : 第l-1层中第i个神经元到第l层中第j个神经元的连接权值 :加到第l层中第j个神经元的偏置(bias)即阀值 :第l层神经元的数目(N0表示输入层的神经元数目) : xj(n)是输入向量(模式)x(n)的第j个元素 :oj(n)是输出向量(模式)o(n)的第j个元素 神经网络模型及其训练 • 神经网络模型 1. 多层感知器 • 神经元:如图;第l 层中第j个神经元的如下输入-输出关系: 其中 L、L+1: 分别为MLP的级数和层数

  7. 神经网络模型及其训练 1. 多层感知器  激活函数 • 神经网络模型 - S型函数: 其变化范围为 ; 其导数为 - 正切双曲函数: 其导数为

  8. 神经网络模型及其训练 2. 径向基函数网络(RBFN:Radial basis function nets)  RBFN的结构: 它是另一种形式的前馈网络, 如图3。  RBFN与MLP的主要差别 - RBF网络是单隐层的网络,而 MLP可以有一个或多个隐层 - RBFN是一个局部逼近器，而MLP是一个全局逼近器。 -RBF网络比单层感知器网络具有更强的功能; 当中心向量 xi确定后, RBF网络只需对输出层进行修正(更新),因此比 MLP网络具有更快的敛速, 是一种非常有效的前饋网络。 • 神经网络模型

  9. 神经网络模型及其训练 2. 径向基函数网络  RBFN与MLP的主要差别(续) - 表征RBF网络隐单元的核(基函数)一般定义为高斯函数: • 神经网络模型 式中x 是输入向量, xi是第i单元的中心。由M个隐单元RBF 网络实现的输入输出映射定义为 而表征MLP网络隐单元的核定义为logistic函数:

  10. ∑ ● ● ● ∑ 图3

  11. 神经网络模型及其训练 3. 自组织特征映射网络 (SOFM:Self-organization Feature map) • 神经网络模型 • 基本结构 图4表示用作离散映射的二维神经元格型结构的SOFM网 络,其中每个神经元全连接到输入层的所有源节点;它是一 个行-列排列的神经元组成的单层前饋网络,包括如下过程: • 基本过程  竞争过程(competitive process)  协作过程(cooperative process)  自适应过程(adaptive process), 它包括两个阶段: -自组织或排序阶段(dering phase) - 收敛阶段(convergence phase)

  12. 图4

  13. 神经网络模型及其训练 • 动态神经网络 1. 基于MLP和RBF的时延神经网络(TDNN) TDNN和具有输出反馈的TDNN分别如图5和图6, 它们起到 如下非线性映射关系： • 神经网络模型 分别对应于非线性FIR和非线性IIR(即非线性MA和ARMA)，其中F[]为非线性函数。当F[]为线性函数时，分别等效为一般的FIR和IIR滤波器。

  14. y(n) MLP x(n) x(n-1)… x(n-p) x(n) LTD 图5 Z-1 MLP x(n) x(n-1)… x(n-p) y(n-q) y(n-2) y(n-1) x(n) LTD1 LTD2 图6

  15. 神经网络模型及其训练 • 动态神经网络 2.递归神经网络(recurrent networks) • 神经网络模型 －递归神经网络与前饋神经网络的区别在于:前者至少存在 一个反馈环路, 如图7。 －由于反馈的存在, 对网络学习能力及其性能有深刻的影响 Hopfild 网络 Hopfild网络能量函数[亦称为李雅普洛夫(Lyapunov)函数]为 或

  16. 单元延时 Z-1 Z-1 Z-1 Z-1 图7

  17. 神经网络模型及其训练 • 动态神经网络 2.递归神经网络(recurrent networks) • 神经网络模型 可以证明，E(t)函数总是单调下降的。因此，若E(t)有界， 则网络必定稳定，且稳定点对应能量函数的极小点。设 易知 则 式中 为单位增益神经元的反函数标准形式。

  18. 神经网络模型及其训练 • 训练规则 • 神经网络训练  Hebb学习规则(无师学习) 其中 “胜者为王” (Winner-Take-All)学习规则 (无师学习) 其中 δ学习规则(有师学习) 其中ε为代价函数。

  19. 神经网络模型及其训练 • 训练方法 1. MLP网络的训练  算法推导 考虑MLP网络的某一层，则某个时刻神经元j 的输出为 • 神经网络训练 其中 当神经元j为输出节点时, 该节点的误差信号定义为 此时神经元j 的误差能量定义为 ,总误差能量ε为输出 层所有神经元能量之和, 即

  20. 神经网络模型及其训练 1. MLP网络的训练  算法推导（续） -MLP网络的训练，可通过求解式(14)在式(11)的约束条 件下的约束优化问题获得。 - 设用δ规则调整该层的连接权W, 则需计算导数, 即 • 神经网络训练 其中局部梯度定义为 (16)

  21. 1. MLP网络的训练  算法推导（续） - 现考虑 的计算.由图10知,此时神经元k为输出节点,故有 神经网络模型及其训练 • 神经网络训练 于是 此时 因此 故(16)变为输出层: 隐层: 如图11所示。

  22. 1. MLP网络的训练  基本结论 - 由式(20)并参照图10易见, (20b)实现了误差从输出层(k)到隐层(j)的反向传播(BP), 它亦可实现隐层之间的反向传播。如图9和10所示。因此, 以式(20)为基础的MLP网络训练方法通常称为BP算法, 且把基于BP算法的MLP网络称为BP网络。 -容易看出,BP算法可看作LMS算法的推广, 而把LMS算法 看作BP算法的特例(当 即 ) 神经网络模型及其训练 • 神经网络训练

  23. Vz … Wy … j k + 1 2 1 2

  24. 神经网络模型及其训练 1. MLP网络的训练  通用算法 ①初始化 a)给定输入-输出样本集 ,并选择 b)随机初始化所有连接权系数 ②前向计算：令 计算各层输出 • 神经网络训练

  25. 神经网络模型及其训练 1. MLP网络的训练  通用算法（续） ③反向计算 a)计算反向传播误差 • 神经网络训练 (对于输出层l=L) (22a) (对于隐层l=L-1,…,1) (22b) b)并调整连接权系数 其中 , 末项是动量项(momentum)

  26. 神经网络模型及其训练 1. MLP网络的训练  通用算法（续） ④计算误差： • 神经网络训练 ⑤迭代：返回②继续迭代，直到总误差小于给定容限。 变形：以上是批处理方式, 它适合于训练时所有P个样本集可用的情况。在可获得每个新的样本集的情况下，可采用逐个样本集训练的方式，这时式(23)和(24)分别变为 分别用(25)和(26)代替(23)(24)后, 对于②－④的迭代, 每一次都从p=1开始, 直做到p=P。

  27. 神经网络模型及其训练 2. SOFM网络的训练 初始化后, 算法实现中涉及三个基本步骤:取样、相似性匹配、 更新,重复这三个步骤直到特征映射完成为止。具体如下： ①初始化:随机选择互不相同的初始权向量 , j=1,,…,m, m是格型中神经元个数。 ②取样:以某种概率从输入空间提取样本向量x.该向量表示 加到格型结构的激活模式。向量x的维数为m。 ③竞争-相似性匹配：设i(x)表示与输入向量x最好匹配(赢)的 下标。通过最小距离欧氏准则找n次迭代的i(x)： • 神经网络训练

  28. 神经网络模型及其训练 2. SOFM网络的训练（续） ④协作－求拓扑邻域：即求以赢单元为中心的邻域函数： • 神经网络训练 其中 为受激神经元j和赢神经元i的距离， 分别为其位置; 并计算 式中σ0、μ0是SOFM算法中的初始值, τ1和τ2是SOFM算法的时间常数。

  29. 神经网络模型及其训练 2. SOFM网络的训练（续） ⑤自适应－更新 (updating)：利用如下更新公式调整所有神经元的连接权向量： • 神经网络训练 其中μ是学习速率参数。 ⑥迭代: 返回步骤②继续迭代, 直到特征映射没有显著变化 为止。

  30. 3. RBF网络的训练  中心向量的迭代 令为 第k次迭代RBF的中心，则k-平均聚类(k-means clustering)算法步骤如下： ①初始化：随机选择初始中心值 ②取样:以某种概率从输入空间X提取样本向量，并进入算 法的n次迭代。 ③相似匹配:设 表示与输入向量x最好匹配(赢)的下标,则 其中 是n次迭代第k个RBF的最小。 神经网络模型及其训练 • 神经网络训练

  31. 神经网络模型及其训练 3. RBF网络的训练（续） ④ 更新(updating)：利用如下更新公式调整RBF的中心 • 神经网络训练 ⑤迭代：n增加1, 返回步骤②,直到中心 没有显著变化为止。 连接权的迭代过程 ① 初始化:随机初始化所有连接权。 ② 计算输出向量: 其中 为n时刻的输入向量， 为每个神经元 的中心向量，J 是隐层神经元的个数。

  32. 神经网络模型及其训练 3. RBF网络的训练（续）  连接权的迭代过程（续） ③计算每个输出神经元的误差： • 神经网络训练 ④调整连接权系数： 其中I是输出层神经元的个数， 是隐层神经元i与输出 层神经元j之间连接权。 ⑤计算总误差: 并返回步骤②迭代计算, 直到 误差小于给定值

More Related