470 likes | 719 Views
SOM 与侧向相互作用. 北京师范大学 系统科学系 陈家伟 2010.7.23. 提纲. 人工神经网络介绍 SOM—— 自组织映射 SOM 与神经系统 侧向相互作用. 人工神经网络介绍( ANN ). 人工神经网络发展历史. 第一阶段(兴起) 1943 年, W.S.Mcculloch 和 W.Pitts 提出了 M-P 神经元模型; 1949 年, D.O.Hebb 提出突触联系可变的假设; 1957 年, Rosenblatt 提出了著名的感知机模型; 1960 年, B.Windrow 和 E.Hoff 提出了自适应线性单元。 第二阶段(低谷)
E N D
SOM与侧向相互作用 北京师范大学 系统科学系 陈家伟 2010.7.23
提纲 • 人工神经网络介绍 • SOM——自组织映射 • SOM与神经系统 • 侧向相互作用
人工神经网络发展历史 • 第一阶段(兴起) • 1943年,W.S.Mcculloch和W.Pitts 提出了M-P神经元模型; • 1949年,D.O.Hebb提出突触联系可变的假设; • 1957 年,Rosenblatt提出了著名的感知机模型; • 1960年,B.Windrow和E.Hoff提出了自适应线性单元。 • 第二阶段(低谷) • 1969年,M.Minsky和S.Papert出版Perceptron一书; • 1972年,T.Kohonen 提出了自组织映射理论; • 1976年,S.A.Grossberg提出自适应共振理论(ART); • 1982年,K. Fukushima提出了认知机模型。 • 第三阶段(热潮) • 1982年,J.J.Hopfield提出Hopfield网络; • 1984年,Hinton等人提出了Boltzmann机网络模型; • 1986年,D.E.Rumelhart和J.LMcclelland提出了误差反向传播算法,成为至今为止影响很大的一种网络学习方法。 • 第四阶段(平稳发展)
经典的ANN模型 反向传播算法 Backpropagation,BP算法 感知机模型 Perceptron Self-organizing maps,SOM Hopfield 网络
模型结构 • 输入层 • n个神经元 • 输出层 • m个神经元排成一维或二维形式空间形式; • 神经元之间全连接。 • 权重矩阵 • 全连接,wij是m*n维矩阵 • 核心机制 • 竞争:Winner take all; • 合作:lateral interaction
训练过程 • 连接权值初始化,一般随机设定 • 对网络输入模式: • 计算输入 xk 与全部输出结点权向量的距离: • 具有最小距离的输出结点获胜 : • 调整获胜节点一节获胜节点邻域内的权重值: • 输入新的样本,继续训练。
学习效率和邻域大小 • 学习效率 随时间减小。随着训练过程的进行,权值的调整幅度越来越小。 • 邻域大小 也随着时间而收缩,当t足够大时,只训练获胜结点本身。 • 训练过程分为两个阶段: • 排序阶段:形成权值向量的拓扑排序; • 收敛阶段:提供输入空间的准确统计量。
SOM的本质——保范映射 • SOM实质上是从任意维离散或连续空间V 到一维或二维离散空间A的一种保范映射。
SOM的性质:输入空间的近似 对于V中的向量v,首先根据特征映射Φ 确定在输出空间A中的最佳匹配单元 S,S 的权重向量Ws可视为S投影到输入空间的坐标。通过不断调整的权重矩阵,可以使得输出空间A近似的表示输入空间V。
SOM的性质:拓扑排序 • 通过SOM算法计算的特征映射Φ是拓扑有序的,意味着网络中神经元的空间位置对应于输入模式的特定区域或特征。 • 演示 • 输入和输出都是一维的情况下,可以证明系统收敛到排序的状态。 J. A. Flanagan, Self-organization in the one-dimensional SOM with a decreasing neighborhood. Neural Networks, 2001, 14(10):1405-1417.
SOM的性质:密度匹配 • 特征映射Φ反映输入分布在统计上的变化:在输入空间上X中样本以高概率抽取的区域映射到输出空间A中的更大区域,反之依然。 • 演示
SOM的性质:特征选择 • 在具有非线性分布的空间中给定数据,SOM能够为逼近固有分布选择一组最好的特征。 • 演示
SOM的应用 • 数据压缩 • 降维 • 聚类 • 向量量化 • 模式分类 • ……
汉字认知的模式 • 行为实验 • 初级学习者; • 中级学习者; • 母语。 • 知觉学习模型 • Hebb学习法 • 侧向相互作用
单个汉字学习 初始状态 训练结果
锐化 • 视觉:更容易从背景中分出对象,尤其在看物体的边角和轮廓时会提高视敏度。 • 色觉:红和绿,黄和蓝的成对拮抗效应; • 在听觉系统中,耳蜗神经纤维的侧抑制可以加强对音高的辨认。 • 在皮肤上,侧抑制有助于触点的定位。
人眼对对比度的适应 • 瞳孔:1.5~8mm,约25倍的调节能力; • 光亮的差别:暗室和阳光下的差别约100万倍。 • 调节的方法就是视网膜水平细胞的侧抑制作用。