神经网络

神经网络是由具有适应性的简单单元组成的广泛并行互连的网络,它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。
——Kohonen

基础知识

神经元模型

如下图,M-P神经元模型

  • 连接权重
  • 阈值
  • 激活函数

MP_model

学习过程

根据训练集来调整神经元之间的”连接权”以及每个功能神经元的阈值。

感知机与多层网络

感知机由两层神经元组成,输入层接收输入信号后传递给输出层,输出层是M-P神经元,可处理线性可分数据集

多层网络,在输入层与输出层增加隐含层(一个或多个),隐含层和输出层神经元都是拥有激活函数的功能神经元。

误差逆传播(BP)算法

迭代学习算法,基于梯度下降策略,以目标的负梯度方向对参数进行调整。

标准BP和累积BP
标准BP,每次更新只针对单个样例,参数更新频繁;
累积BP,读取整个数据集后才对参数进行一次更新。

缓解BP过拟合的策略

  • 早停,训练误差降低,验证误差升高,停止训练;
  • 正则化,增加描述网络复杂度项(连接权与阈值的平方和),交叉验证来估计。

全局最小和局部极小

参数寻优

跳出局部最小策略

  • 多组不同参数值初始化多个神经网路,训练,选择更接近全局最小的结果;
  • 模拟退火,每一步以一定概率接受比当前解更差的结果;
  • 随机梯度下降,计算梯度时加入随机因素。

常见的神经网路

RBF

  • 单隐层前馈神经网路
  • 径向基函数作为隐层神经元激活函数
  • 输出层对隐层神经元输出进行线性组合

ART

胜者通吃竞争型学习无监督学习增量学习

比较层(输入)、识别层(模式)、识别阈值、重置模块;

当识别阈值较高,学习更细;较低,产生粗略的模式类。

SOM

高维空间相似的样本点映射到网络输出层中的邻近神经元。
在聚类、高维数据可视化、图像分割中广泛应用。

级联相关网络

结构自适应网络
数据较少时易过拟合。

Elman网络

递归神经网络环型结构

Boltzmann机

完全图

RBM

受限Boltzmann机,二部图

深度学习

多隐层神经网络(通常有八九层隐层)
训练手段,有以下两种:

无监督逐层训练

预训练+微调

大量参数分组,对每组先找到局部较好设置,在基于局部较优结果联合起来进行全局寻优。

权共享

每一组神经元使用相同的连接权。

卷积神经网络CNN

参考文献

  1. 周志华,《机器学习》
分享