卓 维，张 磊

(中山大学数学与计算科学学院，广州 510275)

0 前言

神经网络［1］是机器学习的重要分支，是智能计算的一个主流研究方向，长期受到众多科学家的关注和研究.它植根于很多学科，结合了数学、统计学、物理学、计算机科学和工程学.已经发现，它能够解决一些传统意义上很难解决的问题，也为一些问题的解决提供了全新的想法.

在传统的研究成果中，有很多表达数据的统计模型，但大都是比较简单或浅层的模型，在复杂数据的学习上通常不能获得好的学习效果.深度神经网络采用的则是一种深度、复杂的结构，具有更加强大的学习能力.目前深度神经网络已经在图像识别、语音识别等应用上取得了显著的成功.这使得这项技术受到了学术界和工业界的广泛重视，正在为机器学习领域带来一个全新的研究浪潮.

1 多层感知器的原理和相关研究

1.1 神经元

神经元［1］是受生物神经元启发而得到的计算模型.它接收到一些输入(类比于突触)，然后与对应的权值相乘(对应于信号的强度)并求和，然后由一个数学函数来决定神经元的输出状态.作为计算模型，它按表达式 t=f(∑wixi+b)产生输出，在式中，输入为xi到xn，对应权值分别为wi到wn，偏置值是 b，将这些值对应相乘后送入累加器(SUM)，累加器的输出会被送入一个传输函数(或称激活函数，f)，由f产生最终输出t.有三种常用的激活函数:阈值函数、线性函数和Sigmoid函数.本文中采用Sigmoid函数中的其中一种:logistic函数.具体表达式……