APP下载

基于神经元转换方法的混合卷积脉冲神经网络

2021-06-23李凌开孔万增

关键词:方法模型

李凌开,孔万增,2

(1.杭州电子科技大学计算机学院,浙江 杭州 310018;2.浙江省脑机协同智能重点实验室,浙江 杭州 310018)

0 引 言

传统人工神经网络(Artificial Neural Network,ANN)中,神经元的运算以及神经元与神经元之间的信息传递均以实数的形式进行,而生物体神经元的运算通过脉冲形式的电信号进行,这可能是目前ANN在某些视觉任务上表现不如人类的原因之一。此外,ANN的计算耗能较大,而生物大脑在执行类似任务时消耗的生物能较少。这些差异启发研究者们提出更具生物可解释性的脉冲神经网络(Spiking Neural Network,SNN)。SNN使用脉冲序列进行信息表示,其神经元通过事件驱动的方式来处理信息,以较低的能耗在神经形态芯片上运行,被称为第三代人工神经网络[1]。但是,SNN难以使用传统方法进行训练,网络模型无法加深,限制了SNN的特征提取能力,如Mt-spike[2],BP-STDP[3]等。近年来,卷积神经网络(Convolution Neural Network,CNN)在视觉任务上表现得越来越出色,主要得益于其网络结构越来越深以及网络参数量越来越大,从而能够从图像中提取出更高层次的语义特征,如DenseNet[4],EfficientNet[5],Res2Net[6]等。研究表明,CNN的卷积层和最大池化层与生物视觉系统提取图像特征的工作机制较为相似[7],但其全连接层神经元在计算方式上和生物神经元相差较大。Xu等先后提出了CSNN[8]和Deep CovDenseSNN[9],把ANN和典型SNN相结合。CSNN使用Tempotron方法训练模型的SNN部分,Deep CovDenseSNN结合了CNN和文献[10]提出的SNN模型,使用基于脉冲时间依赖可塑性(Spike Timing-Dependent Plasticity,STDP)的无监督训练方法,在MNIST数据集上取得了较好的结果,但模型受限于典型SNN的表达能力,数据噪声较大时的识别准确率有所下降。……

登录APP查看全文

猜你喜欢

方法模型
一半模型
重尾非线性自回归模型自加权M-估计的渐近分布
学习方法
3D打印中的模型分割与打包
用对方法才能瘦
FLUKA几何模型到CAD几何模型转换方法初步研究
四大方法 教你不再“坐以待病”!
赚钱方法
捕鱼
一个相似模型的应用