动态权重证据推理规则的CNN超参数质量评估
2021-05-10李红宇黄志鹏张广玲
小型微型计算机系统 2021年5期
李红宇,黄志鹏,张广玲,贺 维,2
1(哈尔滨师范大学 计算机科学与信息工程学院,哈尔滨 150025)
2(中国人民解放军火箭军工程大学,西安 710025)
1 引 言
卷积神经网络(Convolutional Neural Networks,CNN)在图像分类[1],目标检测[2],行为识别[3]等计算机视觉领域中具有广泛的应用.从成功识别手写数字的Lenet-5[4]到2012在ImageNet比赛中取得冠军的AlexNet[5],到2014年在ImageNet比赛中获得冠军的GoogLeNet[6],再到近年来表现出色的Densnet[7]等,CNN处理图像的能力越来越强大.然而,随着CNN结构复杂度不断提高,网络内部的参数量不断增长,导致模型的训练的时间也大幅提高,虽然计算机的信息处理能力越来越强大,但目前对于CNN来说还远远不够[8].在对CNN模型训练时,由于模型训练周期过长导致超参数调整需要花费大量的时间,超参数调整依赖于专业知识和长期经验的积累[9].因此,迫切需要一种可以提前评估超参数质量的方法,为模型训练节约参数调整时间.
参数评估是一直以来的研究热点.文献[10]提出一种基于out-of-bag样本估计的随机森林超参数估计方法,并通过实验证明选取的超参数能使随机森林算法的分类到达最优.文献[11]使用贝叶斯最大后验概率估计方法计算贝叶斯网络参数值,提高了贝叶斯网络的学习精度.文献[12]提出双重约束的贝叶斯网络参数估计方法,该方法对贝叶斯网络参数划分为两类,分别使用基于Beta分布拟合的贝叶斯估计方法和回归估计方法,最后实验证明了该方法对提高参数学习精度的有效性.针对模型响应不确定性的稳健……
登录APP查看全文
