APP下载

基于自注意力和自编码器的少样本学习

2021-01-08柴星亮

关键词:特征方法

冀 中,柴星亮

(天津大学电气自动化与信息工程学院,天津 300072)

近年来,深度学习的发展推动了大量计算机视觉任务的突破[1].数据多、数据平衡、标注准确、模型大是深度学习的基本特征.虽然在ImageNet[2]这种大型数据集上机器的识别准确率已经超过人类,但收集并标注如此大规模的数据集成本极高[3-4].在某些应用场景下,例如用于药物研发的医学图像,人们甚至无法收集到如此多的样本图像[5].

与机器学习形成对比的是,人类可以从极少数的示例样本中学习到新概念,如儿童可以从书本上学习到某类新事物.赋予机器相似的能力,即从少数的示例样本中学习到新的概念,既是学术界的追求,也是工业界的目标.研究者将模型从少数样本中学习的能力称作少样本学习[6].

根据计算学习理论,机器学习旨在利用先验知识,提高某一度量指标在某一任务上的性能.准确地说,对于分类任务,机器学习旨在通过训练样本从模型的假设空间H 中筛选出某一适合训练集的假设H′,该假设能最小化训练集上的经验误差.但笔者更加关注的是模型的泛化能力,根据概率近似正确(probably approximately correct,PAC)学习理论[7],深度学习需要的样本复杂度是很高的,显然有限的样本无法满足这一条件.

一种可行的办法是借助易获取的大量样本排除假设空间中的不合理假设,缩小可行假设范围.基于度量学习的算法从原始假设空间H 中的初始化点出发,通过随机梯度下降等优化算法……

登录APP查看全文

猜你喜欢

特征方法
如何表达“特征”
不忠诚的四个特征
学习方法
用对方法才能瘦
四大方法 教你不再“坐以待病”!
赚钱方法
捕鱼
线性代数的应用特征