融合自注意力和卷积的图像检索技术
2023-07-21曾凡锋
曾凡锋,王 祺
(1.北方工业大学,北京 100144;2.北方工业大学 信息学院,北京 100144)
0 引 言
最近,Transformer已成功用于许多自然语言处理(Natural Language Processing,NLP)任务,还用于图像分类的核心计算机视觉任务。自注意力模型是Transformer中的一个标准工具,能在长序列中学习丰富的关联特征层次,构成全局表示,但忽略了局部特征细节。尽管取得了显著的成功,卷积运算和自注意力仍然有其不足之处。为了解决卷积神经网络(Convolutional Neural Network,CNN)存在建立长距离依赖关系的问题,一种简单的方法是将CNN中最后一层卷积用自注意力层来取代,学习数据中关键信息,使得模型能够更加准确地判断。目前已经有一些基于注意力的图像检索和基于视觉Transformer的图像检索,该文是将Transformer中的自注意力模块融合到卷积神经网络,提高图像检索的精度。
该文提出一种卷积与自注意力相融合的网络结构,将基于CNN的局部特征与自注意力相融合,提取图像特征,以增强图像检索效果。考虑到CNN和自注意力之间的特征错位,将利用1×1卷积对齐通道尺寸,利用向下、向上采样策略对齐特征分辨率,利用Layer Norm和Batch Norm模块对特征进行正则化,这种融合过程可以极大增强局部特征的全局能力和全局表示的局部细节,以提高检索精度。
综上所述,该文的贡献主要有以下两点:
(1)将自注意力模块与卷积模块相融合应用于图像检索任务中,使各个特征与相邻的局部特征进行交互,以改善基于CNN的图像检索方法中存在的问题。
(2)在自注意力与卷积连接处,设置一个单元消除它们之间失调的问题,更好地将局部特征与全局表示进行耦合。……
