李 翔，张 涛，张 哲，魏宏杨，钱育蓉

新疆大学 软件学院，乌鲁木齐 830002

Transformer[1]是一种基于自注意力机制的模型，不仅在建模全局上下文方面表现强大，而且在大规模预训练下对下游任务表现出卓越的可转移性。这种成功在机器翻译和自然语言处理（NLP）领域上得到了广泛的见证。2018年，Devlin等人[2]在Transformer的基础上提出了基于掩码机制双向编码结构的Bert模型，在多种语言任务上达到了先进水平。此外，包括Bert在内许多基于Transformer的语言模型，如GPTv1-3[3-5]、Ro-BERTa[6]、T5[7]等都展现出了强大的性能。

在计算机视觉任务中，由于CNN固有的归纳偏好[8]，如平移不变性、局部性等特性，一直占据着主导地位（CNN[9]、ResNet[10]等）。然而CNN有限的感受野使其难以捕获全局上下文信息。受Transformer模型在语言任务上成功的启发，最近多项研究将Transformer应用于计算机视觉任务中。Parmar等人[11]基于Transformer解码器的自回归序列生成或转化问题提出了Image Transformer模型用于图像生成任务。Carion等人[12]基于Transformer提出了DETR（一种端到端目标检测），其性能取得了与Faster-RCNN相当的水平。最近Dosovitskiy等人[13]提出的另一个视觉Transformer模型ViT，在结构完全采用Transformer的标准结构。ViT在多个图像识别基准任务上取得了最先进的水平。除了基本的图像分类之外，Transformer还被用于解决各种其他计算机视觉问题，包括目标检测[14-15]、语义分割[16]、图像处理和视频任务[17]等等。由于其卓越的性能，越来越多的研究人员提出了基于Transformer的模型来改进广泛的视觉任务。

目前，基于Transformer的视觉模型数量迅速增加，迫切需要对现有研究进行整体的概括。在本文中，重点对视觉Transformer的最新进展进行全面概述，并讨论进一步改进的潜在方向。……