雷方元, 戴青云, 赵慧民, 蔡 君，魏文国

(广东技术师范学院电子与信息学院，广东 广州 510665)

移动视觉搜索中无线网络带宽技术研究进展*

雷方元, 戴青云, 赵慧民, 蔡 君，魏文国

(广东技术师范学院电子与信息学院，广东 广州 510665)

移动视觉搜索(MVS)是一种融合了移动计算、图像处理技术、无线通信技术的图像检索技术，旨在为移动用户提供基于移动互联网的图像搜索服务。无线网络带宽是影响MVS技术发展和应用的关键因素。文中分析了解决网络带宽的关键技术低比特率编码和网络传输技术，并对MPEG的视觉搜索紧凑型描述符进行了详细探讨。最后讨论了MVS领域中的无线带宽的研究方向与挑战。

移动视觉搜索；有限的无线传输带宽；低比特率编码；视觉搜索紧凑型描述符

随着移动智能终端的大量普及和宽带无线接入技术飞速发展，移动互联网应运而生并迅猛发展。截至2014年6月30日[1]，中国网民数量多达6.32亿，其中，手机网民数量为5.27亿，占网民总数的83.4%，这些用户中占90.1%使用移动终端来访问社交网站。据思科公司预测分析[2]，未来5年中，全球移动网络用户将增加10亿人，从2014年的43亿人增加到52亿人，移动设备将超过100亿部。移动互联网提供了最具个性化、全天候、全方位的服务；而智能移动终端也逐步代替PC机成为人们接入移动互联网的主要入口。

通过智能终端拍摄图片等生活影像记录，并通过微信、微博、Facebook等社交平台向他人分享逐步成为人们生活习惯的一部分。在2010年图像共享网站Flickr上的图像就突破了50亿张，并统计出过去3年Flickr每年以10亿的数量增长。Twitter上分享的图像数量在2011年增长了421%；到2009年4月，Facebook就已经存储了150亿张图像，截至2010年1月，其图像的数量就突破了250亿张。

基于移动互联环境下的图像检索技术(Mobile Image Retrieval或者Mobile Visual Search, MVS)，是随着移动互联网和移动智能终端(主要为手机、平板电脑等)普及而快速发展的图像检索技术，涉及到模式识别、人工智能、移动计算、语义计算、移动互联网等领域，是一种全新体验式的应用技术。MVS是指智能移动终端获取现实世界的图像，识别图像中的目标对象，并从本地数据库或者在线数据库中检索这些目标对象的相关信息及元数据。智能移动终端设备的摄像头是获取外界的图像入口，同时，智能移动终端还是用户信息处理的前端和用户体验界面。

本文系统讨论了MVS系统的无线网络带宽所带来的问题及其解决方法，并总结了面临的问题及其解决思路。

1 MVS系统面临无线网络带宽的挑战

典型的MVS系统在逻辑架构上可以分为服务器侧和智能移动终端侧两部分。在智能移动终端侧获取图像，并确定视觉信息查询对象和查询结果显示，在服务器侧实现图像特征描述符匹配；图像特征描述符提取可以在服务器侧上实现也可以在智能移动终端上实现，这两种实现方法的MVS系统架构分别如图1(a)和1(b)所示。

图1 MVS系统架构Fig 1 MVS system architecture

MVS系统是典型的资源受限型系统，主要体现在智能移动终端的有限的计算能力[3]、有限的存储能力、有限的电池续航能力、有限的显示能力以及无线网络的有限的无线网络带宽这五个方面。其中无线网络的有限带宽是最为关键的因素，它同时是决定MVS系统架构的关键因素之一。智能移动终端通过无线网络接入Internet网络中，有限的网络带宽限制了移动智能终端与服务器平台之间的信息交互。有限的网络带宽导致信息的延迟，这就降低了用户使用MVS系统的实时性体验感，特别是在智能移动终端需要与服务器大量交互数据的系统中。随着无线通信网络技术2G、3G和4G的发展，在一定程度上缓解了MVS系统无线网络带宽的压力。随着智能移动终端的摄像头的分辨率越来越高，拍摄高清新的图像质量，也增加了无线带宽的压力。

在无线环境中，无线网络传输是MVS的瓶颈[4-5]， MSV的查询响应的延迟依赖与网络带宽。在3G无线网络中传输一张典型的JPEG图片(30～40 kB)从智能手机终端到服务器将耗时8～10 s[6]。移动图像检索可以简化为移动智能终端获取图像，在服务器端基于语义空间进行图像的分类。移动智能终端发送的信息可以是图像原始数据，也可以是提取之后的特征，紧凑特征签名，或者缩略图等，这些信息在服务器端进行识别处理。由于移动智能终端和服务器之间的无线带宽的限制，数据传输要求最小化的目的是为了提高响应速度，这是移动视觉图像搜索中最为主要的挑战，这也是MVS系统中研究的热点问题。

由于MVS的无线网络带宽限制，使得无法简单地将CBIR基于PC机和服务器这种检索模式简单地复制到移动终端上并能够有效地使用起来。因此，许多研究者开展了大量针对有限的无线网络带宽限制的工作，主要集中在低比特率特征编码和图像特征的无线传输策略这两个方面。

2 MVS系统无线网络带宽关键技术

视觉对象的特征提取可以分为局部特征和全局特征提取两大类，基于局部特征提取的方法具有较强的鲁棒性、良好的区分性以及局部的几何不变性。基于全局的特征提取的优点是计算负责度低，但是对图像变换和遮挡的鲁棒性不高。因此，在目前的MVS系统中的特征表示主要是基于局部特征提取。

2.1 低比特率传输编码

设计低比特速率描述符的方法分为两类，一类是通过维数降维或者hash编码来直接压缩原始描述符[7]。许多研究者集中于如何将128维的SIFT描述符减少到较低维空间，如LSH(Locality Sensitive Hashing) SIFT, SSC(Similarity Sensitive Coding) SIFT和PCA(Principal Component Analysis) SIFT等[7-11]。但是，矢量量化和降维为基础的方案需要大型码本或者投影矩阵[12-13]，这对内存受限的智能移动终端不同适合。Perronnin等[8]提出的CFV( Compressed Fisher Vector)将每一维FV基于符号函数量化为单个比特，其性能在低比特时较LSH好。Chen等[14]提出的REVV(Residual Enhanced Visual Vector)算法中，采用LDA来降低VLAD的维数，然后符号二进制化来产生紧凑编码。另一类是基于压缩的思想来直接设计低比特描述符[8,12-15]，这些方案如SURF, GLOH和CHoG等[16-18]。采用低比特描述符是为了减少图像特征的比特率，同时节省传输带宽资源。

在BOW 框架上进行的各种压缩算法和编码算法目的是为了减少内存占用[19-22]，同时，减少网络传输带宽。Hartl等[23]提出将64个维的SURF描述符减少为32维的描述符，这种做法可以将视觉字典压缩一半，但随之而来的是检索精度的降低。一阶VLAD 和二阶的Fisher Vector可以在128单词的小型词袋上提高精度，同时降低了传输带宽的需求[24-25]。

Lan 等[26]关注于减少描述符的数量来解决延迟的问题，提出的WMDD(Weighted Matching of Dominant Descriptor,主要描述符加权匹配)方案集中于减少描述符的数量。Lin等提出了吸引子传播AP(Affinity Propagation)为基础的算法来确定主要的描述符[27]。其次，在特征的权重匹配时考虑采用不同的主要描述符。与CHoG相比较，WMDD能够减少40%的数据传输量，同时，检索的准确性平均提高5%。

Elhoseiny 等[28]对JPEG压缩后提取的描述符对检索准确率的研究表明，JPEG的压缩质量降低了70%时，对检索准确率有轻微的影响，但是这是提取的特征描述符所需的传输带宽仅为原始图像的30%。

文献[29]研究图像采用JPEG压缩为不同等级的质量时，在图像数据库VLBenchmarks上对60种不同的检测算子及其组合的图像检索性能表现[30]。结果表明Hessian-Affine检测子对JPEG的压缩编码具有最好的鲁棒性性能，也就是说采用Hessian-Affine可以传输低比特率的JPEG图片[31]。此外，对采用不同块滤波器的JPEG编码图像之后的不同检测算子-描述符的检索增益进行了比较。结果表明，MSER, MFD and WαSH检测子与其他任意描述符的组合在低比特率上表现较好，MROGH描述符与其他的检测算子的组合能够提高检索性能[32-39]。

Lin等[40]提出的速率自适应的紧凑Fisher编码RCFC(Rate-adaptive Compact Fisher Codes)产生一个可扩展比特速率的图像签名[41]。RCFC支持基于Hamming距离的描述符快速匹配，同时内存占用低。RCFC将固定长度的FV ( Fisher vector)压缩为变长度的二进制编码[20]。RCFC编码能够根据无线网络环境状况而采用不同编码速率进行传输。

2.1.1 SIFT编码 SIFT 是一种特性稳定的检测局部特征的算法，是许多局部特征检测算法的基础。该算法通过计算图像的特征点及其尺度性和方向性来得到特征点的描述符矢量；在图像进行相似性比较时，是计算通过计算图像描述符的相似性关系来获得图像特征点之间的。

SIFI算法的步骤如下：① 构建尺度空间：通过金字塔分解来构造高斯差分空间图像；② 检测DOG尺度空间极值点：采用LoG来近似DOG，从而降低计算复杂度问题。③ 消除冗余的特征点。采用泰勒展开找到了亚像素级的特征点、消除对比度低的特征点、消除边界上的特征点这三个方面措施来达到增强检测边缘点的稳定性、抗噪声能力。④ 给特征点赋值一个128维的方向参数。利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性。⑤ 关键点描述子的生成。通过以关键点为中心取8×8的窗口，坐标轴旋转为关键点的方向，以确保旋转不变性。旋转主方向、生成128维描述子和归一化处理。

2.1.2 MPEG CDVS编码 移动视觉搜索是智能移动终端最有前景的发展方向之一，MPEG组织于2011年7月开始提议制定移动视觉搜索的紧凑描述符CDVS(Compact Descriptors for Viusal Search)，并于2014年4月确定了CDVS的draft 版本。

CDVS是MPEG-7标准的第13部分，目标是实现高效和互操作的视觉搜索应用及图像视觉内容匹配的描述工具。可视化内容匹配包括视图中的对象、地标和印刷文件，同时在内容匹配时，对目标对象的部分遮挡、改变视点、摄像机参数以及照明条件的改变具有鲁棒性。

CDVS描述符处理流程如下图2所示[37]，其中计算不同尺度的压缩特征描述符长度是可选步骤，其余的图像预处理、兴趣点检测、局部特征选取、局部特征描述、局部特征聚类、局部特征压缩、局部特征位置压缩、局部特征编码等八个必须步骤。

步骤一为图像预处理。在图像预处理中，要求图像是255亮度等级的光栅图像。如果图像分辨率大于640像素，则通过空间重采样压缩到640像素，如果不大于640像素则不需要处理。

步骤二为兴趣点检测。兴趣点的检测采用ALP (A Low-degree Polynomial)检测算子。ALP采用多项式的均值来近似LoG的结果。兴趣点的检测流程如图3所示，主要的处理过程为先通过2维高斯核来构造4个尺度空间，并计算处理图像的各点在尺度空间的极大值。进一步将极大值点的坐标精细化到子像素级别；并将极大值点的坐标变换到转变后的图像的尺度上，也就是预处理后的图像尺度上；消除冗余的兴趣点；最后是为了保证后续的旋转不变形，每一个兴趣像素点在其半径为3.96×σ*(x,y)的图像块中采用梯度分布方向来确定兴趣点的主方向。兴趣点可以通过四个参数：位置坐标(x,y)、对应的尺度σ, 对应的方向θ来确定。

图2 CDVS编码流程图Fig.2 The coding flow chart of CDVS

图3 CDVS的兴趣点检测流程图Fig.3 The flow chart of interest point detect

步骤三为局部特征选择，也就是选择在步骤二中不同计算所得的不同尺度的中局部特征描述数量多的作为局部特征。

步骤四为局部特征的描述，在兴趣点(x,y)的基础上，将坐标方向旋转到兴趣点的主方向，将局部区域划分为4×4的空间细分小块，称为一个单元(cell)。对应的每一个单元确定一个8个方向柱的直方图梯度，称为单元直方图。局部描述符是基于单元直方图进行构造的，它维数为4×4×8=128。

步骤五为局部特征描述符聚类。对TopK个局部特征描述符进行聚类，从而形成一个全局的描述符。这里的K的取值与局部特征描述符的数量M多少有关系，如果局部描述符M不大于250，则K等于M；否则，K为250。128维局部描述符采用PCA降维为32维矢量。聚类得到的全局描述符包含512B、1 024B、2 048B、4 096B、8 192B和16 284B六种长度。

步骤六为局部特征描述符压缩。通过线性组合变换将全局描述符压缩为对应的20B、20B、40B、64B、80B和128B六种长度。

步骤七为局部特征位置压缩。在前面的步骤中未涉及局部特征的空间信息。在步骤一预处理之后的图像上，将图像按照3×3大小进行非重叠的划分为矩阵LB，在这个分块的基础上可以构成直方图地图HM(HistogramMap)二值矩阵，HM的维数和LB一样。矩阵HM的元素取值为0和1两种，如果在小块内有兴趣点，取值为1，否则为0。直方图计数矢量HC(HistogramCountVector)用于统计HM中非零值，统计过程采用回字形扫描。获取到HC和HM采用静态算术编码方式来编码。

步骤八为压缩的局部特征和相关位的编码顺序。对压缩的局部特征描述符编码是从直方图地图矩阵开始编码，按照自顶而下逐行扫描的方式进行编码。对HM的非空块进行编码，而在非空块中包含超过一个以上的描述符，则按照降序的方式进行编码。

步骤九为计算不同图像描述符的压缩局部描述符的数量。这一步骤是可选步骤。它主要用于给定一个指定的图像描述符的长度时，确定可在一个图像描述符被添加压缩局部特征描述符的数目。

2.2 传输策略

传输策略是研究图像或者图像特征在无线环境中传递的策略，传递的策略的好坏能够直接影响用户体验。

Zhang等等渐进传输策略是基于BoHB(BagofHashBits)和ITQ(IterativeQuantization)的特征提取的基础之上[35，42-44]。在移动终端查询图像采用一组hash比特表示，Hash比特的IDF权重被编码到移动客户端的稀疏矢量中，这就是传输hash比特的顺序。具有低IDF权重的Hash比特更有区分能力，它们在传输中具有较高的优先级。同样，在服务器端的所有图像按照其hash比特来被索引。在传输开始之后，当接收到前面几个Hash比特时就可以开始进行图像数据的查询，随着接收的数据越多查询的精确程度越好，这样就可以节省反馈响应时间。

Chandrasekhar等[36]的渐进传输策略是首先提取CHoG特征，然后采用Hessian响应来排序描述符。具有较高级Hessian响应的描述符具有较高的优先级，在传输时具有较高的优先级。在服务器一侧收到最初的几个描述符之后就可以开始特征匹配，但是这种方法丢失了图像中几何位置信息。

Xia等[45]提出的几何位置信息保留的渐进传输方式是一种能够有效减少延迟的方法，在传输时按照特征的重要性进行排序传输，越重要的描述符具有越高的优先级。首先在移动客户端将图像分为若干个固定大小的块，利用提取局部描述符如SURF和CHoG来提取每一个块的特征，并将每个块特征作为一个传输单元来进行信息传递。同时，这种方法存在的一个问题是有可能把一些相邻的相关区域划分到不同的图像块中。为了解决相关特征分散到不同图像块的问题，Du等[42]提出采用SIFT来检测图像显著特征模型(MVSS)的基础上，通过仅仅传输显著区域的SIFT描述符的策略来降低传输延迟。

研究表明，人和计算机可以识别非常小解析度中的图像[46]，这些图像的尺寸通常都远远小于原始图像的尺寸。Dai等[34]在IMShare系统中通过在无线网络中传递缩略图的形式来实现手机图片共享。移动智能终端拍摄照片形成缩略图，同时将提取到的图像局部特征传送到服务器，在服务器侧基于缩略图和传送过来的从缩略图提取的图像局部特征来重构图像。Su等[47]利用缩略图所携带的多种语义空间的融合特征，提出采用单个局部特征和缩略图的方式来进行传输。在对ImageNet的两个样本超过10 000幅图像，种类分别为19类和137类的子类对缩略图的有效性评估得出，平均的传输比特率下降95.4%，而检索的性能下降仅为10%。

Qi等[48]提出将BoW的矢量量化从服务器端迁移到智能移动终端，把大的单词分解为几个小的单词的方式可以满足在智能移动终端的存储要求。这样的话，不管使用何种描述符，从客户端仅仅传输BoW的ID到服务器，这样就可以是传输达到最小化。实验的结果表明可以减少95%的传输资源消耗。

3 新的研究方向与挑战

移动智能终端和移动互联网的崛起架起了移动信息搜索的桥梁，实现对在任何时间任何地方了解任何事情。移动视觉搜索提供便捷访问的方式将改变整个人们的知识组织。移动视觉搜索还处于研究的初期阶段，但已经显现出巨大的应用前景，同时移动视觉搜索还面临着挑战与机遇[49]。

3.1 低时延的MVS系统的构建

在MVS系统中，户的实时性体验是一个非常关键因素。MVS系统的时延包括移动智能终端硬件资源受限引起时延，无线传输时延以及算法复杂引起的时延。

随着以4G为代表的无线网络技术的发展，无线网络能够提供的带宽在逐渐的增加，影响MVS的无线网络带宽未来将逐渐不再成为影响MVS的核心因素，但目前任然是影响MVS发展及应用的关键因素。移动智能终端的发展移动智能终端的CPU处理能力增强(8核)和采用大内存为离线系统的提供了可能。因此，在未来的MVS系统实现的关键技术中需要考虑到影响硬件资源的因素。基于各种基础模型和云计算相结合的MVS架构将是发展的方向。

视觉对象的特征提取和特征表示是影响MVS实时性的非常重要的因素。传统的基于局部特征检测-特征描述-BoW-几何校验为主的算法过程，特别是几何校验的复杂性，影响了在移动智能终端上实现该功能。适合于移动智能终端的全局特征提取，可以避免在局部特征提取中的几何校正问题。在视觉对象提取中的低比特率的算法研究，特征降维、描述算子的压缩依然是一个研究热点。

3.2 移动视觉搜索行业应用研究

对图像的语义理解随视觉特征关注的重点不同表现出不同的形式，因此，开展基于MVS的应用研究将有力地推动MVS技术的发展。以MVS为基础的应用，即拍即搜的可视化电子商务模式将极大的改变现有的商业模式，同时也进一步能够提供产品预警功能。基于MVS的智能旅游辅助系统，如OCR相结合的文字识别与翻译系统可以用于对外文广告翻译、对交通标志的识别与提示、少数民族文字的识别与翻译等。基于MVS的手势识别系统将进一步解放双手，增强人机交流。

4 结 语

MVS正改变着人类的视觉信息搜索、利用与分享交换方式。MVS以用户为中心提供移动信息服务的同时，用户之间的社会关系可以来优化视觉信息交换、共享和转发，以提高系统的服务。此外，通过MVS技术，可以即拍即搜的方式将视觉信息快速通过移动互联网接入到云计算为代表的网络架构中，形成统一的整体，这也是MVS的最大优势。本文通过介绍MVS的基本概念、架构与应用，讨论MVS系统的架构、关键技术和未来研究方向，力图展示MVS的基本技术框架。相信通过对MVS技术的应用研究可促进MVS系统的性能优化，使人类的社会活动更加方便、快捷、高效。

[1] 中国互联网络信息中心. 2013-2014 年中国移动互联网调查研究报告[EB/OL]. (2014-08-08)[2015-04-08].http:∥www.cnnic.net.cn/hlwxzbg/hlwxzbg/201408/P02014082636626517897 6.pdf.

[2]INDEXCVN.GlobalMobileDataTrafficForecastUpdate2014-2019.Whitepaperc11-520862[EB/OL]. (2015-01-01)[2015-04-01].http:∥www.cisco.com/c/en/us/solutions/collateral/service-provider/visual-networking-indexvni/white_paper_c11-520862.html.

[3]CHEND,TSAIS,CHANDRASEKHARV,etal.Residualenhancedvisualvectorsforon-deviceimagematching[C]∥Signals,SystemsandComputers(ASILOMAR), 2011ConferenceRecordoftheFortyFifthAsilomarConference.IEEE, 2011: 850-854.

[4]TSAISS,CHEND,SINGHJP,etal.Rate-efficient,real-timeCDcoverrecognitiononacamera-phone[C]∥Proceedingsofthe16thACMInternationalConference.Multimedia,ACM, 2008: 1023-1024.

[5]TSAIS,CHEND,CHANDRASEKHARV,etal.Mobileproductrecognition[C]∥Proceedingsofthe18thACMInternationalConference.Multimedia(MM), 2010: 1587-1590.

[6]GIRODB,CHANDRASEKHARV,CHENDM,etal.Mobilevisualsearch[J].SignalProcessingMagazine,IEEE, 2011, 28(4): 61-76.

[7]KEY,SUKTHANKARR.PCA-SIFT:Amoredistinctiverepresentationforlocalimagedescriptors[C]∥ProcComputerVisionandPatternRecognition(CVPR), 2004: 506-513.

[8]PERRONNINF,LIUY,SNCHEZJ,etal.Large-scaleimageretrievalwithcompressedfishervectors[C]∥ComputerVisionandPatternRecognition(CVPR), 2010IEEEConference.IEEE, 2010: 3384-3391.

[9] 左军,周灵,孙亚民. 基于RBF神经网络PCA变换的识别技术[J]. 中山大学学报(自然科学版), 2014,53(6):135-139.

[10]DATARM,IMMORLICAN,INDYKP,etal.Locality-sensitivehashingschemebasedonp-stabledistributions[C]∥ProceedingsoftheTwentiethAnnualSymposium.ComputationalGeometry,ACM, 2004: 253-262.

[11]SHAKHNAROVICHG.Learningtask-specificsimilarity[D].MassachusettsInstituteofTechnology, 2005.

[12]JÉGOUH,DOUZEM,SCHMIDC,etal.Aggregatinglocaldescriptorsintoacompactimagerepresentation[C]∥ComputerVisionandPatternRecognition(CVPR), 2010IEEEConference.IEEE, 2010: 3304-3311.

[13]JÉGOUH,PERRONNINF,DOUZEM,etal.Aggregatinglocalimagedescriptorsintocompactcodes[J].PatternAnalysisandMachineIntelligence,IEEETransactions, 2012, 34(9): 1704-1716.

[14]CHEND,TSAIS,CHANDRASEKHARV,etal.Residualenhancedvisualvectorasacompactsignatureformobilevisualsearch[J].SignalProcessing, 2013, 93(8): 2316-2327.

[15]CHANDRASEKHARV,TAKACSG,CHENDM,etal.Compressedhistogramofgradients:Alow-bitratedescriptor[J].InternationalJournalofComputerVision, 2012, 96(3): 384-399.

[16]BAYH,TUYTELAARST,VANGOOLL.Surf:Speededuprobustfeatures[M].ComputerVision-ECCV2006,SpringerBerlinHeidelberg, 2006: 404-417.

[17]MIKOLAJCZYKK,SCHMIDC.Aperformanceevaluationoflocaldescriptors[J].PatternAnalysisandMachineIntelligence,IEEETransactions, 2005, 27(10): 1615-1630.

[18]CHANDRASEKHARV,TAKACSG,CHEND,etal.Chog:Compressedhistogramofgradientsalowbit-ratefeaturedescriptor[C]∥ComputerVisionandPatternRecognition, 2009.CVPR2009.IEEEConference,IEEE, 2009: 2504-2511.

[19]CHENDM,GIRODB.Memory-efficientimagedatabasesformobilevisualsearch[J].MultiMedia,IEEE, 2014, 21(1): 14-23.

[20]CHUMO,PHILBINJ,ZISSERMANA.Nearduplicatelmagedetection:min-Hashandtf-idfweighting[J].BMVC, 2008, 810: 812-815.

[21]SNCHEZJ,PERRONNINF.High-dimensionalsignaturecompressionforlarge-scaleimageclassification[C]∥ComputerVisionandPatternRecognition(CVPR), 2011IEEEConference.IEEE, 2011: 1665-1672.

[22]JÉGOUH,DOUZEM,SCHMIDC.Packingbag-of-features[C]∥ComputerVision, 2009IEEE12thInternationalConference.IEEE, 2009: 2357-2364.

[23]HARTLA,SCHMALSTIEGD,REITMAYRG.Client-sidemobilevisualsearch[C]∥VISAPP2014-Proceedingsofthe9thInternationalConference.ComputerVisionTheoryandApplications, 2014.

[24]ARANDJELOVICR,ZISSERMANA.AllaboutVLAD[C]∥ComputerVisionandPatternRecognition(CVPR), 2013IEEEConference.IEEE, 2013: 1578-1585.

[25]PERRONNINF,SNCHEZJ,MENSINKT.Improvingthefisherkernelforlarge-scaleimageclassification[M]∥ComputerVision-ECCV2010.Berlin,Heidelberg:Springer, 2010: 143-156.

[26]LANG,QIH,LIK,etal.Aframeworkofmobilevisualsearchbasedontheweightedmatchingofdominantdescriptor[C]∥ProceedingsoftheACMInternationalConference.Multimedia,ACM, 2014: 1181-1184.

[27]FREYBJ,DUECKD.Clusteringbypassingmessagesbetweendatapoints[J].Science, 2007, 315(5814): 972-976.

[28]ELHOSEINYM,SONGB,SUDOLJ,etal.Low-bitratebenefitsofJPEGcompressiononsiftrecognition[C]∥ImageProcessing(ICIP), 2013 20thIEEEInternationalConference.IEEE, 2013: 3657-3661.

[29 ]CHAOJ,AL-NUAIMIA,SCHROTHG,etal.Performancecomparisonofvariousfeaturedetector-descriptorcombinationsforcontent-basedimageretrievalwithJPEG-encodedqueryimages[C]∥MultimediaSignalProcessing(MMSP), 2013IEEE15thInternationalWorkshop.IEEE, 2013: 029-034.

[30]LENCK,GULSHANV,VEDALDIA.VLBenchmarks[Z].Available:http:∥www.vlfeat.org/benchmarks/2012.

[31]MIKOLAJCZYKK,SCHMIDC.Scale&affineinvariantinterestpointdetectors[J].InternationalJournalofComputerVision, 2004, 60(1): 63-86.

[32]MATASJ,CHUMO,URBANM,etal.Robustwide-baselinestereofrommaximallystableextremalregions[J].ImageandVisionComputing, 2004, 22(10): 761-767.

[33]AVRITHISY,RAPANTZIKOSK.Themedialfeaturedetector:Stableregionsfromimageboundaries[C]∥ComputerVision(ICCV), 2011IEEEInternationalConference.IEEE, 2011: 1724-1731.

[34]DAIL,YUEH,SUNX,etal.IMShare:Instantlysharingyourmobilelandmarkimagesbysearch-basedreconstruction[C]∥Proceedingsofthe20thACMInternationalConference.Multimedia,ACM, 2012: 579-588.

[35]GONGY,LAZEBNIKS.Iterativequantization:Aprocrusteanapproachtolearningbinarycodes[C]∥ComputerVisionandPatternRecognition(CVPR), 2011IEEEConference.IEEE, 2011: 817-824.

[36]CHANDRASEKHARVR,TSAISS,TAKACSG,etal.LowlatencyimageretrievalwithprogressivetransmissionofCHoGdescriptors[C]∥Proceedingsofthe2010ACMMultimediaWorkshoponMobileCloudMediaComputing.ACM, 2010: 41-46.

[37 ]ISO/IECDIS15938-13.Informationtechnology—Multimediacontentdescriptioninterface—Part13:Compactdescriptorsforvisualsearch[S].MPEG, 2014.

[38]VARYTIMIDISC,RAPANTZIKOSK,AVRITHISY.WαSH:weightedα-shapesforlocalfeaturedetection[M]∥ComputerVision-ECCV2012.Berlin，Heidelberg:Springer, 2012: 788-801.

[39]FANB,WUF,HUZ.Rotationallyinvariantdescriptorsusingintensityorderpooling[J].PatternAnalysisandMachineIntelligence,IEEETransactions, 2012, 34(10): 2031-2045.

[40]LINJ,DUANLY,HUANGY,etal.Rate-adaptivecompactfishercodesformobilevisualsearch[J].SignalProcessingLetters,IEEE, 2014, 21(2): 195-198.

[41]ISO/IECJTC1/SC29/WG11/M26726,PekingUnivResponsetocoreexperiments1:Ascalablelow-memoryglobaldescriptor[S]. 2012.

[42]DUY,LIZ,QUW,etal.Mvss:Mobilevisualsearchbasedonsaliency[C]∥HighPerformanceComputingandCommunications& 2013IEEEInternationalConferenceonEmbeddedandUbiquitousComputing(HPCC_EUC), 2013IEEE10thInternationalConference.IEEE, 2013: 922-928.

[43]HEJ,LINTH,FENGJ,etal.Mobileproductsearchwithbagofhashbits[C]∥Proceedingsofthe19thACMInternationalConference.Multimedia,ACM, 2011: 839-840.

[44]ZHANGQ,LIZ,DUY,etal.ANovelProgressiveTransmissioninMobileVisualSearch[C]∥Dependable,AutonomicandSecureComputing(DASC), 2014IEEE12thInternationalConference.IEEE, 2014: 259-264.

[45]XIAJ,GAOK,ZHANGD,etal.Geometriccontext-preservingprogressivetransmissioninmobilevisualsearch[C]∥Proceedingsofthe20thACMInternationalConference.Multimedia,ACM, 2012: 953-956.

[46]TORRALBAA,FERGUSR,WEISSY.Smallcodesandlargeimagedatabasesforrecognition[C]∥ComputerVisionandPatternRecognition, 2008.CVPR2008.IEEEConference.IEEE, 2008: 1-8.

[47]SUYC,CHIUTH,CHENYY,etal.Enablinglowbitratemobilevisualrecognition:aperformanceversusbandwidthevaluation[C]∥Proceedingsofthe21stACMInternationalConference.Multimedia,ACM, 2013: 73-82.

[48]QIH,STOJMENOVICM,LIK,etal.Alowtransmissionoverheadframeworkofmobilevisualsearchbasedonvocabularydecomposition[J].Multimedia,IEEETransactions. 2014, 16(7): 1963-1972.

[49]HEJ,FENGJ,LIUX,etal.Mobileproductsearchwithbagofhashbitsandboundaryreranking[C]∥ComputerVisionandPatternRecognition(CVPR), 2012: 3005-3012.

Limited bandwidth in wireless network of mobile visual search: a survey

LEIFangyuan，DAIQINGyun，ZHAOHuimin，CAIJun，WEIWenguo

(School of Electronic and Information Engineering, Guangdong Polytechnic Normal University,Guangzhou 510665, China)

Combining techniques of mobile computing, image retrieval, wireless communications and Internet, Mobile Visual Search (MVS) aims to provide a mobile image retrieval services for mobile terminal user. Limited bandwidth in wireless network is the key factor to affect the MVS technical development and application. The key technical of limited bandwidth in wireless network including low bit rate feature code and transmission strategy was analyzed, specially for the Compact Descriptor for Visual Search of MPEG-7. Moreover, future research direction and challenges of MVS are presented.

mobile visual search (MVS); limited bandwidth in wireless network; low bit rate code; compact descriptors for visual search (CDVS)

10.13471/j.cnki.acta.snus.2016.01.012

2015-06-11

国家自然科学基金资助项目(61272381); 广东省自然科学基金资助项目(2014A030310346, 2015A030313672); 广东省教育厅省级重大资助项目(2014KZDXM060); 广东省教育厅资助项目(GCZX-A1413)；广东省公益与能力建设专项资金资助项目(2014A010103032)

雷方元(1972年生)，男；研究方向：图像处理技术、移动图像检索;E-mail:leify@126.com

TP

A

0529-6579(2016)01-0068-08