边后琴，张皓霖，黄福珍

局部二值描述子的研究进展综述

边后琴1，张皓霖1，黄福珍2

(1. 上海电力大学电子与信息工程学院，上海 200090；2. 上海电力大学自动化工程学院，上海 200090)

局部二值描述子是局部不变特征中的重要研究对象，广泛应用于计算机视觉与模式识别中。近年来，以BRIEF描述子为代表的局部二值描述子相继出现，对十年来局部二值描述子的研究成果与发展方向进行综述，旨在为初步研究者与工程应用人员提供参考。首先，对典型的现代局部二值描述子进行概述；其次，对优化局部二值描述子方法进行分析；最后，对相关实验评估准则进行讨论，通过总结现阶段存在的问题，给出未来研究的展望。从整体来看，近年来局部二值描述子经历了显著的发展与进步，许多对于局部二值描述子的研究均在普适性、鲁棒性和高效性上取得了成果。针对应用场景的不同，部分优化后的描述子也具备了应对实际问题的能力。这些研究进展为局部二值描述子向高层次发展、多领域拓宽打下了坚实的基础并提供了更多的思路。局部二值描述子的成功发展标志着计算机视觉技术的进步，但其发展过程中依然存在一些共性问题与矛盾，有待进一步的深入研究与解决。

局部二值描述子；局部不变特征；局部二值描述子的优化；局部二值描述子的评估；特征匹配；目标识别

计算机视觉中一项较为重要的任务是在不同的观察场景下不变地反映图像的信息，其在图像匹配[1]、图像配准与拼接[2]、目标识别[3]、SLAM[4]等视觉技术中是关键步骤。为了实现该任务，并以类似人眼对于图像直观地观察以确定图像特征信息的一致性，特征匹配成为了研究热点。

图像特征分为全局特征和局部特征，基于全局特征很难保持特征信息的不变性(如当目标图像发生形变和遮挡等情形时)。相较之下，局部特征在识别匹配中具有应对各种变换更好的不变性。局部特征描述子一般分为局部向量描述子与局部二值描述子。局部向量描述子[5-9]具有鲁棒性强和识别率高的特点，在视觉任务中广受欢迎。而随着嵌入式设备、智能移动设备的兴起，针对低存储、高效率的描述子设计成为当务之急，局部二值描述子的出现反映了该需求，其较局部向量描述子不仅保持了可以匹敌的精度，同时，使用二值(0或1)来构建描述字符串降低了特征维度，高效简明的算法提高了计算速度，依托汉明距离度量能够达到实时的特征匹配效率。

近年来，在主流的国际会议与权威期刊上，主要的局部二值描述子有：基于点对强度差的局部二值描述子[10-14]，基于补丁块强度差的局部二值描述子[15-17]，基于梯度信息的局部二值描述子[18-20]和基于其他信息的局部二值描述子[21-25]等。各种局部二值描述子设计方法不同、适用场景各异。同时，优化局部二值描述子性能的技术也在不断发展，虽然该类研究充满着机遇与前景，但现阶段也存在着很多的矛盾与挑战，本文就近年来局部二值描述子的最新的优化方式进行综述，提出存在的问题，给予分析与展望，以供相关研究者或工程人员参考。

1 优化局部二值描述子的方式

1.1 提高算法效率

优化局部二值描述子，在考虑实时应用时，算法效率尤为重要。为此，很多研究者针对各类局部二值描述子算法的计算复杂度展开了优化。早在向量描述子的优化中，文献[26]就在SURF (speeded up robust features)中引入积分图像算法来简化构建描述子的计算复杂度；在局部二值描述子的设计中，同样的方法也被应用到ALOHA (aggregated local haar)描述子中，值得一提的是，在ALOHA中还使用了盒装滤波代替了高斯滤波简化了预滤波的运算，并且没有带来很大的精度丢失。随着更多对于数学应用与计算机语言算法的研究，高效的算法也将在简化局部二值描述子的计算复杂度中发挥重要作用，从优化算法效率层面上提高局部二值描述子实时性功效也是具有意义的研究方向。

1.2 补充特征信息

优化局部二值描述子，尤其是提高描述子的识别精度，最为直接的方式是为描述子增添更多的特征信息，除了常见的强度信息、梯度信息、图像矩等信息，最新趋势为局部二值描述子引入颜色信息。如ZHU等[27]将RGB (red green blue) (三通道色彩空间)、NRGB (标化R，G通道Normalized)、对立色彩空间等各类色彩空间信息分别结合在OC-LBP (opposite color local binary patterns)局部二值模式中产生二值描述子，取得了光照鲁棒更强的效果。同样的思路被JAMSHID等[28]应用在FREAK (fast retina keypoint)描述子上，通过将点对分别在RGB三通道下的强度差二值化，取得了匹配精度上的提升，并且缩小了描述子的存储需求，优势体现在具有光照变化的场景中。虽然为特征描述增添信息可以提高描述子的性能，但是如何高效地描述新信息依然有待发展，以颜色信息与几何信息为例，目前对2种信息的联合描述还停留在较低层次[29]，如何对局部区域的颜色信息和空间信息进行高效描述还需要进行研究。

1.3 改良采样模板

为了提高局部特征描述子的普适性，设计或改良局部特征信息的采样模板也是一个优化局部二值描述子的方向，如XU等[30]提出了OSRI (ordinal and spatial information of regional invariants)描述子，与传统的规则模板不同，其采样基于一种通过区域分割的不规则的模板并以此提取不同区域的图像矩、空间分布和几何质心等信息。刘红敏等[31]通过降低FREAK采样模型中的采样点密度和采样区域的重叠度，较FREAK只使用了4层同心圆模板并且在每个同心圆的边缘选取4个点作为辅助点。张欠欠等[32]将特征圆形邻域划分为多个环域，比较对应环域的灰度均值获得二值位。袁庆升等[33]提出了RBS描述子，构建了更符合视网膜细胞“低-高-低”的密度分布的采样模板。李莹莹[34]总结了构建二值描述子采样模板的一些现状与方法，本文在其基础上进一步总结了较为典型的局部二值描述子的采样模板，见表1。近年来的采样模板设计偏向于参考人类视网膜的结构或生物学机理，而设计高效且合适的采样模板依然对研究者的专业知识和素养提出了很高的要求。

1.4 适应应用场景

除了在局部二值描述子普适性方面的优化，部分研究者也对于实际应用场景所遇到的问题有针对性对其进行改进或设计。

一个典型的研究问题是针对弱纹理目标的描述，TOMBARI等[35]提出的BOLD (bunch of lines descriptor)描述子是一个经典的案例，BOLD首先检测边缘特征，再用类似SIFT的方式对分割线进行描述。而CHAN等[36]提出的BORDER (bounding oriented-rectangle descriptors for enclosed regions)描述子同样通过线分割检测边缘特征，采用一个旋转的方形模板对特征区域进行描述。但上述描述子均不是二值描述子，因此在存储和效率上均不适用，因此，在BORDER描述子的基础上，CHAN等[37]提出了针对弱纹理目标的局部二值描述子BIND (binary integrated net descriptor)，首先使用BORDER类似的方法检测边缘，并以边缘中点定义为特征点，将特征区域的内部同质信息和边缘信息作为描述对象，采用3层×网去编码每个网格，每个特征形成网状的二值描述，通过相关逻辑运算来度量描述子之间的距离完成效果不错的目标检测或特征匹配，

另一个典型的研究问题是针对鱼眼相机所拍摄的球体图像的特征描述与匹配。针对球体图像，像素点并不是如平面图像均匀分布而且像素邻域的结构也并不规则，所以，球体图像特征点间的距离取决于测地线距离而不是欧氏距离，并且，将球体表明分割成可以高效索引的分离像素也并不容易。由于这些难点，面向平面图像的局部二值描述子在球体图像的表现并不好，虽然基于局部投影球状邻域能将采样点投影到间接的平面上，但是在处理上却极为费时。为此，QIANG等[38]借鉴了测地线网格的方式设计了采用六角球形网模板的球体ORB描述子——SPHORB(a fast and robust binary feature on the sphere)描述子。采用六角球形网模板的优点在于每个网格具有相同的分割与角度，其次，相邻网格的中心具有相似的几何距离，因此，可以将每个立体邻域之间看做平面邻域来进行角点特征检测与二值描述。虽然SPHORB在球体图像的特征提取与描述上取得了不错的进展，但是URBAN等[39]指出SPHORB的特征提取速度依然不适于实时应用，因此提出的MDBRIEF (mBRIEF (BOLD) and rBRIEF (ORB (oriented FAST and rotated BRIEF)))描述子依然采用高效的FAST算法来提取角点特征，在描述阶段，为了保证描述子的鲁棒性，对BRIEF (binary robust independent elementary features)取了离线结合在线训练的方式，针对鱼眼相机拍摄的球体图像进行训练学习以提取类类区分度高、类间相似度高的采样点对与反应局部特征稳健程度的描述子，这也表明有针对性的机器学习训练是一种解决实际应用中所遇问题的有效方法，但GUAN和SMITH[40]指出SPHORB将球形网展开成平面网带来了图像形变并且依赖于附加的图像处理，所提出的BRISKS (binary robust invariant scalable keypoints on the sphere)描述子有效地避免了这一问题，因为该方法基于球体固有的测地线距离与微分几何概念来建立特征点的邻域模板。除了在特征检测与图像处理上进行改进使BRISKS较SPHORB具有特征的尺度不变性，最重要的是在特征描述阶段，BRISKS在正切空间的BRISK标准模板上重采样局部特征邻域，而不是像SPHORB直接在平面网上进行采样，因此BRISKS可以更好地针对各种像素结构和亚像素化的特征位置。

表1 典型的局部二值描述子的采样模板

1.5 进行训练学习

随着机器学习在计算机视觉的应用越发广泛，通过训练学习的方式提高局部二值描述子的性能也成为了一些研究者的尝试方向，典型的案例就是ORB (rBRIEF)描述子中引入了贪婪搜索选取最优二值位的离线训练方式，FREAK同样延续着ORB的思路，但筛选点对的方法过于依赖训练数据，在普适性上也表现的不够出色，为此TRZCINSKI等[41]提出了BinBoost描述子，在向量描述子的每一维运用AdaBoost强分类器学习一个哈希函数并以此提出了一种基于梯度的训练学习算法来产生二值位，虽然BinBoost在视角与光照变化上具有很高的普适性与鲁棒性，但是描述方式必须基于特征区域的梯度向量信息，且需要大量的训练数据，因此与直接进行二值测试的描述子相比，效率极低，类似的方法还有BAROFFIO等[42]提出的BAMBOO (binary descriptor based on AsymMetric pairwise BOOsting)描述子。为了简化BinBoost的训练方式，FAN等[43]提出了RFD (receptive fields selection)描述子，其优势在于只需要使用boosting训练算法中所用数据集的1%就可以产生很高的精度，与上述寻找区分度高的维数的思路不同，其旨在寻找区分度高的感受域，感受域的选择基于一种阈值反馈训练，分别采用方形汇集区与高斯汇集区构建2种描述子RFD描述字，且通过训练将区分度得分值低的二值位剔除以达到紧凑性的描述子。

上述训练方式要么在实时性上表现不够出色，要么不具有场景普适性，为此，BALNTAS等[44-45]提出并完善了BOLD描述子，其是一种基于在线学习的描述子，与以往依赖数据集的训练学习方式不同，BOLD的训练方式依赖于样本本身，首先通过全局离线训练的模式选择最优的256位BRIEF描述子，然后将原特征区域旋转20°得到新的描述子，与原描述子结合获得反映局部特征稳健程度的MASK掩码。在特征匹配环节，BOLD没有采用简单的汉明距离度量，而是采用了含有局部特征稳健程度表达(MASK掩码)的距离度量方式以更好的保证局部特征的不变性。在线的学习训练方式为描述子的设计与优化提供了一种新的思路，同时也印证了人类视觉由粗到细的观察方式。

随着深度学习相关理论的发展，部分研究者将描述子的构建逐渐推向了深度学习的领域，如LIN等[46-47]提出的基于无监督深度学习的DeepBit描述子，该方法采用经典的16层VGGNet网络对紧凑的二值描述子通过训练完成最小量化损失、平均编码分布的生成目标(图1)，通过输入旋转的局部特征来强化高鲁棒性的特征表达，最终获得学习的参数组合二值化的表达。为了优化DeepBit在量化损失方面依然存在的缺陷，DUAN等[48-49]提出了DBD-MQ描述子，该方法在深度学习框架下应用K-AutoEncoders (KAEs)网络来联合学习参数和二值化函数。在深度学习网络架构上，该方法与DeepBit不同，其首先采用一个预先通过向量描述子训练好的CNN (convolution neural network)网络来完成特征描述任务，再通过细粒度多量化来获得更具区分性的二值描述子，架构如图2所示。

图1 DeepBit架构

图2 DBD-MQ架构

2 局部二值描述子的对比

针对不同阶段局部二值描述子的相关研究，有研究人员对常用的典型局部二值描述子进行了综合评估与性能对比。MIKOLAJCZYK和SCHMID[50]对局部向量描述子展开了性能评估并提出了较为经典的依托召回率(recall)与精确率(precision)的评估准则，通过绘制“Recall/1-Precision”曲线便可以在同指标下对不同描述子的识别或匹配效果进行对比。另外，经实验及绘制ROC (receiver operating characteristic curve)曲线也是一种综合对比不同描述子性能的方法，对特征匹配而言，需要根据实验结果计算TP (true positive)、FN (false negative)、FP (flase positive)与TN (true negative)指标，进而得到TPR (ture positive rate)与FPR (flase positive rate)的结果并绘制TPR/FPR曲线(即ROC曲线)，该评估方法存在的问题是当样本数据不统一时，其对比将缺乏一定的代表性。HEINLY等[51]将局部二值描述子BRIEF，ORB和BRISK应用于在图像匹配并展开了综合评估，其在文献[50]的基础上提出了新的依托假定匹配率(putative match ratio)的评估准则，在结合特征检测-特征描述进行组合评测时，运用熵的相关理论来计算特征点在空间分布的随机性，实验证明了特征检测会对描述产生一定的影响，比如，提取太过聚集分布的特征点会导致描述子的区分度下降，且识别混乱。因为现有的实验图像集和评估准则并不能全面的反应描述子的综合性能，BALNTAS等[52]提出了更严格的衡量局部描述子优劣的评估准则——平均精度(mAP-mean average precision)，同时扩充了更大的实验图像集，为局部描述子的评估提供了更多的选择和方向。

针对局部描述子的评估方式还有很多，但是上述提到的评估准则在实验中应用最广且较为主流，具有一定权威性和认可度，同时，局部二值描述子的优劣从根本上讲是依赖于该描述子不变性、低维性与实时性，相关研究者也需要根据实际情况对相关局部二值描述子进行有针对性地调研。本文对主流局部二值描述子进行了定性分类与对比(表2)，仅供相关研究或工程应用参考。

表2 主流局部二值描述子的对比 局部二值描述子设计思路不变性光照不变性旋转不变性尺度不变性模糊不变性视角描述子维数(bit)实时性 BRIEF[10]手工设计较好较差较差一般较差128，256，512高 ORB[11]手工设计一般一般一般一般较差256高 BRISK[13]手工设计一般一般较好较好一般512高 FREAK[14]手工设计一般一般较好较好一般512高 LATCH[17]手工设计较好一般较好较好较好256低 BinBoost[17]监督学习较好较好较好较好较好64低 BOLD[44-45]监督学习较好较好较好较好较好512，1 024中 DeepBit[46-47]深度学习较好较好较好较好较好任意中 DBD-MQ[48-49]深度学习较好较好较好较好较好任意中

3 总结与展望

本文从局部二值描述子的应用前景和研究意义出发，对近年来优化局部二值描述子性能的方向进行归纳，同时介绍了常见的局部二值描述子的实验评估准则与特性对比。虽然对于局部二值描述子的研究在近年来发展迅速并走向成熟，同时其应用场景随着研究深入也逐渐拓宽，但是，在快速发展的进程中依然存在了一些共性的问题与亟待解决的矛盾，本文将作以下总结并提出研究展望与解决方向。

(1) 部分局部二值描述子的设计简化计算而忽略精度，由于设计追求精度而引入过多信息。因此，如何在保留精度的同时保持实时速度依然是研究或应用局部二值描述子的矛盾和难点。针对这些问题，相关研究者可以在研究设计中考虑更多的细节，选择更贴近人类视觉并高效的信息采样模板、引入区分度更高但操作简易的特征信息、采取简化但不丢失精度的数学方法等均为研究的方向。

(2) 图像灰度化、图像滤波等在局部二值描述子构建中的预处理操作时，特征信息也发生了不同程度的丢失，是严重影响描述子精度的一大问题。为此，研究者需关注图像处理相关技术的发展，采用更为成熟的图像处理技术将在未来局部二值描述子的构建中发挥一定的作用。

(3) 在局部二值描述子的设计过程中，人们往往只考虑局部二值描述子本身的特性，忽略了计算机视觉任务的整体性，例如，如何使局部二值描述子更好地结合相关特征检测或特征匹配方法，如何减少特征描述在实际应用中不受其他相关视觉技术或步骤等因素的影响。针对此类问题，应注重实际应用中算法的连贯性与整体性，充分考虑局部二值描述算法与其他算法的相互关联。

(4) 在优化局部二值描述子的过程中，离线训练已被广泛接受，使得设计出的局部二值描述子非常依赖于训练数据集，不具有普适性，如何构建更具有普适性的训练数据集或设计更具有普适性的训练方法依然有待研究。在线训练方法虽然适应场景宽泛，但可能带来在线计算与存储的更大压力。近年来的深度学习算法极大地提升了描述子的鲁棒性与不变性，但是其对高性能硬件的要求阻碍了其实际应用的范围。因此，设计更为高效的局部二值描述子训练优化方式也十分必要。针对此类问题，相关研究者可以参考机器学习乃至深度学习的相关技术方法并结合理论研究与算法优化进行综合考量将可能获得更多思路与方向。

(5) 针对局部二值描述子的实验评估准则各不相同，如何更为客观地评估局部二值描述子的性能且更为综合地反映局部二值描述子的特性依然有待考虑。针对该问题，可以通过研究相关衡量指标背后的数学原理或针对不同评估准则对局部二值描述子进行大量仿真实验，并结合局部二值描述子在应用中的实际效果进行横向对比，可更清晰地寻找各类评估准则的缺陷并尝试引入其他衡量指标以提高评估的客观性与综合性。

1.4 统计学方法 采用SPSS 19.0统计学软件对数据进行处理。计量资料以均数±标准差表示，组间比较采用t检验；计数资料以例(百分率)表示，组间比较采用χ2检验。以P<0.05为差异有统计学意义。

(6) 如何扩展局部二值描述子的应用领域也值得关注，随着移动智能设备的发展，局部二值描述子将拥有更广阔的应用前景。虽然目前针对弱纹理、球体图像等困难场景的研究已取得一定进展，但在实际应用过程中遇到的问题越来越多，图像大畸变、大遮挡或目标快速移动等困难场景也将为局部二值描述子的发展带来机遇与挑战。针对此类问题，可以从实际应用出发，有针对性地展开研究工作，寻找解决途径。

参考文献

[1] 高永强, 乔宇, 黄韡林. 局部二值描述子在图像匹配中的应用[J]. 网络新媒体技术, 2014, 3(2): 38-46.

[2] 姜鹏飞. 基于ORB特征的视频图像拼接技术研究[D]. 成都: 电子科技大学, 2016.

[3] 尚俊. 图像二进制描述子及其目标识别算法研究[D]. 武汉: 华中科技大学, 2016.

[4] MUR-ARTAL R, MONTIEL J M M, TARDOS J D. ORB-SLAM: a versatile and accurate monocular SLAM system[J]. IEEE Transactions on Robotics, 2015, 31(5): 1147-1163.

[5] LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[6] BAY H, ESS A, TUYTELAARS T, et al. Speeded-Up robust features (SURF)[J]. Computer Vision and Image Understanding, 2008, 110(3): 346-359.

[7] YAN K, SUKTHANKAR R. PCA-SIFT: a more distinctive representation for local image descriptors[C]//Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2004: 506-513.

[8] JALILVAND A, BOROUJENI H S, CHARKARI N M. CH-SIFT: a local kernel color histogram SIFT based descriptor[C]//2011 International Conference on Multimedia Technology. New York: IEEE Press, 2011: 6269-6272.

[9] SUN Y, ZHAO L, HUANG S, et al. L2-SIFT: SIFT feature extraction and matching for large images in large-scale aerial photogrammetry[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2014, 91: 1-16.

[10] CALONDER, M, LEPETIT V, STRECHA C, et al. BRIEF: binary robust independent elementary features[C]//European Conference on Computer Vision (ECCV). Heidelberg: Springer. 2010: 778-792.

[11] RUBLEE E, RABAUD V, KONOLIGE K, et al. ORB: an efficient alternative to SIFT or SURF[C]//IEEE International Conference on Computer Vision, ICCV 2011. New York: IEEE Press, 2011: 6-13.

[12] TRZCINSKI T, CHRISTOUDIAS M, FUA P, et al. Boosting binary keypoint descriptors[C]//2013 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2013: 2874-2881.

[13] LEUTENEGGER S, CHLI M, SIEGWART R Y. BRISK: binary robust invariant scalable keypoints[C]// 2011 International Conference on Computer Vision. New York: IEEE Press, 2011: 2548-2555.

[14] ALAHI A, ORTIZ R, VANDERGHEYNST P. FREAK: fast retina keypoints[C]//2012 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2012: 510-517.

[15] SAHA S, DEMOULIN V. ALOHA: an efficient binary descriptor based on haar features[C]//2012 19th IEEE International Conference on Image Processing. New York: IEEE Press, 2012: 2345-2348.

[16] ZHANG S, TIAN Q, HUANG Q, et al. USB: ultrashort binary descriptor for fast visual matching and retrieval[J]. IEEE Transactions on Image Processing, 2014, 23(8): 3671-3683.

[17] LEVI G, HASSNER T. LATCH: learned arrangements of three patch codes[C]//2016 IEEE Winter Conference on Applications of Computer Vision (WACV). New York: IEEE Press, 2016: 1-9.

[18] IWAMOTO K, MASE R, NOMURA T. BRIGHT: a scalable and compact binary descriptor for low-latency and high accuracy object identification[C]//2013 IEEE International Conference on Image Processing. New York: IEEE Press, 2013: 2915-2919.

[19] YANG X, WANG X, CHENG K T T. OGB: a distinctive and efficient feature for mobile augmented reality[C]//International Conference on Multimedia Modeling. Heidelberg: Springer, 2016: 478-492.

[21] YANG X, CHENG K T. LDB: an ultra-fast feature for scalable augmented reality on mobile devices[C]// Proceedings of the 2012 IEEE International Symposium on Mixed and Augmented Reality (ISMAR). New York: IEEE Press, 2012: 49-57.

[22] WANG Z H, FAN B, WU F C. FRIF: fast robust invariant feature[EB/OL]. [2019-05-10]. https://www. researchgate.net/publication/269250430_FRIF_Fast_Robust_Invariant_Feature.

[23] BELLARBI A, OTMANE S, ZENATI N, et al. MOBIL: a moments based local binary descriptor[C]//2014 IEEE International Symposium on Mixed and Augmented Reality (ISMAR). New York: IEEE Press, 2014: 251-252.

[24] CHOI Y, PARK C, LEE J, et al. Robust binary feature using the intensity order[C]//Asian Conference on Computer Vision (ACCV). Heidelberg: Springer, 2014: 569-584.

[25] PARK C, KIM J, KWEON I S. Fast and robust binary descriptor using intensity rank binning[J]. Electronics Letters, 2017, 53(2): 79-81.

[26] VIOLA P, JONES M. Rapid object detection using a boosted cascade of simple features[C]//Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2001: 511-518.

[27] ZHU C, BICHOT C E, CHEN L. Image region description using orthogonal combination of local binary patterns enhanced with color information[J]. Pattern Recognition, 2013, 46(7): 1949-1963.

[28] JAMSHID K, ANEES V M, KUMAR G S. Enhanced fast retina keypoint descriptor[C]//TENCON 2017 IEEE Region 10 Conference. New York: IEEE Press, 2017: 1493-1498.

[29] 许允喜, 陈方. 局部图像描述符最新研究进展[J]. 中国图象图形学报, 2015, 20(9): 1133-1150.

[30] XU X, TIAN L, FENG J, et al. OSRI: a rotationally invariant binary descriptor[J]. IEEE Transactions on Image Processing, 2014, 23(7): 2983-2995.

[31] 刘红敏, 李璐, 王志衡. 基于采样点组二值化策略的鲁棒二值描述子研究[J]. 计算机科学, 2017(12): 298-303, 315.

[32] 张欠欠, 王静, 刘红敏. 基于环采样的特征组合二值描述子研究[EB/OL]. [2019-04-17]. https://doi.org/10.19678/j.issn.1000-3428.0053030.

[33] 袁庆升, 靳国庆, 张冬明, 等. 仿视网膜采样的二进制描述子[J]. 通信学报, 2019, 40(1): 15-23.

[34] 李莹莹. 图像局部特征描述子的构建研究[D]. 合肥: 合肥工业大学, 2015.

[35] TOMBARI F, FRANCHI A, DI L. BOLD features to detect texture-less objects[C]//2013 IEEE International Conference on Computer Vision. New York: IEEE Press, 2013: 1265-1272.

[36] CHAN J, LEE A, KEMAO Q. BORDER: an oriented rectangles approach to texture-less object recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2016: 2855-2863.

[37] CHAN J, LEE J A, KEMAO Q. BIND: binary integrated net descriptors for texture-less object recognition[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2017: 322.

[38] QIANG Z, WEI F, LIANG W, et al. SPHORB: a fast and robust binary feature on the sphere[J]. International Journal of Computer Vision, 2015, 113(2): 143-159.

[39] URBAN S, MARTIN W M, HINZ S. mdBrief - a fast online adaptable, distorted binary descriptor for real-time applications using calibrated wide-angle or fisheye cameras[J]. Computer Vision and Image Understanding, 2016, 162: 71-86.

[40] GUAN H, SMITH W A P. BRISKS: binary features for spherical images on a geodesic grid[C]//IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2017: 519.

[41] TRZCINSKI T, CHRISTOUDIAS M, FUA P, et al. Boosting binary keypoint descriptors[C]//2013 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2013: 2874-2881.

[42] BAROFFIO L, CESANA M, REDONDI A, et al. Bamboo: a fast descriptor based on asymmetric pairwise boosting[C]//2014 IEEE International Conference on Image Processing (ICIP). New York: IEEE Press, 2014: 5686-5690.

[43] FAN B, KONG Q, TRZCINSKI T, et al. Receptive fields selection for binary feature description[J]. IEEE Transactions on Image Processing, 2014, 23(6): 2583-2595.

[44] BALNTAS V, TANG L, MIKOLAJCZYK K. BOLD-Binary online learned descriptor for efficient image matching[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2015: 2367-2375.

[45] BALNTAS V, TANG L, MIKOLAJCZYK K. Binary online learned descriptors[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(3): 555-567.

[46] LIN K, LU J, CHEN C, et al. Learning compact binary descriptors with unsupervised deep neural networks[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2016: 1183-1192.

[47] LIN K, LU J, CHEN C, et al. Unsupervised deep learning of compact binary descriptors[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2019, 41(6): 1501-1514.

[48] DUAN Y, LU J, WANG Z, et al. Learning deep binary descriptor with multi-quantization[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2017: 4857-4866.

[49] DUAN Y, LU J, WANG Z, et al. Learning deep binary descriptor with multi-quantization[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2019, 41(8): 1924-1938.

[50] MIKOLAJCZYK K, SCHMID C. A performance evaluation of local descriptors[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(10): 1615-1630.

[51] HEINLY J, DUNN E, FRAHM J M. Comparative evaluation of binary features[C]//European Conference on Computer Vision (ECCV). Heidelberg: Springer, 2012: 759-773.

[52] BALNTAS V, LENC K, VEDALDI A, et al. HPatches: a benchmark and evaluation of handcrafted and learned local descriptors[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2017: 3852-3861.

Review on related studies of local binary descriptors

BIAN Hou-qin1, ZHANG Hao-lin1, HUANG Fu-zhen2

(1. School of Electronics and Information Engineering, Shanghai University of Electric Power, Shanghai 200090, China; 2. School of Automation Engineering, Shanghai University of Electric Power, Shanghai 200090, China)

Abstract: Local binary descriptor is an important research object in local invariant features, which is widely used in computer vision and pattern recognition. Recently, the local binary descriptors represented by BRIEF have been proposed one by one. In this paper, the research results and development of local binary descriptors in the past decade are reviewed and discussed in order to provide implications for related preliminary researchers and application engineers. Firstly, the typical modern local binary descriptors were summarized. Secondly, the methods of improving these descriptors were analyzed. Finally, the relevant experimental evaluation criteria were discussed, and the future research prospects were expounded in view of the existing problems at the present stage. As a whole, local binary descriptors have experienced remarkable development and progress in recent years, and many studies on local binary descriptors have achieved success in increasing descriptors’ universality, robustness and efficiency. Aiming at different application scenarios, some improved descriptors also have ability to deal with practical problems. Such advancement has laid a solid foundation and provided more implications for the further development of local binary descriptors characteristic of higher-level and multi-field expansion. Although the advancement of local binary descriptors marks the progress of computer vision technology, there are still some common problems and contradictions, which needs to be further studied d and solved by related researchers.

Keywords: local binary descriptors; local invariant features; optimization of local binary descriptors; evaluation of local binary descriptors; features matching; target recognition

中图分类号：TP 391

DOI：10.11996/JG.j.2095-302X.2020020254

文献标识码：A

文章编号：2095-302X(2020)02-0254-08

DOIN P M, SU S Z, et al. CBDF: compressed binary discriminative feature[J]. Neurocomputing, 2016, 184: 43-54.

收稿日期：2019-07-10；

定稿日期：2019-10-16

基金项目：国家自然科学基金项目(61107081)；上海市地方能力建设项目(15110500900)

第一作者：边后琴(1976-)，女，湖北仙桃人，副教授，博士。主要研究方向为智能控制、模式识别与计算机视觉等。E-mail：houqinbian@163.com