吴俊杭 曾窕俊 马本学 汪传建 罗秀芝 王文霞

摘要：图像采集是实现红枣品质分级和检测的关键前提。针对基于静态图像的采集方式不能全面反映外觀品质、实时性差和基于传输式图像采集方式的机械、电路设计复杂且适用性不足的缺点，提出一种基于历史帧最小路径搜索，实现对视频中红枣目标进行跟踪、标定，建立红枣动态样本集的方法。首先利用RGB（red，green，blue）颜色空间转换HSV（hue saturation value）空间图像的明度（V）分量，基于V分量建立掩膜对RGB图像执行掩膜去背景。同时，针对视频图像中获得的二值图像，建立坐标系，获得每帧图像基于轮廓外接最小正矩形的特征向量，将当前帧和前一帧中的特征向量基于最小路径搜索的方法，加入约束条件，实现对视频中每个红枣目标的跟踪和标定，最后基于正矩形参数的感兴趣区域（region of interest，简称ROI），实现动态样本建立。利用此算法，对拍摄的视频图像的检测表明建立的动态样本集能更全面地反映红枣外观品质。该算法简单、有效，特别在实现基于深度神经网络的红枣在线检测中具有较大的应用潜力。

关键词：机器视觉;红枣检测;路径搜索;跟踪标定;动态样本

中图分类号： TP391.41  文献标志码： A  文章编号：1002-1302（2019）10-0219-05

新疆红枣具有极高的营养及药用价值，又被称为“黄金寿枣”，受到了越来越多的消费者青睐，社会需求量也在不断加大，大大地激发了自治区规模化发展、产业化经营枣树的积极性[1]。但同时，霉烂、虫害等缺陷严重影响了红枣的品质和价值，必须进行滤除。机器视觉具有效率高、精度高、检测信息丰富、非接触等优点，在农产品缺陷检测和品质分级领域获得了广泛应用[2]。

目前，国内外基于机器视觉的水果分选已经较为成熟，但对红枣的研究还相对较少。Wang等采用了可见光和近红外光谱对枣内部进行了无损检测，并实现枣的无损评价[3-5]。张萌等基于红枣近红外图像，提出一种亮度快速较正算法，实现红枣表面缺陷分割[6]。李功燕等针对红枣表面饱满度不同的情况，利用不同的梯度算子作为对比，采用归一化梯度直方图作为红枣表面纹理特征实现对干瘪红枣的识别，更进一步实现对红枣品质的评价[7]。

其中，图像采集作为机器视觉实现对红枣品质分级和缺陷检测的前提，直接影响着分级和检测的效果和速率。目前，进行图像采集的方法主要分为2种，前者创建1个密闭试验箱，通过调节密闭环境内的光强，为图像采集创造出理想环境[8-12];相较于前者，后者采用基于传输线的方式实现对目标的图像采集。李江波等一方面采用双排锥子式滚子组合来输送和翻转水果，另一方面通过传感器实现对水果实现定位[13]。赵娟等在传送带上安装滚子，将水果放置在滚子上，并在检测区域面向传送带倾斜60°方向的位置两侧各安装1面平面镜，通过镜面反射，实现更大面积的样本信息采集[14]。当水果在传送带上随滚子旋转而向前传送，同时通过安装有对射式传感器的位置时，触发信号控制相机开始采集图片。

上述关于图像采集的方式存在以下局限性：（1）基于静态图像的试验样本建立不能全面地反映实验对象外部品质，且实时性较差，不能适应实际生产要求;（2）基于传送式的图像采集方式，需要较为复杂的机械和电路设计，同时针对不同的对象，需要及时对设备进行更换或调节，因此生产条件和生产成本相对较高。与此同时，随着深度学习越来越受到重视[15]，其中深度卷积神经网络模型得到不断优化，使得计算机能够从原始输入图像中挖掘越来越抽象的分布式特征，满足更深层次的特征提取，实现对样本的分类。深度卷积神经网络降低了对输入图像的像素大小、光照、噪声的要求，具有良好的泛化性，因此，本研究以新疆红枣为研究对象，研究实现视频中红枣目标的跟踪标定，完成红枣动态图像采集，为进行基于深度卷积神经网络的在线红枣自动分级和缺陷检测提供理论依据和技术支持。

1 视频图像获取

本研究采用的计算机视觉视频图像采集系统如图1所示，该装置包括了在线传输单元和视频图像采集单元。其中，图像采集单元主要由CV-M7+CL型彩色CCD摄像机、亮度可控的排状LED光源、光电传感器、Matrox Solios图像采集卡和计算机组成。在线传输单元由传送皮带和基于PLC控制系统的可调速传送装置组成。同时试验时为了避免外界光源的干扰，整个试验在封闭的黑色罩里进行。开启光源并调节皮带传送速率，约3 min后，光源和传送速率趋于稳定，利用Matrox MIL9.0软件实现对静态图像和动态视频的采集，同时为满足后续试验要求，对采集到的图像和视频进行转码和处理。

2 图像处理

2.1 图像预处理

图像预处理的目标是去除背景和噪声，掩膜具有去除背景和噪声的同时不丢失红枣表面信息的优点。本研究采用掩膜法去除背景。因此，如何构建完整的图像掩膜是利用掩膜法去背景的关键。图2为本次基于掩膜图像映射的红枣前景图像提取算法流程。

试验使用白色磨砂传送皮带作为背景，磨砂皮带具有不“反光”的特性，能有效消除反射光造成的影响。本次试验对象为干制新疆红枣，图3-a为试验中拍摄的1张静态红枣图像。通过观察其红色（R）、绿色（G）、蓝色（B）、灰度（Gray）等各分量图像中红枣和背景的对比，发现基于HSV颜色空间的明度（V）分量，和背景差别较大，因此试验尝试提取红枣的明度分量构建二值掩膜。RGB颜色模型与V分量的转换关系为

根据式（1）所得，V分量图像数据类型为double型，为后续试验方便，将图像转换为uint8数据类型。本研究采取中值滤波法对所得的V分量图像进行去噪处理，中值滤波法不仅克服了线性滤波器造成图像细节模糊失真的不足，而且还有实现抑制噪声的同时不使边缘模糊的优点。图3-b是经过中值滤波后得到的V分量图像，可以看出，基于V分量图像设置1个简单的阈值可以构建二值掩膜。根据图3-e中的V分量直方图，选取二值化阈值β为120，得到二值图像，然后再进行形态开运算去除孤立噪点，图3-c是获得的二值掩膜图像。

最后进行如下运算获得去背景之后的红枣图像。

2.2 基于历史帧最小距离搜索判别的目标跟踪标定

实现基于视频的红枣动态样本建立，关键一步就是能够对视频中每个红枣进行跟踪，完成标定，建立基于单个红枣的样本集合。因此，本研究提出一种基于历史帧最小距离判别的目标跟踪标定算法，算法能够对视频中的每个红枣样本进行标定。

算法包括2个部分：生成二值图像中红枣前景外接正矩形特征向量和基于历史帧最小距离的搜索判别。

2.2.1 生成二值图像外接矩形框特征向量 要实现对每个红枣的跟踪和标定，就需要对每一帧图像建立1个特征向量

F，其中向量中包含每个红枣的特征向量f。流程如图4所示，生成基于红枣二值轮廓外接矩形特征向量。

由图4可知，当第i帧图像输入时，经过图像预处理步骤得到二值图像Ibw，然后对二值图像中每个红枣前景进行基于轮廓的外接矩形提取。如图5-b所示，对图像中每个红枣前景加上矩形框，由于每个红枣的大小和位置都不一样，即所得的矩形框参数也不一样。为了提取每个矩形框的特征信息，因此建立了图5-c所示的二维直角坐标系，规定图像左上角顶点为坐标原点（0，0），水平方向为X轴方向，竖直方向为Y轴方向，2个水平或者竖直方向相邻的像素点之间的距离为1。同時针对每个矩形框提取以下参数：矩形框左上角顶点（x，y）、水平方向长度w和竖直方向长度h，构成1个关于矩形框的4维向量：

红枣动态样本集合本质是对图像中每个红枣目标进行跟踪标定并进行ROI，其中矩形框的位置和大小是进行ROI的参数。由图5-b可知，存在4个矩形框（A′、B′、C′、D′），同时对比图5-a中的原始输入图像，发现矩形框D′包含的红枣没有完全进入图像中，因此须要加入约束条件θ对矩形框进行选择，实现只有满足要求的完整红枣才能进行ROI。约束条件θ如下：

式中：image.cols和image.rows分别表示输入图像的列数和行数，由于坐标系规定第1行和第1列为0，因此须要进行减1。图5-d为经过约束条件θ作用后的二值图像，其中上述存在的矩形框D′被有效滤除，从而得到新的关于这帧图像的外接矩形框特征向量Fi。

2.2.2 基于历史帧最小距离的搜索判别 图6为基于历史帧最小距离搜索判别实现目标跟踪和标定的算法流程图，其中图6-a为算法实现的示意图，图6-b为算法计算的流程图。图6-b中算法的核心就是计算当前帧外接矩形特征向量fi中代表矩形框位置的左上角坐标点（x，y）和前一帧中每个矩形的左上角坐标之间的距离，建立基于当前帧中矩形框i与前一帧中所有矩形框的距离集合Di：

然后，选取其中最小距离Dmin=D（i，p），于是将式中表示最小距离的前一帧中矩形框p上的标签赋给当前帧中的矩形框i，从而使得视频中每个红枣的标签能够随着视频流进行传递，实现对红枣目标的跟踪和标定。然而，对于视频中初始出现的完整红枣个体，在搜索前一帧目标矩形时，一定会存在1个距离最小目标矩形与之对应，显然，初始出现的红枣个体不能继承这个目标矩形的标签，否则将会引起混乱。因此，须要添加1个约束条件γ。

当D（i，p）为Di集合中最小的元素，且小于给定阈值T时，表明当前帧中特征向量fi代表的红枣目标和前一帧特征向量fp为同一红枣，则这个红枣目标上的标签可以进行传递。当D（i，p）不满足条件γ时，则表明当前帧出现的红枣目标为视频中新出现目标，则需要对其赋予新的标签。同时，将获得的掩膜图像，利用预处理中的掩膜法去除背景获得红枣目标前景，选取合适的时间间隔Th对前景图像进行基于红枣外接矩形的ROI，获得视频流中的红枣目标个体，最后根据标签一致性原则，建立每个红枣个体的样本集合，从而实现红枣动态图像采集，满足更全面地分析红枣外部品质的要求。

3 试验与分析

试验研究对象为新疆红枣，样本于2017年12月选购并完成视频、图像拍摄。算法由Visual studio 2017和OpenCV 3.2编程实现，经过系统调试，符合试验设计要求。为了能够更好地进行基于标签一致性原则建立样本集合，算法采用基于计数的标签方式，同时结合图像分辨率，设置约束条件y中的阈值T为20。经过试验，能够实现对视频中红枣目标的跟踪和标定，图7-a、图7-b和图7-c分别表示实现跟踪标定后的原始、掩膜和前景图像，其中图像上每个完整的红枣个体用最小正矩形框框出，显示的数字“02”、“03”、“04”分别表示对应红枣的标签，即每个红枣目标的动态样本集名称。同时设置时间间隔Th为12，即每隔12帧对图像中的红枣进行1次ROI，图7-d为视频中“03”号红枣经过归一化后的动态图像样本，可以看出，较静态红枣图像，构成的动态样本集能更多地反映红枣外观品质，从而更好地满足红枣外观品质检

测和分级。试验中发现，由于有些红枣目标位置比较接近，所以存在ROI出来的红枣样本存在其他红枣部分的现象，因此试验在进行基于矩形框参数的ROI时，采用寻找框内最大连通域的方法，去除其他红枣的干扰。试验结果表明，该方法能有效滤除其他红枣的干扰，满足对单一目标提取的要求。同时经过测试平均每帧图像处理时间为15 ms，具有较好的实时性。

4 结论

本研究介绍了一种基于历史帧最小路径搜索判定的算法，作为一种图像预处理方法，可以实现对视频中的红枣目标进行跟踪、标定，满足目标基于视频的动态图像样本采集，较以往基于静态图片的样本建立，能更好地反映待测物体的外观品质。同时，可以根据生产能力和对象随时进行调整，可用于不同对象，灵活性、适用性更广，且算法避免了复杂的机械设计，降低了对设备的要求，节约了生产成本，对后续检测和分级有着重要的意义，有着很好的市场前景。下一步工作将继续对算法进行优化和完善，有些红枣形状为长条状，下一步将研究实现红枣的自适应旋转矫正，使得每个红枣的朝向一致，降低试验样本因为朝向不同带来的复杂性。针对现在通用的固定阈值二值化方法，容易受外界环境的干扰，对后续进行的分类和品质检测等带来影响，下一步将研究针对每个红枣目标，能够实现自适应阈值调整，满足对样本更高精度的前景提取。同时，将经过尺度归一化之后的动态样本集和深度神经网络结合，通过构建训练样本和网络模型对参数进行训练，从而实现满足基于视频的在线样本获取和检测。

参考文献：

[1]李志刚，姚婷婷. 新疆红枣产业供应链管理[J]. 江苏农业科学，2017，45（4）：288-292.

[2]应义斌，饶秀勤，赵 匀，等. 机器视觉技术在农产品品质自动识别中的应用（Ⅰ）[J]. 农业工程学报，2000，16（1）：103-108.

[3]Wang J，Nakano K，Ohashi S. Nondestructive detection of internal insect infestation in jujubes using visible and near-infrared spectroscopy[J]. Postharvest Biology & Technology，2010，59（3）：272-279.

[4]Wang J，Nakano K，Ohashi S. Nondestructive evaluation of jujube quality by visible and near-infrared spectroscopy[J]. LWT - Food Science and Technology，2011，44（4）：1119-1125.

[5]孙世鹏，彭 俊，李 瑞，等. 基于近红外高光谱图像的冬枣损伤早期检测[J]. 食品科学，2017，38（2）：301-305.

[6]张 萌，许 敏. 红枣表面缺陷快速检测方法研究[J]. 江苏农业科学，2015，43（7）：331-334.

[7]李功燕，任亦立，马丽艳. 基于梯度分布不均匀性的干瘪红枣识别[J]. 农业机械学报，2016，47（11）：213-218.

[8]李江波，饶秀勤，应义斌，等. 基于掩模及邊缘灰度补偿算法的脐橙背景及表面缺陷分割[J]. 农业工程学报，2009，25（12）：133-137.

[9]李江波，饶秀勤，应义斌. 水果表面亮度不均校正及单阈值缺陷提取研究[J]. 农业机械学报，2011，42（8）：159-163.

[10]展 慧，李小昱，王 为，等. 基于机器视觉的板栗分级检测方法[J]. 农业工程学报，2010，26（4）：327-331.

[11]李小昱，陶海龙，高海龙，等. 马铃薯缺陷透射和反射机器视觉检测方法分析[J]. 农业机械学报，2014，45（5）：191-196.

[12]王树文，张长利，房俊龙. 基于计算机视觉的番茄损伤自动检测与分类研究[J]. 农业工程学报，2005，21（8）：98-101.

[13]李江波，饶秀勤，应义斌. 基于照度-反射模型的脐橙表面缺陷检测[J]. 农业工程学报，2011，27（7）：338-342.

[14]赵 娟，彭彦昆，Dhakal S，等. 基于机器视觉的苹果外观缺陷在线检测[J]. 农业机械学报，2013，44（增刊1）：260-263.

[15]周飞燕，金林鹏，董 军. 卷积神经网络研究综述[J]. 计算机学报，2017，40（6）：1229-1251.