杨保健，杨登登，陈楷强，吴华峰，张大君

基于机器视觉的肉桂表皮整形方法研究

杨保健1，杨登登1，陈楷强1，吴华峰2，张大君3

（1.五邑大学 智能制造学部，广东 江门 529020；2.深圳市翔创自动化有限公司，广东 深圳 518104；3.罗定市宝桂天然香料科技有限公司，广东 罗定 527245）

肉桂系岭南名贵中药材，其树干上因修剪侧丫后留下的结疤是树干最坚硬的地方，在后续肉桂剥皮过程中会损坏剥皮刀具，故需提前清除。利用Halcon设计了一个基于归一化互相关系数方法的肉桂表皮结疤识别算法，并在Visual Studio上进行软件设计，上位机将肉桂树结疤的坐标信息传输给PLC，通过轴、轴和轴的联动实现对结疤的修整。实验结果表明，利用该方法修整一个宽度约20 mm左右的疤平均用时14 s，与手工祛疤相比，效率提高了57.1%，且修整光洁度良好。

肉桂；结疤；机器视觉；可编程控制器；整形；算法

剥皮是肉桂生产环节中的重要一环，杨保健[1]等人研发了一种用于肉桂树剥皮的机器，使得剥皮效率比手工剥皮提升了87.5%。然而在肉桂的剥皮过程中，肉桂树结疤的地方会使剥皮刀具受阻，因为结疤的位置是肉桂树最坚硬的地方，故需要对结疤的位置进行提前整形，才能顺利剥下皮。据实地统计，桂树上结疤的概率达95%，几乎每根桂树均有分布结疤。

查阅相关文献后，发现目前还没有肉桂去除结疤的相关文献。针对这一难题，设计了一个基于机器视觉的肉桂表皮整形机构，能够对肉桂树上的结疤进行整形，使剥皮更加顺利。

1 实验平台搭建

1.1 总体结构设计

肉桂表皮整形机构采用40 mm×40 mm的国标铝型材搭建而成，主要结构由三个独立运动轴系（轴、轴、轴）和刀具总成组成，如图1所示。

1.工业相机；2.镜头；3.条形光源；4.配电箱；5.梅花顶尖；6.刀具总成；7.横向进给机构；8.纵向进给机构；9.尾追。

两个丝杆模组的滑块十字相连，实现桂皮表皮整形机构的刀具进给，构成机器的轴和轴；主轴由步进电机驱动，配以梅花顶尖和尾顶，构成机器的轴。通过这三个运动轴系，可将刀具总成移至肉桂树结疤部位。通过工业相机配合光源和光源数字控制器对肉桂树进行拍照，每旋转90°拍摄一次。

1.2 刀具总成设计

刀具总成如图2所示。木工铣刀有多个刀齿，利用工件与铣刀的相对运动，各刀齿依次切去桂皮的凸起。木工弧形铣刀弧宽为50.8 mm，可整形98.5 mm直径以内的肉桂树。相比于切削金属的铣刀，齿数少且具有更大的容屑空间[2]。

1.铝合金顶板；2.法兰轴承；3.铝合金侧板；4.电机轴夹头；5.直流电机；6.木工弧形铣刀。

2 实验方案设计

首先，选取结疤的数量和形态具有代表性的肉桂树样本一批；其次，采集各样本结疤的图片，利用Halcon里面的create_ncc_model算子，完成对结疤的采集。最后，对目标肉桂进行拍照和处理。

整个结疤检测和刀具去疤流程如图3所示。

图3 肉桂表皮整形流程图

3 视觉算法设计

视觉算法设计采用Halcon进行算法设计，该软件拥有一套完善的机器视觉算法包[3]，降低了视觉算法的设计难度，方便用户进行操作。

本文利用Halcon设计了一个基于归一化互相关系数方法（Normalized Cross Correlation，NCC）[4-5]的肉桂表皮结疤识别程序。通过提前采集一些肉桂表皮的结疤，即可对肉桂表皮的结疤进行识别和定位。该算法不同于图像边缘特征的图像匹配算法（Shape-Based Matching，SBM）[6]，可以有效降低光照对图像比较结果的影响，而且NCC最终结果在[-1,1]之间，如果NCC值接近1，则表示相关性很高。

归一化互相关系数法是比较两组数据是否有相似关系的判断方法，计算公式为：

3.1 算法分析

轴以间歇转动的方式，每旋转90°相机拍摄一次照片，调用open_framegrabber和grab_image算子对肉桂进行拍照，共拍摄四次，如图4所示。

依次对每张照片进行如下操作：

（1）肉桂树轮廓识别：调用threshold进行阈值分割，调用opening_circle进行开运算除去孤立的小点、毛刺，调用closing_circle进行闭运算消除内部孔洞，调用fill_up填充连通区域孔以得到闭合区域，调用gen_contour_ region_xld生成肉桂树的轮廓[7-8]，如图5所示。

（2）肉桂树轮廓线拟合并记录下轮廓坐标：调用fit_rectangle2_contour_xld算子将肉桂树不规则的轮廓线拟合为矩形，如图6所示，调用segment_contours_xld[9]分割轮廓，利用select_shape_xld将下轮廓筛选出来，将下轮廓的坐标记录下来。

图5 获取肉桂轮廓

图6 拟合轮廓

（3）归一化互相关匹配，寻找相似的实例：调用find_ncc_models算子寻找与模板相似的实例，并调用算子dev_display_ncc_matching_ results将其显示出来。寻找结疤如图7所示。

若第一张图像寻找到相似的实例，则记录该实例的中心坐标，并在第二张图像的肉桂下轮廓线坐标中寻找与筛选到的实例相等的纵坐标，获取肉桂下轮廓线纵坐标对应的横坐标，此时获取的坐标是像素坐标，需将该横坐标与筛选到的实例的纵坐标通过提前标定将像素坐标转换到世界坐标，即可得到肉桂树结疤的位置。

图7 寻找结疤

若第一张图找到结疤，便会在第一张图显示该疤到刀具总成的横向距离，并在第二张图显示该疤的纵向距离（下一张图相对于前一张图旋转了90°，可看出纵向距离），以此类推，按此依次在四个图像中找出结疤的位置，效果如图8所示，该肉桂有3个结疤，并在图中显示刀具总成应移动的横向和纵向距离，上位机会将该位置坐标依次传输给PLC，即可将刀具总成依次移动到肉桂树结疤的位置并进行整形。

图8 识别结果

3.2 软件设计

Halcon拥有全面的视觉处理库，能够解决很多图像问题，但是不能形成图形化界面[10]，需联合C#进行人机界面设计，设计软件使用Visual Studio[11-12]，该软件是目前最强大的集成开发环境之一。人机界面如图9所示。

通过人机交互界面，可以对肉桂表皮整形机构进行控制，可将拍照结果和结疤识别结果显示到界面中，利用串口通信将结疤的位置信息传输给PLC，根据指令，控制步进电机和直流电机，做出相应的动作。

3.3 PLC控制系统设计

根据肉桂整形的流程和输入输出点数，可编程控制器选用三菱FX3U-16MT，对继电器、步进电机、直流电机等电器元件进行控制。

（1）I/O口参数分配

X0为急停按钮；X1、X3、X2分别为轴的正转、反转限位、近点信号；X4、X6、X5分别为轴的正转、反转限位、近点信号。Y0、Y1、Y2分别连接轴、轴、轴的脉冲信号，Y3、Y4、Y5分别连接轴、轴、轴的脉冲信号方向，Y6连接中间继电器，中间继电器连接直流接触器，直流接触器连接直流电机。I/O口参数分配如表1所示。

由于PLC输出端承受的功率有限，无法直接驱动一个15 A的大电流电机，故需要用直流接触器来接通电机，大电流触点需要很大的闭合压力，故接触器的电磁线圈功率很大，由于PLC驱动不了，需要通过继电器来桥接，继电器的电磁线圈功率一般在1 W以下，PLC可以直接驱动，而继电器触点可以带动接触器去驱动电机。在这个过程中，继电器起到了承上启下的作用。

图9 人机界面

表1 I/O口参数分配

（2）控制设计

PLC程序流程图如图10所示。当机器视觉识别并定位到结疤部位时，上位机通过通信将四个数据D1（刀具总成到结疤右侧的方向距离）、D2（刀具总成到结疤的方向距离）、D3（结疤的方向的宽度）、D5（结疤所在的角度）传输给PLC相应的数据寄存器（D1～D5在上位机已转化为相应的脉冲数）。

由于PLC程序较长，下面仅对轴旋转进行介绍。上位机传输完上面四个数据后，会让辅助继电器M51置为1，形成自锁电路，通过绝对定位DRVA指令，让轴旋转，由于相机与刀具总成所在位置垂直，旋转角度即为相机拍摄时已旋转的角度再加90°，肉桂树结疤处便可正对刀具总成。轴旋转梯形图如图11所示。

图10 PLC程序流程图

图11 A轴旋转梯形图

当旋转结束后，特殊辅助继电器M8029会接通一瞬，使通信标志M55置位，并断开自锁。当上位机检测到辅助继电器M55置位后，说明肉桂树旋转已经完成。

4 实验结果分析

图12和图13分别为肉桂整形效果表面和侧面前后对比，可以看出，整形前结疤部位凸起明显，整形后凸起被完全铣削掉，由此可见，该方法可以完整地去除结疤。

与手工祛疤所需时间进行比较。结果表明：手工去除一个宽度20 mm左右的疤达到可顺利剥皮所需时间大约为22 s，而肉桂表皮整形机构去除一个宽度20 mm左右的疤大约需要14 s，祛疤效率提升了57.1%，且木工铣刀呈弧状，整形后该部位仍为弧形，对后续剥皮十分有利。

图12 肉桂整形效果表面前后对比

图13 肉桂整形效果侧面前后对比

5 结束语

本文基于Halcon，设计了归一化互相关系数方法（NCC）的肉桂表皮结疤识别算法，并用Visual Studio进行软件设计，结合PLC设计了肉桂表皮整形机构。该方法可实现自动祛疤，相较于人工，工作效率提升了57.1%，且整形后该部位仍为弧形，对后续剥皮十分有利。该方法可以高效且完整地去除肉桂树上的结疤。

[1]杨保健，杨登登，曹明轩. 肉桂树剥皮机及关键部件设计[J]. 机械，2021，48（4）：20-25.

[2]曹平祥，郭晓磊. 木工铣刀装夹技术与方法[J]. 林产工业，2009，36（6）：50-53.

[3]谭星凯，陈润康，刘颖君. 基于机器视觉的喷码检测系统设计[J]. 机械工程师，2016（10）：67-68.

[4]JiangangLin，LinJiangang，WangDongxing，et al. Surface defect detection of machined parts based on machining texture direction[J]. Measurement Science and Technology，2021，32（2）.

[5]Fan Yang，YuzengWang，ShibingWang，et al. Wood Veneer Defect Detection System Based on Machine Vision[C]. Proceedings of the 2018 International Symposium on Communication Engineering & Computer Science （CECS 2018），2018：423-428.

[6]谢晖，吴先锋，付山，等. 基于Halcon的电表铭牌缺陷检测系统[J]. 现代制造工程，2021（2）：119-126.

[7]陈献明. 基于机器学习的木材表面缺陷图像检测及应用[D]. 哈尔滨：东北林业大学，2020.

[8]范佳楠，刘英，杨雨图，等. 机器视觉在木材缺陷检测领域应用研究进展[J]. 世界林业研究，2020，33（3）：32-37.

[9]刘维平，李海柱，秦建峰，等. 基于halcon机器视觉的几何元素提取方法[J]. 电子世界，2019（16）：16-17.

[10]张伟超，肖中俊，严志国. 基于HALCON二维码识别技术的AS/RS设计[J]. 齐鲁工业大学学报，2019，33（4）：53-57.

[11]张宝愿，陈桦，张耿，等. 基于HALCON的注射器针头缺陷检测方法[J]. 软件，2020，41（11）：190-193.

[12]罗福强，白忠建，杨剑. Visual C#. NET程序设计教程[M]. 北京：人民邮电出版社，2012.

Study on the Finishing Method of Cinnamon Epidermis Based on Machine Vision

YANG Baojian1，YANG Dengdeng1，CHEN Kaiqiang1，WU Huafeng2，ZHANG Dajun3

( 1.Faculty of Intelligent Manufacturing, Wuyi University, Jiangmen 529020, China; 2.Shenzhen Xiangchuang Automation Co., Ltd., Shenzhen518104, China; 3.Luoding Baogui Natural Flavor Technology Co., Ltd., Luoding 527245, China )

Cinnamon is a rare Chinese herbal medicine in Lingnan area. The hardest part of its trunk is the scar left after pruning, which causes damage to the peeling tools, so it needs to be removed early. In this paper, Halcon is used to design a cinnamon skin scar recognition algorithm based on the normalized cross correlation number method, and the software is designed in Visual Studio. The upper computer transits the location information of the cinnamon tree scar to PLC, performs the scar reshape through the linkage of the X-axis, Y-axis and A-axis. The result show that it takes about 14 seconds to remove a scar with a width of about 20mm by using this method. Compared with manual scar removal, the efficiency is increased by 57.1%, and the finish is good.

cinnamon；scarring；machine vision；PLC；finishing；algorithm

TP2

A

10.3969/j.issn.1006-0316.2022.08.011

1006-0316 (2022) 08-0069-07

2021-10-13

广东大学生科技创新培育专项资金项目（pdjh2020b0603）；江门市基础与理论科学研究类科技计划项目（2019JC01012）；五邑大学2020年度校级大学生创新创业训练计划项目（202011349123）；2019年五邑大学学生创新创业项目（2019CX53）

杨保健（1982－），男，湖北随州人，博士，讲师，主要研究方向为智能装备技术等，Email：kurt.yang@163.com。