吴高德 朱振刚 梅浪奇 刘 清

1 宁波港信息通信有限公司 2 武汉理工大学自动化学院

1 引言

近年来随着人工智能、计算机视觉和移动互联网技术应用的深入，集装箱箱号识别技术在集装箱码头岸边作业的理货过程和闸口得到了广泛应用[1-3]，极大提升了集装箱码头作业的智能化水平、生产效率和安全性。但码头堆场的集装箱仍需要通过手工方式记录集装箱箱号，导致人工工作量大、效率低下、信息化水平低。随着移动终端如智能手机的广泛应用，国内外学者开展了基于移动终端来解决堆场集装箱箱号识别问题的相关研究[4-5]。但移动终端只能拍摄1个后箱门的箱号作为识别对象，不能像闸口和岸边理货中箱号识别那样，可以有5面箱号(顶面箱号、前箱面箱号、左侧箱面箱号、右侧箱面箱号、后箱门箱号)图像选择最佳识别结果。而且拍摄的图像中字符倾斜角度相对较大，阴雨天、晚上等补光不能满足要求，移动端的箱号识别技术对单张图片的字符区域粗定位和精定位以及字符识别算法的识别率需要更高的要求。因此，目前基于移动终端的箱号识别还没有得到实际应用。

本文基于深度学习技术、图像处理技术、Flask服务端框架、微信小程序开发了一种基于移动端的集装箱号识别系统，经过现场测试，移动端的箱号识别率达到97%，识别时间为500 ms内，满足现场作业的要求。本文提出的箱号定位和识别算法还可以移至到智能理货、智能闸口等相关箱号识别系统中。

2 移动终端箱号识别系统整体设计

移动终端箱号识别系统由前端作业现场中的移动设备(手机)构成的采集端和后端服务器识别系统构成的识别端两部分组成，采集端通过移动设备中的微信小程序调用手机中的相机模块对集装箱箱门拍摄，获得的图像数据通过移动网络传送识别端图像数据文件夹中，通过向识别端服务器发送识别请求，识别服务器进行箱号ocr智能识别，识别端服务器将识别结果返回给移动端设备显示最终箱号。基于移动终端箱号识别服务系统关键流程分为微信小程序前端页面显示、前后端服务通信和后端箱号识别3个模块(见图1)。其中微信小程序前端页面显示模块中主要实现图像数据的采集功能并提交图片至后台服务器，并显示接受到的识别后的箱号字符，其操作界面见图2。前后端数据通信服务模块采用的是Flask服务端框架[6]，它是一种轻量级Web应用框架，具有易扩展应用功能、灵活度高等优点实现数据的通信功能。后端箱号识别服务主要采用箱号字符粗定位算法完成关键字符区域定位，再通过字符区域精定位算法定位旋转字符块，最后通过字符识别算法完成最终的箱号识别。

图1 移动端箱号识别服服务系统关键流程

图2 移动端操作界面图

3 箱识识别算法

箱号识别服务算法主要包含字符区域的粗定位、图像预处理、字符区域精定位、字符区域识别等算法组成。

3.1 箱号字符粗定位算法

在本文目标粗定位检测要求中，通常只有1个或固定数目的目标，找出图像中所有感兴趣的目标(物体)，确定它们的位置和大小。采集的图片见图3(a)。粗定位算法需要在图像中定位箱号的字符区域来完成箱号字符粗s定位检测，因此又快又准确的目标检测算法对本系统至关重要，目前常用的定位算法有传统区域定位算法和深度学习算法，其中常用的深度学习定位算法如下：YOLO、STDN、SPP-Net、Fast R-CNN等，传统的区域定位算法如下：FASText、CTPN等，根据测试速度以及目标检测精度方面综合考虑，本文采用YOLO V4[7]算法进行关键区域定位,粗定位的字符块情况见图3(b)，YOLOV4算法的网络结构见图4。本实验是在GTX1080显卡上进行模型的训练测试，其中训练集数据量为28 866张图片，测试集数据量为5 000张图片，测试结果定位正确率在99.9%左右(见表1)，显见YOLO V4网络能够满足箱号字符粗定位关键区域检测的要求。

图3 箱号字符粗定位效果图

图4 YOLO V4网络结构图

表1 YOLO V4粗定位情况表

3.2 字符区域图像预处理算法

图像预处理算法是突出感兴趣区域并同时减少其他因素的干扰，有易于图像的最终识别，由于阴雨天、晚上、补光灯等复杂的环境影响，移动端相机的成像清晰度质量相对较低，从而影响最终的箱号识别。因此提高图像的成像质量尤其关键，其中常用的方法有灰度转换、均值/中值/维纳滤波滤波器、图像锐化、对比度改善、图像平滑、直方图均衡化等方法[8]，本文采用对比度增强算法进行图像的预处理增强来提高夜间的图像，处理后效果良好。

3.3 字符区域精定位算法

由于手机拍摄的图像存在一定的倾斜问题，如何精确定位各个字符块区域显得尤为重要。一般情况下检测定位出的对象是矩形，能够定位为旋转四边形才能减少其他字符的干扰，因此采用定位旋转矩形来表示字符块。但是旋转矩形的旋转角比较难得到，本文采用一种能够定位旋转框目标的算法：gliding_vertex[9]，其核心基本思想是通过4个点在非旋转矩形上的偏移量来定位出1个四边形来表示1个字符区域。精定位后的效果见图5，字符块定位情况见表2。结果表明该算法能够满足箱号字符块精定位的测试要求。

图5 精定位后效果图

表2 字符块精定位情况表

3.4 字符区域识别算法

传统的字符识别方法一般都是单字符识别的方式进行，首先对字符区域进行字符矫正，然后再进行单字符分割，再通过到字符分类器或者BP神经网络算法完成单字符的识别，最后组合在一起完成箱号的识别。但是该方法对于一些复杂成像的字符识别难以保证其识别率，因此采用RARE[10]算法进行箱号的字符块识别,它主要解决不规则排列文字的文字识别问题,针对不规则文字，先矫正成正常线性排列的文字再识别。字符块的训练测试识别情况见表3，结果表明RARE识别算法能够满足箱号字符块识别的要求。

表3 RARE字符块的识别情况表

4 测试与应用效果

该箱号识别系统最终在移动端的识别结果显示界面见图6，现场测试的箱号识别率见表4，测试9天约1 203次作业，无论是下雨天、白天还是晚上，平均箱号识别率在97.35%左右，平均测试时间不超过500 ms，满足了现场作业的要求。现场测试显示，该方法在移动端的集装箱号识别系统是具有可行性的，结合Python软件编程能够快速并且准确地识别出箱号并返回结果给移动端。

图6 移动端箱号识别结果界面

表4 现场测试箱号识别率统计表

5 结语

本文设计的移动端箱号识别方案适用于码头、海关、闸口等快速记录箱号，对场地没有特殊要求，界面设计简洁清晰，工作人员使用便捷灵活。相比于传统方法，该识别算法识别率更高，识别速度更快。该系统的应用降低了人力的工作量，提高了工作效率，对港口智能化水平有推进作用。