◆李佳琪 杨硕

基于光照不均的场景文本提取算法

◆李佳琪 杨硕

（沈阳化工大学计算机科学与技术学院 辽宁 110142）

场景文本检测与识别对于自然场景的理解、图像中物体信息的获取以及自动驾驶与导航等研究有非常重要的作用。其中文本字符提取属于场景文本检测与识别的一个分支。在自然场景中，针对当前场景文本图像的不均匀照明等问题，提出一种基于边缘检测和改进的全局自适应文本提取模型结合的文本检测提取方法。首先，对输入的图像先做灰度处理和边缘检测，然后，将文本边缘图像进行二值化和形态学处理，获得候选的字符区域，最后，将其输入到改进的全局自适应文本提取模型中进行分类筛选，从而实现文本字符的检测提取。实验结果表明，该方法具有较好的场景文本字符区域提取能力。

二值化；边缘检测；全局自适应文本提取模型；字符提取

随着信息技术发展、人们工作生活的日常需要，使得自然场景图像的获取和传输变得越来越便捷。其中文字作为自然场景图像中的一个重要兴趣点[1]，往往蕴含着场景的关键潜在信息，当前许多应用程序中都有用到从场景图像中检测文本，例如身份证号码识别、名片信息识别、票据信息识别、车牌号识别、视频字幕检测识别[2]，也可以进一步应用于场景理解、商品推荐、自动导航与驾驶等。其中，场景文本的检测成功率越高，越能降低场景文本识别的复杂度[2]。自然场景图像背景复杂，使用简单的技术分离背景与字符比较困难；字符形式多样，自然场景下的字符，通常具有不同的字体、尺寸和颜色。计算机要读懂场景图像中的字符需要两个步骤：文本检测和文本识别。

由于图像在不均匀的光线照射下，可能存在明显的亮部和暗部，对文本提取效果不佳。考虑基于边缘检测的分析不易受整体光照强度变化的影响，许多图像理解方法都以边缘为基础。边缘检测强调的是图像对比度。检测对比度即亮度上的差别，可以增强图像中的边界特征，而边缘是阶梯变化的位置。可以使用微分使边缘变化增强，检测边缘位置。常见的边缘检测算子有：（1）Roberts边缘检测算子对具有陡峭的低噪声的图像处理效果较好，但利用Roberts算子提取边缘的结果比较粗，因此边缘定位不是很准确[3]；（2）Kirsch边缘检测算子和Prewitt边缘检测算子对灰度渐变和噪声较多的图像处理效果较好[4]；（3）Laplacian边缘检测算子对图像中的阶跃性边缘点定位准确，对噪声非常敏感，丢失一部分边缘的方向信息，造成一些不连续的检测边缘；（4）LoG边缘检测算子经常出现双边缘像素边界，而且该检测方法对噪声比较敏感[5]，因此，很少会用LoG算子实现边缘检测，只是用它来判断边缘像素是位于什么位置，是图像的明区还是暗区；（5）Canny边缘检测算子可以在抵抗噪声与边缘检测之间获得一个最佳的折中[6-7]，具有很好的边缘监测性能，但是容易把噪点误判为边界；（6）Sobel边缘检测算子对灰度渐变和噪声较多的图像处理效果比较好，对边缘定位比较准确[8-9]。因此，研究利用Sobel边缘检测算子实现边缘检测。经过二值化操作和形态学处理后提取感兴趣区域。其中，常用的二值化算法分为局部二值化和全局二值化。局部二值化方法以像素的邻域的信息为基础来计算每一个像素的阈值，局部阈值化算法经常会出现大量噪点，而且运行时间也较长。例如Bernsen算法、Niblack算法、Sauvola算法等。全局二值化方法对每一幅图计算一个单一的阀值，灰度级大于阈值的像素被标记为背景色，否则为前景。主要有灰度平均值法、基于谷底最小值的阈值、迭代法、OTSU法等[10]。其中，最大类间方差法（简称OTSU）是一种自适应的阈值确定的方法，类间方差越大，错分概率越小。因此本文选择OTSU二值化算法，结合灰度图，获得全局自适应文本提取模型，最后实现文本提取。

1 场景文本检测

场景文本提取主要分为目标区域提取和目标文本提取两大部分完成，其主要流程如图1所示：

图1 文本提取流程图

1.1 目标区域提取

（1）灰度图像

对输入的RGB图像，它在每个颜色分量上分解并分别由R、G和B表示。在做边缘检测之前，先将RGB图像转为灰度图像。灰度图像的灰度值表示如式（1）所示，其中Y表示灰度值。

（2）边缘检测

Sobel边缘检测算子是两个Prewitte模板中心像素的权重取2倍的值。Sobel算子的这个通用形式缩合了一条坐标轴上最优平滑和另一条坐标轴上的最优差分。该算子包含两组3*3的矩阵，将之与图像作平面卷积，可分别得出横向和纵向的亮度差分近似值[11]。其公式如（2）所示：

其中A代表原始图像，x及y分别代表横向及纵向边缘检测的图像梯度值；再根据图像每个像素的横向和纵向梯度值进行融合，得到该点像素的灰度值，其公式如（3）所示：

由于Sobel算子是滤波算子的形式，用于提取边缘，可以利用快速卷积函数，简单有效。边缘检测后得到文本字符边缘图像。

（3）图像二值化

图像二值化是将边缘检测后的图像转化成一个只有0或者255的二值图像的过程。边缘检测后图像包含要测试的文本和相应的背景噪声[3]。要从多色值图像中提取目标文本，首先，要将图像进行归一化处理，让其像素值在0-255之间，然后，再根据自适应阈值otsu进行二值化，公式如下：

其中，gxyf（i，j）表示图像的整体梯度，mag是图像梯度最大值，D（i，j）表示该点像素值，P表示自适应阈值otsu；经过二值化后可以滤除边界周围细小的噪声，二值处理结果如图2所示：

（4）形态学处理

将图像二值化后，得到清楚的字符边缘二值图像，由于各个像素点不是都连通的，无法形成目标区域，因此，进行膨胀处理，得到感兴趣区域（像素值为255的点）。其形态学处理图像如图3所示：

图3 形态学处理图像

1.2 目标文本提取

（1）全局自适应文本提取模型获取

全局自适应文本提取模型获取的过程是将提取的感兴趣区域与灰度图像相相结合，得到目标区域灰度图，再对目标区域灰度图进行模糊化的过程。融合的过程为：

其中，（，）表示融合后的图像，（，）表示灰度图像像素值，（，）是二值化后的形态学处理图像，在（，）中，（，）=（，）时表示前景，（，）=0时表示背景。

将得到的前景图像，通过模糊化的方式获得局部阈值。具体做法是：

其中，（，）是全局自适应文本提取模型，是计算参数，表示以2为半径的圆内，同时在目标区域内的像素点的积分平均数，表示二值化后膨胀图积分处理，表示（，）图积分处理，（，）表示二值化后膨胀图。图4（a）和4（b）分别为目标区域灰度图和全局自适应文本提取模型：

（2）目标文本提取

目标文本获取是将灰度图像与全局自适应文本提取模型作比较，全局自适应文本提取模型上的像素值是提取灰度图像中字符的阈值。根据以下公式实现文本提取：

其中，（，）表示目标文本提取图像。通过以上方法，可以清晰准确地提取到文本信息。

图4（a） 目标区域灰度图

图4（b） 全局自适应文本提取模型

2 结果与分析

根据上述算法进行实验，本实验在 Qt5.9.6+OpenCV环境下实现，计算机配置为：主频为2.6GHz（Inter（R） Core（TM） i5-4210M），运行内存为8GB。实验数据包含4幅场景文本图像，主要来源于手机拍摄。实验结果如图5所示：其中：（a）是亮度对比较明显的光照不均字符图像，（b）是其提取结果；（c）是亮度对比较暗的光照不均字符图像，（d）是其提取结果；（e）光照不均车牌图像，（f）车牌提取图像；（g）光照不均身份证原图，（h）身份证提取图像。

图5 测试最终结果图

3 结语

在本次研究中，光照不均是导致图像质量下降的重要原因，考虑基于边缘检测的分析不易受整体光照强度变化的影响，因此，充分利用了该方法来获取场景文本图像边缘信息，经过二值化操作和形态学处理后提取感兴趣区域，并结合使用了全局自适应文本提取模型做分类，实现字符文本提取。实验结果证实了所提算法的有效性，由于算法的复杂度较低，算法可以用于视频实时处理，具有较高的实用性。但是，此算法仍然存在问题，单一的靠边缘信息对文本区域定位和提取有误检的问题，不能准确定位目标区域，使后续的检测识别更加耗时，接下来对该问题将继续深入研究，期待找到更好的文本检测方法。

[1]Peng，Xu，Jin，et a1．Cascade-Based License Plate Localization with Line Segment Features and HaarLike Features[C]Intemational Conference on Image&Graphics．IEEE，2011．

[2]张哲，汪毓铎.结合边缘检测与CNN分类场景文本检测的研究[J].现代计算机，2019（13）：67-70.

[3]曾友州，胡莹，曾伟一，郑晓霞.提取数字图像边缘的算法比较[J].成都航空职业技术学院学报，2009，25（04）：69-72.

[4]江笑婵，万振凯，陈利.基于matlab边缘提取的几种方法的比较[J].电脑知识与技术，2006（02）：138-141.

[5]樊思萌. 面向车辆识别的目标检测与分割模块设计[D].沈阳理工大学，2019.

[6]Cesar Bustacara-Medina， Leonardo Florez-Valencia， Luis Carlos Diaz. Improved Canny Edge Detector Using Principal Curvatures[J]. Journal of Electrical and Electronic Engineering，2020，8（4）.

[7]李长有，陈国玺，丁云晋.改进Canny算子的边缘检测算法[J].小型微型计算机系统，2020，41（08）：1758-1762.

[8]Roma Jain，Jijo S. Nair. Intelligent Parking Space Detection System using Sobel Edge Detection in Open CV[J]. Journal of Innovation and Social Science Research，2019，6（2）.

[9]Chang-Yong Lee，Young-Hyung Kim，Yong-Hwan Lee. Optimized Hardware Design using Sobel and Median Filters for Lane Detection[J]. JOURNAL OF ADVANCED INFORMATION TECHNOLOGY AND CONVERGENCE，2019，9（1）.

[10]刘明兴，刘泽平，李斌，符朝兴，孟含.基于OTSU处理不均匀光照图像改进算法研究[J].青岛大学学报（工程技术版），2020，35（03）：27-32.

[11]吴进，赵隽，李聪，吴汉宁.机器视觉中边缘检测算法的SDSoC加速实现[J].计算机工程与应用，2019，55（12）：208-214.