刘 颖，董海涛，王富平，李大湘

(1. 西安邮电大学电子信息现场勘验应用技术公安部重点实验室，陕西 西安 710121；2.西安邮电大学图像与信息处理研究所，陕西省 西安市 710121)

1 引言

通常交通事故中会利用现场留下的车胎压痕痕迹和物证之间的关系解释事故的过程，判断双方责任，而地面轮胎痕迹往往是最有用的痕迹物证之一，所以轮胎痕迹检索常用于公安破案或交通事故处理中的线索获取[1]。

我国对轮胎痕迹图像检索相关的研究较迟，没有建立相关数据库，在轮胎痕迹方面的研究也比较简单，主要是通过判断嫌疑车辆的逃跑路线和速度，对轮胎痕迹图像检索分类，没有标准的轮胎痕迹图像测试数据库，使用是采集规模不一的数据库。轮胎与地面形成的轮胎痕迹图像纹理丰富并且规则，痕迹颜色较为单一，所以学者们基于纹理特征对轮胎痕迹图像进行检索实验。文献[2]利用一种基于快速付氏变换图像配准方法对轮胎痕迹图像进行处理，文献[3]通过分析SIFT变换原理和Gabor小波原理，提出了基于SIFT-Gabor变换的轮胎痕迹图像模式识别算法。文献[4]结合人脑的无监督学习和层次化提取特征提取特性，提出了一种基于稀疏表示和概率潜在语义分析的轮胎痕迹图像检索算法。文献[5]提出了一种基于非下采样Contourlet变换(non-subsampled contourlet transform， NSCT)和 GLCM的组合特征提取与多级支持向量机(Support Vector Machine，SVM)的轮胎花纹图像识别算法。

由于轮胎痕迹图像数据很难收集，在实际采集过程中并不能大量收集，每个高校团队收集方式也有所不同。例如西安邮电大学图像与信息处理研究所(Center for Image and Information Processing，CIIP)依托与公安部共建的重点实验室平台，科研人员在不同时间、不同环境(光照及气候)及不同拍摄条件下(视角、距离、尺度、仿射角)采集轮胎痕迹图像2400幅，如图1(a)。大连海事大学的学者们利用油墨式按压或油式按压的方式得到496幅轮胎出厂时的轮胎痕迹图像。然后将这496幅轮胎痕迹图像中的每一幅轮胎痕迹图像随机截取成同等大小的5张，就可以创建轮胎痕迹图像总共2976幅，如图1(b)。吉林大学的王震选用常见车辆的压痕图像40幅，在不同光照情况，尺度下对痕迹图像进行拍摄，共创建160幅轮胎痕迹图像。如图1(c)。表1是现有规模较大的轮胎痕迹数据库的信息。

图1 轮胎痕迹图像库示例图

表1 轮胎痕迹图像数据库

在各种纹理图像描述符中，局部二值模式(LBP)是一种流行且功能强大的图像描述符，已经被成功地应用到不同的领域，例如人脸识别、对象识别和场景识别[6]。最早由芬兰Oulu大学提出，LBP因为其计算复杂度低，无需训练学习，易于工程实现所以在计算机视觉和图像处理领域收到了广泛的关注。基于原始的LBP方法，学者们又提出了许多改进LBP方法，Jabid等[7]提出了局部方向图(LDP)，其使用来自Kirsch梯度算子的边缘响应在像素周围的八个方向上。zhong等[8]利用最突出的边缘响应值的方向和第二个最突出的边缘响应值给出了增强的局部方向图(ELDP)。Ahmed[9]提出了梯度方向图(GDP)，通过对梯度方向角进行量化以形成二进制模式来对局部区域的纹理信息进行编码。Rivera等[10]通过使用罗盘屏蔽计算邻域的边缘响应来呈现局部方向数模式(LDN)，并且通过采取这些边缘响应的最大正和负方向。但是在轮胎痕迹图像检索中，目前还没有学者利用局部二进制及其改进方法进行实验。轮胎痕迹图像包括主线沟槽和的边缘纹理线基本特征。同时，边缘纹理线很复杂，不同类型的车的边缘纹理线具有不同的宽度和方向，并且纹理线互连和缠绕。因此，本文将利用Sobel算子对图像进行梯度方向角的转换，然后利用局部三值模式(LTP)进行描述。

本文根据LTP描述符提出了局部梯度方向三值模式(Local Gradient Directional Ternary pattern，LGDTP)，与利用灰度等级来编码局部纹理的LBP和LTP算子不同，所提出的LGDTP算子使用更稳定的梯度方向值来代替像素值。该编码方案针对中心像素梯度角和阈值来量化局部邻域中的梯度方向角，得到更好的纹理边缘信息。而且利用针对轮胎痕迹图像提出的图像区域级联方法，相对于之前2×2区域的方法维度增加不多且得到更好的效果。在轮胎痕迹图像数据库上和轮胎表面花纹数据库上用该算法及其它LBP改进方法利用欧氏距离和曼哈顿距离进行实验，实验结果表明本文提出的算法相对于其它改进的LBP算法检索准确度更高，更适用于轮胎痕迹图像。为了更进一步提高LGDTP算法在轮胎痕迹图像数据库上的检索效率，本文引入迁移学习对LGDTP算法进行改进。选择卷积神经网络(Convolutional Neural Network， CNN)模型AlexNet[15]作为基本的网络结构，在ImageNet数据集上的训练参数作为初始模型，然后对轮胎痕迹图像进行了迁移学习[16](transfer learning) 训练。由于轮胎痕迹图像数据样本少，AlexNet模型训练容易过拟合，检索效率和LGDTP算法比没有优势。因此，本文将基于迁移学习的CNN特征和LGDTP特征按不同的权值进行融合，并在轮胎痕迹数据库上进行检索实验，得到更高的检索准确率。

2 基于局部梯度方向三值模式的轮胎痕迹图像特征

2.1 原始LBP描述子

最初的LBP描述子由芬兰大学Oulu机器视觉小组的研究者Ojala等人针对纹理图像分类问题提出的[6]。该方法提出后，受到了计算机视觉和模式识别领域学者的广泛关注。LBP描述子的原理为定义在某中心像素的灰度值为阈值进行二值量化，大于或等于中心像素的像素值编码为1，小于则为0，最终形成一个局部二进制模式。将该二进制模式以x轴正方向为起点按照逆时针方向进行串联得到一串二进制数字，并用该二进制对应的十进制数字重新作为该中心的像素点，最终每一幅图像都可以计算得到一个局部二进制模式。

(1)

(2)

这里gc是中心像素的灰度值，gi是其邻域的灰度值，P是邻域的数目，R是邻域的半径，对中心像素点的灰度值gc与其邻域的灰度值gi进行比较gi大于gc则为1，反之则为0.这样得到P位二进制编码，再转换为十进制数值返回给中心像素。具体过程如图1所示：

图2 LBP原理图

2.2 局部三值模式(LTP)

LTP描述子[12]是Tan和Triggs在LBP描述子的基础上进行的改进，其对不同光照下和噪声下的图像具有更好的鲁棒性。并且更加细腻的描述了图像的纹理特征。LTP增加自定义t，gi大于区间[gc-t，gc+t]}时为1，属于区间时为0，小于此区间时为-1，得到三值编码值，计算如下

(3)

(4)

这里P，R，i与LBP算法一致。为了简化计算，令LTP特征分解为正，负LBP的编码方式。即把编码值为1的变为0，得到正LBP人脸纹理特征。把编码值为-1的修改为1，其余均变为0，从而得到负LBP人脸纹理特征。过程如图2所示。

图3 LTP原理图

2.3 LGDTP算法

LBP对噪声和光照变化敏感，因为像素点的稍微改变，可导致其值对于中心像素的改变。一些改进的算法利用更稳定的梯度幅值和边缘响应值而不是灰度值来形成二进制模式，但它们倾向于更加均匀的图像区域中产生不同的编码。而本篇文章改进的算法呈现出了更强大的局部纹理图案，首先利用Sobel算子对图像进行边缘检测。Sobel算子根据像素点上下、左右邻点灰度加权差，在边缘处达到极值这一现象检测边缘。对噪声具有平滑作用，提供较为精确的边缘方向信息，首先使用以下等式计算图像中每个像素的梯度向量的方向角

α(x，y)=arctan(Gy/Gx)

(5)

这里α(x，y)表示像素(x，y)的梯度方向角，Gx和Gy是梯度向量的两个元素，梯度向量是通过sobel算子在原图像上进行计算得到。Sobel算子将图像与水平核和垂直核进行卷积，以分别获得Gx和Gy的值，如图3所示

图4 Sobel算子

在计算完梯度角之后，在3×3的邻域中利用LGDTP算法进行操作。LGDTP算法增加自定义阈值t，gi大于区间[gc-t，gc+t]}时为1，属于此区间为0，小于此区间为-1，得到三值编码值。计算过程如下

(6)

(7)

这里P，R，i与LTP算法一致，gc是中心像素的梯度方向角，gi是其邻域的梯度方向角，阈值t设置为10°，将LGDTP特征值分解为正负编码的方式，即编码值不为1的均修改为0，得到正的编码特征。把编码值为-1的修改为1，其余全变为0，得到负的编码特征。过程如图4所示。

图5 LGDTP原理图

3 特征向量描述

采用LGDTP算子对轮胎痕迹图像中的像素进行特征编码，最终得到算法编码后的图像。在进行轮胎痕迹图像检索时，不会将编码后的图像直接作为特征向量进行检索实验，而是采用统计直方图作为图像的特征向量，这样有利于减少因图像位置而产生的影响。但是，位置和空间关系信息的存在提供了更好的特征表示，并且更精确地描述了图像内容。因此，为了结合图像的位置信息，本文将编码图像进行分割成多个区域，并统计每一个区域的直方图，最后对所有区域进行空间级联，获得LGDTP直方图。具体步骤如下：

1)将轮胎痕迹图像分为3×3分块，得到9块大小为m×n的图像分块。

2)采用公式计算每幅图像的特征值。

3)对分块后的子图像进行直方图统计。根据轮胎痕迹图像的纹理信息的位置分布的特殊性和减少特征维度，本文只取2，4，5，6，8子区域进行直方图级联，如图6所示。

4)将级联后的直方图作为整幅轮胎痕迹图像的特征。

图6 LGDTP算法特征向量描述图

4 LGDTP特征与CNN特征融合

卷积神经网络(Convolutional Neural Network， CNN)[14]是一种带有卷积结构的深层神经网络，该网络采用端到端 (End-to-end) 的学习模型，利用卷积运算由深到浅的提取不同层次的特征。包括五种类别的层：输入层 (data input layer)、卷积层 (convolutional layer， conv)、池化层 (pooling Layer， pooling)、全连接层 (fully connected layer， fc)和输出层 (output)。结构如图7所示。

图7 卷积神经网络结构图

为了更进一步提高LGDTP算法在轮胎痕迹图像数据库上的检索效率，本文结合卷积神经网络模型AlexNet[15]与LGDTP算法进行改进。由于轮胎痕迹图像数据样本少，AlexNet模型训练容易过拟合，检索效率和LGDTP算法比没有优势。因此本文基于AlexNet模型和ImageNet[15]数据库，对轮胎痕迹图像进行迁移学习训练，迁移学习[16]利用不同学习任务间的共性在任务间迁移知识，适用于小样本数据库。考虑到轮胎痕迹图像数据库的特殊性，本文将基于轮胎痕迹图像的迁移学习特征和LGDTP特征按权值进行融合得到基于迁移卷积神经网络的局部梯度方向三值特征。AlexNet架构如图8所示。

图8 AlexNet网络结构图

本文以ImageNet 数据库作为辅助数据库，以轮胎痕迹图像数据库为源数据集，选择卷积神经网络模型AlexNet作为基本的网络结构，在ImageNet数据集上的训练参数作为初始模型。然后在轮胎痕迹图像上利用迁移学习 (transfer learning)训练时，对softmax分类层进行微调训练，提取AlexNet的fc7层4096维特征，利用主成分分析(Principal Component Analysis，PCA)将提出的特征降低维度到1280维和本文提出的LGDTP特征分配不同的权值进行融合实验。经过实验测试，特征分量权重比例选为0.4：0.6。

5 实验结果

5.1 实验数据库及检索性能评价参数

本文实验在西安邮电大学图像与信息处理研究所(Center for Image and Information Processing，CIIP)自建的轮胎痕迹图像数据库(CIIP Tire Indentation Mark Image Database )上进行实验，图9为例图。其中轮胎痕迹数据库包括30类每类80幅图像共计2400幅，为了确保实验的对比性更强，本文在同样西安邮电大学图像与信息处理所自建的轮胎表面花纹数据库(CIIP Tread Pattern Image Database，CIIP-TPID)中选取同样规格的数据进行实验，图10例图。

图9 轮胎痕迹图像数据库

图10 轮胎表面花纹图像数据库

利用平均查准率作为检索性能评价指标，该指标越大表明检索结果越好，其计算公式为

(8)

其中S为查询结果中包含正确图像数目，K为查询结果的图像总数。

5.2 实验结果

实验1：不同距离衡量下图像检索 在轮胎痕迹图像数据库上，对LGDTP算法和LBP，LDP，ELDP，LDN，GDP，OLDP算法进行检索实验，并比较其性能。分别利用欧氏距离和曼哈顿距离计算相似度度量,,计算K=10时的平均查准率。结果如图11所示，可以看出曼哈顿距离在轮胎痕迹图像检索中效果优于欧氏距离。

图11 欧氏距离和曼哈顿距离检索效果比较

实验2：不同数据库上检索实验

在轮胎痕迹图像数据库和轮胎花纹图像数据库上，利用曼哈顿距离计算图像相似度，在轮胎痕迹图像数据库和轮胎表面花纹图像数据库上对本文提出的LGDTP算法和LBP，LDP，ELDP，LDN，图12和图13所示。

图12 轮胎痕迹图像检索结果比较

图13 轮胎表面花纹检索结果比较

可以看出，本文提出的LGDTP算法在轮胎痕迹图像数据库和轮胎表面花纹数据库上都比其它改进LBP的算法法提出的特征查准率高，而且在图像痕迹数据库上平均查准率提高更为明显。比如K=10时，几种纹理特征的平均查准率为50.7%， 49.1%， 47.8%， 45.9%， 45.8%， 43.1%，本文算法为57.8%，比原始LBP算法提高了14.6%。(给出具体数据提高百分比为例)，说明本文提出的算法更适应于描述轮胎痕迹图像。因为轮胎痕迹图像数据库图像痕迹信息多集中于图像中间，并且实际刑侦案件中采集的信息往往是不完整的，更多的轮胎痕迹图像纹理信息集中于图像中间。利用本文的图像区域选取方法提高检索准确度。并且该方法新颖性在于利用更稳定的梯度方向值来代替像素值和局部三值模式对轮胎痕迹图像进行描述，其更加稳定并且保留了更多的图像纹理信息。

实验3：传统特征和LGDTP对比检索实验

在轮胎痕迹图像数据库上对本文提出的基于梯度方向角的局部三值算法与传统的单一特征提取算法包括HSV颜色直方图，HU不变矩，DWT小波纹理进行性能比较，结果如图14所示。

图14 本文算法与传统特征的性能比较

可以看出本文提出的算法检索准确率优于上述几种特征。例如，在K=10时，局部梯度方向三值模式特征比HSV颜色直方图，HU不变矩，DWT小波纹理特征的平均查准率分别提高了14%，32.6%，25.9%。

实验4：融合特征检索实验

为了验证LGDTP特征和迁移学习训练模型特征融合算法在轮胎痕迹图像据库上的检索优异性， 分别和LGDTP特征和和不同维度的迁移学习训练模型特征进行比较，结果如图15所示：

图15 融合特征检索性能比较

可以看出基于迁移学习和LGDTP的融合特征在返回值越大的时候体现出了该算法的优势，在K=10时，平均查准率相对于其它算法分别提高了16.11%，15.83%，10.08%，说明本文提出的LGDTP特征和经过迁移学习训练网络的深度特征融合对轮胎痕迹图像具有更强的表征能力。

6 结束语

本文针对轮胎痕迹图像纹理信息复杂并且集中的特点提出了基于局部梯度方向三值模式特征提取算法，本算法利用更稳定的梯度方向值来代替像素值去描述轮胎痕迹图像，再利用局部三值模式对新的变换，通过曼哈顿距离进行相似度度量，与已有的算法相比具有更高的查准率，在轮胎痕迹图像数据库上的实验结果表明了本文提出的基于局部梯度方向三值模式特征提取算法更有效，又在LGDTP算法的基础上，结合AlexNet 网络和迁移学习的理论，提出将基于迁移学习的CNN特征和LGDTP特征分配不同的权值进行融合，得到更好的检索结果。