刘 焱

(青岛酒店管理职业技术学院 工商管理系，山东 青岛 266100)

引言

图像检索是一种通过给定查询方法在大型数据库中查找相似图像的技术。基于手绘草图的图像检索是图像检索的一个分支。手绘草图与自然图像具有较大差异，没有丰富的颜色信息和纹理信息，因此，将草图的特征与自然图像的特征进行匹配是一项非常困难的任务。图像检索[1]主要有两种方法：距离度量法和分类法。距离度量法是通过计算两个图像的两个特征之间的距离来显示最相似的图像[2,3]。分类法则是通过分类模型对检索目标的类别进行预测从而实现检索，最常用的分类模型一般为支持向量机或K最近邻模型[4]。

在手绘草图的检索领域，Peng[5]提出了一种跨模态子空间学习方法，在语义上建立了跨越两种模态的公共低级子空间，有效实现了跨模态草图检索。Swain[6]提出了颜色直方图方法，通过计算图像中每个颜色像素的比例以及它们之间的相似性从而获得颜色直方图。Seddati[7]提出的DeepSketch，使用深度卷积神经网络来获取ConvNets特征，并使用k最近邻进行草图相似度搜索。当前基于手绘草图的检索大多数针对自然图像，而很少在纹理上进行。

纹理检索通常包括特征计算和图像检索两个步骤。[8]纹理的计算特征可以概括为传统手工特征和深度特征。传统手工特征以Gabor和LBP[9]为例，在目标识别和图像分类领域取得了良好的实验结果。深度特征主要是指通过深度卷积网络提取的特征，是数据的高级表示，常见模型包括自动编码器，稀疏编码，受限玻尔兹曼机(RBM)，深度置信网络(DBN)和卷积神经网络(ConvNet)，通过卷积神经网络学习的深度特征在许多计算机视觉任务中表现出与传统手工特征相当的甚至更高的性能[10]。

本文提出了一种基于手绘草图的自然纹理图像检索框架。通过将手绘草图的特征与自然纹理图像的特征进行拼接，获得了具有人类感知约束的新特征向量，随后将成对的特征送入随机森林模型进行训练，学习手绘草图与自然纹理图像之间的相似性，并基于感知相似性预测实现了手绘草图检索过程，实验结果证明了该方法的可行性。

1. 心理物理学实验

1.1 自然纹理数据

本文中选择的数据库是DTD数据集[11]，包含47个类别，每类120个自然纹理图像，总共5640个自然纹理图像。在我们的实验中，从每个类别中随机选择了10张，总共470张自然纹理图像形成了一个名为DTD-R的新实验数据集，如图1所示。这是因为心理物理实验对实验数据量有限制，因此该实验无法同时处理过多的数据。在DTD-R数据集中，我们进行了自由分组实验和手绘草图收集实验。

图1 DTD-R数据集中的典型自然纹理图像

1.2 自由分组实验

1.2.1 实验方案

实验在470张自然纹理图像中进行。实验分为自由分组实验和分组合并实验两部分。

1)自由分组

(1)使用同一台打印机打印470个样本，并将其随机分为10组，一组中有47个样本。

(2)实验期间，将一组中的47个样本散布在桌面上。被试者应仔细观察样品，并根据其相似性自由分组。一组中的样本应该显示出高度相似性，而不同组中的样本应该表现出无相似性。组的数量和一组中的样本数量不受限制。被试者可以在实验期间自由移动样本。

(3)将47个样本分组后，被试者应再将47个样本分组，也就是说，应将这些样本放入现有的组或新的组中。被试者可以新建、合并、删除组。

(4)重复分组实验，直到完成10组。应该注意的是，一个自然纹理图像不能作为一个组使用，并且在自由分组实验的过程中没有时间限制。

2)分组合并

(1)自由分组实验后进行分组合并实验。被试者需要对自由分组后的样本进行合并，合并的数量没有限制。在实验过程中，被试者可以自由合并组，但不能拆开组。只有当不同组之间存在相似性时，才可以进行组的合并，并且记录合并组的置信度。

(2)重复合并步骤，直到被试认为没有组可以合并为止。

1.2.2 实验结果分析

根据心理实验的结果，计算了470种自然纹理图像的感知相似度矩阵Stexture和47个不同类别的感知相似度矩阵Sclass。

(1)

在分组合并实验中，根据被试者提供的置信度，将原本的感知相似性与置信度相乘，并将它们添加到自由分组矩阵中。相似度矩阵公式为：

(2)

其中α是分组组合实验中的置信度，Stexture中的元素Sm,n表示样本m和样本n的相似系数。Sm,n越接近1，代表更多的被试者将两个样本分为一组，即样本对(m，n)彼此越相似。

自由分组实验获得的纹理相似度矩阵Stexture如图2所示。横坐标和纵坐标表示不同的纹理样本，样本的相似性用灰度深浅表示。坐标点(m，n)上灰度的深浅表示样本m和样本n之间的相似性。颜色越深，样本之间的相似度越高。从图2可以看出，大多数子块的颜色趋于白色，数据显示不同类别的纹理样本之间的相似度非常低，而同一类别的纹理之间的相似度很高。

图2 通过自由分组实验获得的470×470纹理感知相似度矩阵

1.3 手绘草图收集实验

1.3.1 实验方案

为被试者提供了自然纹理图像和带有方框的A4纸张，要求使用铅笔进行绘制。十名被试者分别绘制了20幅草图，两名具有绘画经验的被试者绘制了470幅图像。每次计算机显示纹理时，被试者将根据纹理图像绘制草图，并在绘制后写下纹理编号。被试者绘画没有时间限制，绘画期间他们可以随时休息。绘制后，收集所有被试者绘制的草图并使用HP(M1552n)扫描仪进行扫描，分辨率设置为300像素。

1.3.2 实验结果分析

实验中总共收集了1140张手绘草图。使用MATLAB对扫描的图像进行剪切和二值化处理，可获得手绘纹理草图的DTD-S数据集。原始纹理图像a和相应的手绘草图b如图3所示。

图3 自然纹理图像和相应的手绘草图

被试者手绘草图的时间略有不同，花费时间为5 min，470个手绘草图大约花费40 h，这些数据非常有价值。两名未参与草图收集实验的被试者参加了验证实验，用来验证手绘草图是否可以代表自然纹理图像。在验证实验中，手绘草图和在自然纹理图像同时显示在计算机屏幕上，被试者使用Y/N来确定手绘草图是否与相应的自然纹理图像一致。实验证明，手绘草图能有效代表原自然纹理图像。

2. 基于手绘草图的纹理检索

2.1 特征提取和距离计算

特征提取是纹理检索过程中非常重要的部分。合理的特征选取将大大提高检索的准确性和效率。本文测试了四个代表性的计算特征，包括Gabor，LBP，PCANet[12]和VGGNet[13]。其中，Gabor，LBP是手工设计的特征提取方法，PCANet和VGGNet是通过深度学习方法提取特征，相应的特征可以称为深度特征。这些特征在不同的纹理数据集上均取得了良好的分类结果。

距离测量广泛用于纹理检索和纹理相似度估计。为了测试上述四个计算特征是否能很好地代表手绘草图和原始纹理图像，我们使用距离测量来计算草图之间的距离和相应的自然纹理之间的距离，并使用计算得出的距离。距离度量是余弦相似度：

sim(Fimg1，Fimg2=/‖

(3)

(Fskth1，Fskth2)=/‖Fskth1‖‖Fskth2‖

(4)

其中Fimg1和Fimg2代表数据库中纹理图像的特征向量，Fskth1和Fskth2表示相应草图的特征向量。根据该公式，可以计算出自然纹理之间的相似度和草图之间的相似度。在上述四个特征空间上计算距离，并计算不同纹理和相应草图之间的相关系数。

表1 纹理和草图之间的相关系数

从表1可以看出，原始自然纹理图像与相应的手绘草图之间存在一定的相关性，不同特征计算出的相关性差异较大。我们希望找到一个有效的特征，可以描述自然纹理图像和对应的手绘草图。

考虑到传统手工特征和深度特征的不同属性，将传统手工特征和深度特征组合在一起，然后将它们发送到自动编码器进行编码，并重建输入特征。实验参数设置为：λ(1e-11)，β(0.001)，并且每个层的稀疏度都设置为0.1。减小输入要素的维数，并得到与原始要素具有相同表示的低维特征。我们使用相关性分析测试了不同的特征组合和不同尺度特征的相关性，实验结果如表2所示。

表2 组合特征的相关系数

从表2可以看出，由自动编码器编码的组合特征具有较强的表达能力，可以更好地表现自然纹理和手绘草图。其中，Gabor特征和PCANet特征的组合获得了最佳的实验结果。

为了测试基于草图的检索中上述不同特征的性能，我们尝试了传统的距离度量。表3显示了选定的手绘草图和检索到的自然纹理图像。表格的第一列显示了随机选择的手绘草图，第二列显示了相应的参考自然纹理图像，第3列代表在不同特征空间中最接近手绘草图的三个自然纹理图像，分别使用LBP，Gabor，PCANet，VGGNet，LBP+PCANet，LBP+VGGNet，Gabor+PCANet，Gabor+VGGNet特征进行检索的结果。

表3 基于距离测量的检索结果

从表3可以看出，在这些特征空间中，距离度量方法无法根据手绘草图检索出所需的自然纹理图像，并且检索到的结果与视觉中的真实值有很大差异，无法满足要求。

2.2 检索框架的设计

由于手绘草图非常抽象，简单的距离度量方法不能有效判断手绘草图与自然纹理图像之间的距离，基于距离度量的手绘草图检索不适用于自然纹理图像，并且距离度量仅对手绘草图和自然纹理图像之间的关系约束较弱。因此，我们提出了一种基于随机森林的手绘草图检索方法。

随机森林可以用于学习手绘草图与自然纹理图像之间的相似性。在学习了两个图像之间的相似性之后，它会根据手绘草图与所有其他自然纹理图像之间的相似性进行排序，输出较高相关度的图像，以获得最终的检索结果。

图4 相似性预测和纹理检索的过程

在感知纹理空间中，任意两个纹理之间的心理物理相似度值从0到1变化。如果相似度值近似为1，则表示两个纹理高度相似。如果相似度值近似为0，则表示两个纹理彼此非常不同。根据使用不同方法从样本中提取的心理物理相似度值和特征，可以基于随机森林训练相似度预测模型。

给定查询纹理，使用训练好的随机森林模型预测的感知纹理空间中的相似度值，在检索中使用根据距离测量在感知空间中获得的相似度值来获得检索结果。由于手绘草图与自然纹理之间没有直接相似性数据，因此我们将通过心理物理实验获得的相应成对自然纹理图像之间的相似性值用作训练标签，使用随机森林模型可以预测两者之间的相似性。我们使用欧几里得距离作为测量标准来计算距离测量。欧几里得距离公式：

(5)

其中x和y表示输入的特征草图和纹理，D(x，y)是向量x和向量y之间的距离，特征的维数是n。两个特征之间的距离变小，代表两个纹理之间的相似度逐渐增加。基于预测的相似度值，将输出具有最高相似度值的纹理。相似性预测和纹理检索的过程如图4所示。

2.3 检索实验结果

我们使用表2中测试性能最佳的计算特征，Gabor+PCANet特征，用于在本文提出的框架下进行检索实验。在训练过程中，提取手绘草图的Gabor特征和PCANet特征，然后将其与自然纹理数据集中自然纹理的计算特征相结合，并送到随机森林中，使用从心理物理实验获得的相似性矩阵作为训练标签进行训练。我们随机选择了2820张图像(60张图像/类别×47个类别)和1000个草图作为训练数据，其余的2820张图像(60张图像/类别×47个类别)和140个草图作为测试数据。实验过程如下：

(1)提取手绘草图的计算特征，然后与离线存储的自然纹理计算特征相结合；

(2)发送到经过训练的随机森林回归模型中进行相似性预测。

(3)在感知空间中比较相似性值，对所有纹理对的相似性进行排序，并输出前三个相似性最高的纹理图像作为检索结果。实验结果如表4所示。

表4 基于随机森林的检索结果

从结果可以清楚地看到，使用随机森林训练的模型预测相似性值获得的检索结果符合给定纹理的外观。实验结果表明，本文提出的检索方法可以有效地完成纹理检索，检索结果与人类视觉感知一致。

此外我们还进行了分类检索实验。检索实验完成后，我们判断输出TOP40的纹理是否与查询纹理属于同一类别。表5中显示了10倍交叉验证的准确性。

表5 分类准确性

实验表明，本文的方法可以有效地利用手绘草图进行分类和检索，使用Gabor+PCANet特征获得最佳分类结果。

当前，在基于草图的识别和检索中，常用的数据集大部分是物体的数据集，而没有用于纹理图像的手绘草图。为此，本文设计了一个草图收集实验，该实验从经典的纹理图像数据集DTD中选择了具有代表性的纹理图像，邀请多个被试者参考给定的纹理进行绘制，收集了上千幅纹理手绘草图，创建了手绘的自然纹理图像数据集。

我们将传统手工特征Gabor和深度特征PCANet相结合，有效地表示手绘草图和自然纹理图像，构建了基于手绘草图的自然纹理图像检索框架。将手绘草图纹理特征与自然纹理图像特征相组合，获得具有人类感知约束的新特征向量，并将组合后的特征向量用于训练随机森林回归模型。通过与自由分组的心理物理实验获得的纹理图像之间的感知相似性进行对比验证，证明该模型可有效应用于检索。

3. 结语

基于手绘草图的图像检索是图像检索的一个重要分支，在使用手绘草图进行检索的时候，由于手绘草图存在内容不详细，信息量少，变形严重等缺点，导致草图和自然图像之间存在巨大差异，很难实现匹配，因此找到可靠的特征来同时表征自然图像和手绘草图非常重要。针对自然纹理图像和手绘纹理草图，本文提出了一种基于随机森林纹理相似度预测的纹理检索新方法。实验证明，该方法能够预测手绘草图与自然纹理之间的感知相似度，并且得到与人类的视觉感知相一致的检索结果。

尽管随机森林方法取得了较好的结果，但是模型训练所需的时间仍然是需要改进的主要瓶颈。由于手绘草图中缺少大量信息，因此某些检索实验无法获得所需的结果。此外，具有心理信息的纹理的数量是有限的，为了获得更好的检索结果，需要在模型训练过程中应用更多具有相似性的纹理。