基于深度学习的草图检索方法研究进展*
2021-12-23姬子恒
姬子恒,王 斌
(南京财经大学信息工程学院,江苏 南京210023)
1 引言
基于内容的图像检索技术CBIR(Content-Based Image Retrieval)[1 -3]是计算机视觉和图像处理领域一个重要的研究方向,其任务是在图像数据库中检索与用户所提交样本图像在内容上一致或相似的图像,主要是通过对图像底层特征的比较来实现。CBIR执行的前提是需要用户提供一幅自然图像,以表达用户的检索意图。但是,在实际应用中,找到一幅准确表达用户检索意图的自然图像并不容易,且在很多情况下,很难得到这样的自然图像,从而限制了用户的个性语义表达。一个替代的方法是,用户可以提供一幅自画的草图来表达其检索意图,因此基于草图的图像检索技术应运而生。基于草图的图像检索SBIR(Sketch Based Image Retrieval)是CBIR检索形式的扩展,相较于CBIR,手绘草图可更方便、更直接地表达用户的检索意图。图1a为使用百度CBIR识图检索系统,用鸭子的自然图像作为检索图像,返回的前4个图像的检索结果;图1b为Pang等人[4]实现的SBIR检索系统,用鸭子草图作为检索图像,返回的前4个图像的检索结果。从图1可以看出,SBIR的检索结果差强人意,对比两者输入图像可获取的信息,易看出SBIR更具有挑战性。

Figure 1 Retrieval examples of CBIR retrieval system and SBIR retrieval system图1 CBIR检索系统和SBIR检索系统的检索例图
草图可以简单分为专业素描与简易草图,在计算机中,专业素描往往以灰度图像的形式表示,而简易草图为二值图像[5],如图2所示。在现实生活中,素描图像通常由专业人员绘制而成,从应用的角度来看,专业素描不具有普遍性,所以研究者们将研究集中于简易草图。……
