杨小容 曾宪琴

（1. 海军工程大学图书馆，武汉 430033；2. 国家知识产权局专利局专利审查协作广东中心，广州 518057）

科学数据是国家科技创新发展和经济社会进步的重要基础性战略资源，是科研创新最基本、最活跃、影响面最宽的科技资源[1]。越来越多的基于大数据的专利检索数据分析技术应用在图像检索领域。在20世纪70年代，图像检索技术[2-3]通过人力对图像的外部特征（如图像的作者、年代）进行标注，然后通过对文本的比对查找图像。然而，随着图像形式的不断丰富，这种采用文字对图像进行标注的方式已经越来越不能适应网络等高新技术的发展需求，且耗费大量的人力资源，严重影响了图像查询的准确度。为了克服这些问题，90年代开始有学者提出了基于内容的图像检索技术（Content-based Image Retrieval，CBIR）。CBIR技术是通过对图像自身的内容信息（如图像的颜色、纹理、形状、语义）进行分析和检索的技术，该技术比基于人工标引的图像检索更加客观，更能完整地表示出图像信息。现今，CBIR技术已经成为图像检索领域的一个侧重点，广泛应用于如遥感、医学和社会安全等领域，其作为一门多学科综合性技术，必将越发受到重视。

CBIR技术主要依托于基于内容的图像检索系统，该系统主要划分为两个子系统：特征提取和查询[4-5]。特征提取子系统首先对原始图像数据进行预处理，然后按照给定的提取方法提取图像的特征，用这些特征建立特征数据库。查询子系统是根据用户给定的范例图像，在特征库中查询出和它具有相同或者相似特征值的图像，返回给用户，以满足用户的要求。

下文主要从专利技术分领域及关键词的角度对图像检索专利技术数据进行获取，并进行处理、剖析、归纳、总结。在此基础上，从颜色特征、纹理特征、形状特征和语义特征等角度对图像检索技术发展路线进行详细分析。

1 图像检索专利数据获取与处理

1.1 图像检索专利技术分领域及关键词

目前图像检索领域的重点专利技术可以分为以下5个子领域[6-8]：①基于人工标引的图像检索；②基于颜色特征的图像检索；③基于纹理特征的图像检索；④基于形状特征的图像检索；⑤基于语义特征的图像检索。为了更好地对基于内容的图像检索技术专利进行针对性分析，笔者结合相关文献及工作实践对5个子领域的主要技术和检索关键词进行了归纳（见表1）。

表1 各子领域的主要技术和检索关键词

本文通过国家知识产权局专利局专利审查协作广东中心审查员常用的CNABS（中国专利文摘数据库）和VEN，分别对国内和国外基于图像检索的5个子领域的专利进行检索分析。其中CNABS收录了1985年至今所有中国专利文摘数据；而VEN数据库是由SIPOABS和DWPI组成的虚拟数据库，收录了1827年至今的97个国家或组织的专利信息。以上两个专利数据库是审查员工作中常用的两大中外专利数据库，数据量大、权威、可靠。其检索主要是运用“分类号+关键词”组合或者“关键词+关键词”组合，检索到大批相关专利文献，然后按年度、申请量、申请人、国别等维度进行数据统计分析，利用数据分析专用软件Matlab进行统计数据的可视化比对。

1.2 图像检索技术分解

技术分解可以进一步细化分类，有助于了解行业整体情况以及选取研究重点。图像检索技术主要分为基于标引和基于内容两个大的分支，其中基于内容又分为基于颜色特征、基于形状特征、基于纹理特征和基于语义特征4个小分支。

下面将基于图像检索各子领域的申请量随年度的变化趋势，对各子领域的专利申请特点进行分析，图1显示了图像检索各子领域的申请量随年度的变化趋势。

图1 图像检索子领域专利申请趋势

从申请总量曲线看，图像检索技术在1985—2000年处于起步阶段；2001—2009年申请量稳步上升； 2010—2019年迎来了继续快速发展。进一步细化分析5个子领域图像检索技术，可以清晰看到：基于人工标引的图像检索技术起步时间最早，发展势头最明显，我们经常使用的搜索引擎如百度、搜狐、Google、雅虎等都采用文本描述对图像进行检索，其技术难度较低，因此1985—2008年的申请量主要来自于基于人工标引的图像检索技术，2008年以后基于颜色、纹理、形状和语义的图像检索技术逐步发展起来，但申请总量仍小于基于人工标引的图像检索技术。图像的颜色特征是描述一幅图像最简便而有效的特征，它具有旋转不变性和尺度不变性，比其他特征更容易获取，由图1可见2008—2015年基于颜色特征的图像检索技术迎头追赶，发展势头喜人；同时2008年之后，基于纹理特征和基于形状特征的图像检索技术申请量也开始缓慢增加。而基于语义特征的图像检索涉及的主要技术包括标识、分类、检测和匹配，其通过提取图像的低层视觉特征，利用人工智能机器学习模型，如支持向量模型进行分类训练，最终获取图像的类别，并根据图像的类别来进行图像检索，其技术难度较大，因此从2009年开始才有缓慢发展。接下来主要对基于内容的图像检索技术发展路线进行分析。

2 图像检索专利技术申请趋势分析

2.1 国内专利申请分析

2.1.1 国内申请量分析

基于对图像检索5个子领域的分析，首先将图像检索大领域的关键词进行检索，然后利用各子领域的关键词进一步在结果中进行检索。

通过各技术子领域的申请量占比分析可知，基于人工标引的图像检索的专利申请量最大（占比49%），其次是基于颜色特征的图像检索（占比26%）和基于形状特征的图像检索（占比12%），基于纹理特征的图像检索（占比7%）和基于语义特征的图像检索（占比6%）专利申请量较小。这是因为基于人工标引的图像检索技术起源最早，技术难度低，发展最成熟。而在基于低层视觉特征的检索中，颜色特征是描述一幅图像最简便而有效的特征，且比其他特征更容易获取，因此，基于颜色特征的图像检索专利申请较多。

2.1.2 国内主要申请人分析

对检索结果的申请人进行统计发现，国内图像检索领域的主要申请人为中日韩企业及中国高等院校。其中申请量排名前十的申请人依次是三星、百度、索尼、中国科学院、奥林巴斯、北京大学、西安电子科技大学、佳能、三菱、微软。

进一步对授权的专利进行统计分析，得到授权专利的主要申请人，如图2所示。

图2 授权专利申请人的申请量和授权量统计

可以看出，申请量较大的申请人，其授权量也较大，如韩国的三星和日本的索尼，说明这些企业的图像处理技术和图像检索技术都非常强，图像检索技术主要集中在日韩的相机企业当中，以后在专利审查过程中可以重点对这部分申请人进行追踪检索。而国内的百度和腾讯虽然申请量比较大，但授权量却很低。高校中，西安电子科技大学的申请量虽然很大，但其授权量很小，上海交通大学、清华大学、华中科技大学的申请量虽然小，但授权量大，可见高校在图像检索领域的专利授权率比较高。这是因为图像检索技术具有较强的科研学术性质，并且高校申请人所申请的专利一般都涉及算法，其权利要求的撰写十分冗长，导致保护范围非常小，结合专利审查的标准，在这种情况下获得授权的机会较大。

2.2 国外专利申请分析

2.2.1 国外申请量分析

利用图像检索相关关键词对国外专利申请进行检索，并对检索结果进行统计，发现国际上图像检索领域的申请最早在20世纪70年代，1975—1985年处于起步阶段，1986—1997年处于稳步发展阶段，1998—2010年迎来图像检索技术的快速发展阶段，2011年之后图像检索技术趋于成熟。

2.2.2 国际申请国别分布

国际上图像检索领域的申请主要集中在日本、美国、中国、欧洲、韩国和中国台湾地区。其中国际上申请量最大的国家是日本，这与国内申请是一致的，但是韩国在国际上的申请量较低，排在第五位，反而中国在国际上申请量很大。对此，笔者认为可能是由于中国在国际申请过程中，申请文件被当作同族文献也被统计导致的。

3 图像检索关键技术的发展路线分析

3.1 基于颜色特征的图像检索技术发展路线分析

3.1.1 基于颜色特征的图像检索技术发展路线分析

目前颜色特征的描述方法主要有颜色直方图法、颜色相关图法、颜色矩法、颜色聚合矢量法等。从图3可以看出，2000—2012年国内基于颜色图像检索领域的专利申请大都集中在基于颜色直方图提取的技术领域，颜色直方图是比较直观也易于提取的图像特征，也是最早开始发展的特征，在2012年以后，国内才广泛开始基于颜色相关图法、颜色矩法、颜色聚合矢量法等的研究。而国际上基于颜色特征的图像检索技术起源较早，发展较为成熟，2003年开始就具备了基于颜色直方图、相关图、颜色矩、聚合矢量提取图像颜色特征的技术，超前国内足足十年时间。从整体上看，图像颜色特征提取方法经历了由整体颜色特征到区域颜色特征到多区域颜色特征加权融合的发展，也由早期的单一颜色特征提取方法发展到后期多种颜色特征提取方法结合使用。

图3 基于颜色特征的图像检索技术发展路线

3.1.2 基于纹理特征的图像检索技术发展路线分析

纹理是图像的重要低层物理表征，广泛存在于各种自然物体表面。目前，纹理的描述和分析方法很多，较为常用的纹理特征描述方法有基于统计的描述方法、基于信号处理的描述方法、基于几何的描述方法以及基于模型的描述方法等。如图4所示，基于纹理特征的图像检索领域的专利申请均始于国外，国内的专利申请始于2012年并主要集中在基于统计的描述方法和基于模型描述方法两方面。在实际的研究中，学者通常结合多种描述方法，使提取的纹理特征更有效。

图4 基于纹理特征的图像检索技术发展路线

3.1.3 基于形状特征的图像检索技术发展路线分析

不同于颜色和纹理等特征，形状特征的提取必须建立在对图像中物体或区域的边缘提取和分割的基础上。对形状特征的描述，既可以描述其边界特征，也可以描述其所包围的区域。所以，目前常用的形状特征描述方法主要分为以下两种：基于边界的形状描述和基于区域的形状描述。从图5可以看出，基于形状的图像检索技术在2009—2014年得到一个快速的发展期。基于边界的形状特征描述主要技术包括边界点的提取和表示方法，其主要度量方法包括边界面积、边界相对位置距离等，其发展路线由单因素边界形状度量发展到多因素形状度量；基于区域的形状特征提取，主要经历了由单区域形状描述到多区域形状融合的发展路线。

图5 基于形状特征的图像检索技术发展路线

3.1.4 基于语义特征的图像检索技术发展路线分析

由于基于语义特征的图像检索专利申请量较小，本文没有对该技术的发展路线进行分析，下面对基于语义特征的图像检索相关技术进行一个说明。

基于语义的图像检索一般指的是基于目标和高级语义的图像检索方法。在原有检索系统中加入高级语义到低层特征的转化，可以在不改变现有的图像特征库和匹配方式的情况下，实现基于语义的图像检索。这种检索方法的目标是最大限度地减小图像简单视觉特征与丰富的语义之间的语义鸿沟。一般而言，高层的图像语义往往建立在较低层次的语义获得的基础上，并且层次越高，语义越复杂，涉及的领域知识越多。随着语义技术的不断发展与完善，相信基于语义特征的图像检索也会迎来一个大发展时期。

3.2 基于内容的图像检索专利技术的发展趋势

由以上分析可知，2010年以后，颜色特征提取技术以及图像匹配技术仍然在申请量中占有较大比重。这表明申请人非常注重具有鲜明视觉信息的颜色特征表达以及能够直接影响检索效果的相似性度量技术方面的知识产权保护。一方面是因为颜色特征相对较易提取，选取合适的颜色特征表达方法，可以给技术方案带来较好的技术效果；另一方面是因为任何一个基于内容的图像检索系统都离不开图像匹配技术，具有了一系列特征表达方法后，更需要有一套合适的图像匹配方法，其直接关系到图像检索效果的好坏。因此，颜色特征提取技术以及图像匹配技术在未来一段时间内，将仍然是申请人专利保护的重点。

同时，该领域内已经逐渐出现了一些新的研究热点：如从颜色的物理、视觉、心理等方面来研究颜色特征，如何解决图像的低层特征和高层语义之间的语义鸿沟，如何设计用户的反馈方式和充分利用反馈信息等。可以预见，随着这些热点技术的研究逐渐深入，将会出现越来越多的相关专利申请。

4 结论

本文结合相关专利申请，对图像检索专利技术发展状况、关键技术的发展路线及发展趋势进行了详细的分析。通过对以上分析可知，图像检索技术从20世纪70年代开始，从基于人工标引的图像检索技术发展到基于内容的图像检索技术。基于人工标引的图像检索技术采用文本描述对图像进行检索，其技术难度较低便于应用发展。随着技术的发展，基于颜色、纹理、形状和语义特征的图像检索技术也必将迎来大发展，而这些领域的专利申请将会占据图像检索专利的半壁江山。图像检索技术的推动是由基于低层视觉特征的图像检索向基于高层语义特征的技术发展，目前，基于低层视觉特征的图像检索技术已相对比较成熟，基于高层语义的图像检索技术将会成为图像检索技术接下来发展的主要方向，将会出现越来越多的相关专利申请。