姚雪梅

摘 要 大数据时代，视觉资源的指数级增长，对数字图书馆资源建设、组织提出了更高的要求，同时用户希望获取强关联、多维度、交互式、可视化的资源输出形式，而数字图书馆移动视觉搜索应用为此提供了有效的解决方案。文章首先概述了移动视觉搜索的发展现状、与传统信息检索的区别，分析了移动视觉搜索的关键技术及基本服务模式，最后，探索了移动视觉搜索在数字图书馆中的应用。

关键词 移动视觉搜索 大数据 数字图书馆

分类号 G250.76

DOI 10.16810/j.cnki.1672-514X.2019.05.012

Abstract In the era of big data， the exponential growth of visual resources puts forward higher requirements for the construction and organization of digital library resources. At the same time， users want to obtain a multi-dimensional， interactive， visualized resource output form with strong correlation， and the application of mobile visual search in digital library provides an effective solution for this. This paper first outlines the development status of mobile visual search and the differences between mobile visual search and traditional information retrieval， analyses the key technologies and basic service modes of mobile visual search， and then explores the application of mobile visual search in digital libraries.

Keywords Mobile visual search. Big data. Digital library.

0 引言

随着移动互联网、智能移动终端及云计算的迅速崛起，资源的存储空间不断扩大，互联网资源的数据结构更加复杂、多样，除文本外，越来越多的图片、视频资源呈爆炸式增长，且图片、视频资源所蕴含的信息有时比文本资源更为丰富。在现实生活中，我们往往通过手机摄像头对准实物进行搜索，摄像头成为了移动互联网时代的入口，就像PC时代的搜索框一样，及时获取与实物相关的所有信息，包括其评价、描述、购买链接等。根据eMarketer2017年的调查结果，有超过75%的美国网友在购物之前会搜索产品的视觉外观和效果，只有3%的人从来不会搜索产品外观；每天网站上分享的图片超过3亿张；消费者消化图片的速度比文字快6万倍。根据Slyce（视觉搜索初创公司）2015年调查显示，74%消费者认为用文字搜索商品效率很低。根据全球营销行业报告，2019年图像识别市场的价值会是2014年的216倍，达到25.65亿[1]。从以上这些发展现状和调查数据可以看出移动视觉搜索市场发展潜力是十分巨大的。移动视觉标签搜索与识别成为未来具有重要影响的关键技术之一。

大数据时代，图书馆作为资源集散地之一，在移动视觉搜索领域大有可为。考虑到用户希望在检索时能够返回与检索结果相对应的其他增强辅助信息，如视频、音频、相关网页链接等，图书馆可以基于其丰富的图像资源，将手机镜头、图像层和视觉识别整合在一起，为用户打造一个无缝的阅读体验。移动视觉搜索的应用也为资源的揭示、重组与关联提供了新的依据，为图书馆创新服务模式、提高服务效能提供了新的增长点。

1 移动视觉搜索概述

1.1 移动视觉搜索的发展现状

移动视觉搜索是对信息检索的继承和发展，是指通过移动智能终端（如智能手机、平板电脑等） 获取物理世界中的视频、图像等，以视觉对象作为检索对象，通过移动互联网去检索关联信息的一种信息获取方式。

2009 年，在斯坦福大学主办的第一届移动视觉搜索研讨会上，Girod 等首次系统地提出了移动视觉搜索（Mobile visual search）的概念，并将其引入了信息检索领域。2011 年1月，北京大学承办了第二届移动视觉搜索研讨会，探讨了如何将视觉分析、深度学习、人工智能等前沿技术进一步融合到该领域，提升用户的移动视觉搜索体验[2]。目前，移动视觉搜索技术仍处于发展阶段，国内外对该主题研究主要集中在科技、工程、商业领域，公共文化服务领域学者涉猎较少。但近年来，不少图书馆界学者也已关注到移动视觉搜索的价值，对移动视觉搜索和图书馆的结合开展了研究。如，南京大学信息管理系朱庆华教授带领的团队，承担的国家社会科学基金重大项目“面向大数据的数字图书馆移动视觉搜索机制及其应用研究”，从關联数据[3]、众包模式[4]、游戏化机制设计[5]3个方面进行了初步探索；曾子明将 SoLoMo 理念融入移动视觉搜索服务，并在此基础上提出了智慧图书馆移动视觉搜索服务模式[6]；李晨晖、张兴旺等为实现文化遗产的长久保存和合理开发利用，提出了基于大数据的文化遗产数字图书馆移动视觉搜索机制[7]等。

但上述研究内容多为理论上的探讨，具体实践还存在着许多技术和应用方面的不足，尚未进入到大规模应用推广阶段。

1.2 移动视觉搜索与传统信息检索的主要区别

移动视觉搜索是传统信息检索的延伸和发展，检索由传统的手动文字检索变为物理世界存在的图像、视频、立体模型等图像输入，实现对文本、图片、视频等多媒体资源有效的关联，使搜索结果更加丰富、立体，给用户带来了全新的检索体验。生活中遇到难描述清楚的物体或图片时，我们特别希望无需用关键词搜索就能找到想要的信息。而移动视觉搜索最大的优点就是可以在場景内直接拍摄实物或图片搜索到相关信息，使用户能够直观地进行选择。要实现这一功能，需要具有强大的图像、视频处理装置，视觉资源库，具有GPS等功能的移动设备。而传统资源检索模式是通过PC端或智能终端对图书馆OPAC资源、数据库等结构化信息进行检索。

移动视觉搜索将促进新一代嵌入式协作化的知识交互及知识服务模式的发展。在互联网环境下，用户通过移动终端，可随时获取全面的信息服务，并开展交互式知识交流、管理及发现活动。移动视觉搜索将重塑图书馆信息搜索模式，提升信息检索体验，并由此带来图书馆服务模式的转型与升级，具有非常广阔的发展应用空间。

2 移动视觉搜索的实现技术与服务模式

2.1 移动视觉搜索相关技术

移动视觉搜索系统是一个复杂的系统，涉及的应用技术较多，是计算机、互联网、通信、图片搜索等学科技术的综合应用。总的来说，移动视觉搜索的关键技术主要有以下几类。

（1）大数据技术。构建视觉资源库是移动视觉搜索的基础，移动视觉搜索引擎首先需要从网络中抓取大量的视觉信息，并在合理的时间内完成对海量的信息的分析处理，这是一个巨大的挑战。大数据技术主要涉及对海量数据的采集、存储、分析处理、访问，可以有效的解决这一问题，如数据挖掘技术、并行计算技术等。同时，移动视觉搜索的效率、效果，关系到搜索质量和用户搜索的最终体验，而数据库越大，对大数据算法的要求就越高。这就涉及数据特征描述、抽取的准确性等方面。可以在多个维度上进行特征提取，并改进索引结构，使其变成多级索引，使返回的结果准确性更高。这都涉及到大数据相关技术的应用。

（2）视频搜索技术。视频是由多个图片组成的，而通过视觉特征分析技术能够实现精确到每一帧的智能搜索。首先对视频进行结构化分析，通过对视频流进行镜头分割、关键帧提取和场景分割等处理得到视频的结构化信息。待视频的结构化分析完成后，进行特征提取。特征提取是进行视频搜索的前提和基础，要实现对视频的有效检索，就必须先对视频资源进行有效的建模、表示，实际上就是通过分析视频数据、提取描述特征，如视觉特征、听觉特征、文本特征、其他特征等，从而得到视频模板[8]。

（3）智能定位技术。智能定位技术主要解决你在哪里，附近有什么资源的问题。开发有效的室内定位新技术是近来学术界的研究热点内容，是未来真正实现人工智能服务的重要技术之一，如谷歌研发的室内视觉定位服务技术、苹果致力推动的基于低功耗蓝牙的iBeacon室内定位技术等。然而，受室内复杂的环境影响，要想实现准确、可靠的室内定位具有很大的挑战性。而目前智能手机内置多种传感器，支持丰富的射频信号，可提供不同的定位源，为推进智能定位发展提供了更多的可能。

（4）虚拟现实技术、增强现实技术。虚拟现实技术（VR）是一种能够创建和体验虚拟世界的计算机仿真技术， 它利用计算机生成一种交互式的三维动态视景。增强现实技术（AR）是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动[9]。虚拟现实技术本质是用虚拟的事物取代真实的世界，而增强现实技术却是在实际的环境上扩增信息。如AR图书馆导览、VR自助借还系统等应用，不仅可360度查看图书馆环境，实现多元化交互，而且颠覆了传统的图书馆借还服务。

此外，智能手机上提供的自然语言搜索技术、语音交互技术应用已经开始逐步走向成熟，可以为移动视觉搜索服务带来更多的解决方案。

2.2 移动视觉搜索的服务模式

如图1所示，移动视觉搜索模式的构建过程首先是对移动互联网大数据进行数据获取、分析、存储，构建视觉数据库，主要基于传统的文本搜索、语音分析技术，和较为复杂的视觉特征分析技术来实现，而视觉特征分析技术是移动视觉搜索的核心技术，包括提取视觉特征，如图像的颜色、纹理、形状等。当用户通过移动智能终端的传感器等装置获取视觉图像，对移动视觉搜索系统提出查询请求时，系统对用户的需求进行分析和处理，同时利用数据挖掘、人脸识别等大数据、人工智能技术，将用户的视觉图像与移动视觉知识库中的资源进行关联、匹配，最后返回给用户相关图像、音频、文字、链接等综合分析结果。这种服务模式可以使用户针对某一图像、模型等事物，获得更加全面、具体的输出结果，用户体验度较高。

3 移动视觉搜索在数字图书馆中的应用探索

随着互联网、移动搜索、大数据等技术应用的不断成熟，移动视觉搜索将重塑图书馆信息检索模式，并由此带来图书馆服务模式的转变，使用户获得一站式检索体验，具有非常广阔的发展空间。

3.1 图书馆阅读推广、知识发现服务

传统的阅读推广形式多趋于活动类，多集中于“世界读书日”“读书节”“读书月”“图书馆宣传周”期间开展，服务内容多以书刊推荐、用户培训及展览、讲座为主。大数据环境下，随着用户搜集、利用资源方式越来越倾向于移动端，图书馆也应顺势而为，利用大数据技术、移动视觉搜索相关技术、数据关联等技术，将馆内图书、数据库、电子资源内的图片、文字信息进行关联和整合，并通过移动终端设备有效的推介出去，以馆内视觉对象资源作为检索点，使用户通过移动端进行图片、二维码扫描即可获得相关资讯，创新阅读推广模式。

同时，图书馆的资源类型丰富、多源且异构，将移动视觉搜索融入图书馆阅读推广服务中，不仅能有效地帮助用户从海量的文本、图像和视频等视觉数据中快速找到其感兴趣的信息，而且能够整合、揭示、组织图书馆的各类资源，使数据得到有效的关联，构成“知识网络”[10]，提炼出新颖、有效、潜在有用的知识，为用户提供知识发现服务，从而激发读者的阅读兴趣，提高图书馆资源的利用率。

3.2 图书馆数字人文、专题资源建设

数字人文为人们多元化开发历史文献资源提供了新的视角，目前图书馆多重视传统资源的揭示，对于一些非传文献统资源如古籍、名人书画、专家手稿、家谱、珍贵影像资料等，由于其文献的特殊性，对其揭示和传播利用较少，没能充分发挥图书馆应有的文化价值优势。移动视觉搜索为这些资源有效深层次的揭示和检索提供了可能，如可以使用户通过移动终端设备对看到的视图资料进行拍照或二维码扫描，系统会返回拍摄内容的相关文本、图片、语音及视频等深层次信息介绍，从而激发用户兴趣，增强读者的阅读体验。改变以往仅重视收藏和孤立静止的外在展示方式，使特色文化资源能够通过数字科技手段展示其背后故事和深刻的内涵，将信息技术和文化建设结合起来[11]。

图书馆领域的技术应用和服务内容应围绕其所蕴含的资源来展开，将图书馆OPAC 资源、数字资源（自建数据库、外购数据库等）、电子图书类、电子期刊类、外文数据库、影音数据库、古籍数据库、专题数据库等资源有效地整合起来，根据馆藏情况和读者需要，围绕特定的领域和主题进行专题资源建设，使用户可以依托移动智能终端关联到自己想要阅读的专题信息资源。

3.3 数字图书馆空间再造

近些年来人们多样化的空间需求变化，使图书馆作为“空间”“场所”存在的理念逐渐被业界广泛接受，许多图书馆试图将自身打造为集文化、休闲、娱乐于一体的文化综合体，与此同时“信息共享空间”“学习共享空间”“第三空间”“创客空间”“智能空间”等概念不断涌现，旨在探索空间再造的形式与服务模式。以创客空间为例，空间内汇集了文献资源、数据库、图片资源、三维模型、3D打印机等，支持用户创新、创意的实现。用户除了可以借助文献资源、数据库资源对研究内容进行查询外，移动视觉搜索系统还可以使用户在开展研究实践的过程中，针对研究内容的实物、图片、文字进行拍照或二维码扫描查询其相关信息，让用户将更多的精力用在思维激荡和创新实践当中，使创新创意活动更加高效。

3.4 数字图书馆人工智能项目探索

数字图书馆人工智能项目的探索主要体现在移动视觉资源的智能搜索方面，将人工智能相关技术嵌入移动视觉搜索系统可以大大提高用户的检索效率，使用户获得良好的体验。涉及到的智能检索技术主要有自然语言处理技术、数据挖掘技术、关联规则等。目前国内学者大都倾向于基于iBeacon、WIFI、人机交互、人脸识别等各类传感器的“智慧”服务研究。如人脸识别技术，读者通过人脸注册并绑定读者证号后可直接刷脸进行图书借还、查询等；AR图书馆展示台利用AR、三维数字等技术手段实现用户沉浸体验，浏览图书馆的周围环境设施；图书馆导航系统通过3D导航精准定位到图书书架，并利用虚拟现实等技术使图书以立体鲜活的图片形式展现出来，可以看到真实图书的外形、浏览图书的概要等。

4 结语

以国家和政府“倡导全民阅读，建设书香社会”为契机，在大数据环境下图书馆社会职能转型的关键时期将移动视觉搜索应用于数字图书馆中，不仅可以为图书馆资源的建设、组织、揭示，以及用户的检索、利用提供新的途径，还可以将图书馆中的文本、图片、视频等多媒体资源进行有效的关联，在整合资源的基础上，使图书馆提供给用户的信息内容更加丰富、立体，同时移动视频搜索服务更加注重用户应用环境，能更好地满足用户个性化的信息需求，成为阅读推广的有利平台。

参考文献：

搜索已经可以这样玩了！你知道视觉搜索吗？[EB/OL].[2019-01-02].https：//baijiahao.baidu.com/s？id=1575343564469445&wfr=spider&for=pc.

史美静，解金兰.数字图书馆移动视觉搜索平台的框架与功能研究[J].圖书馆工作与研究，2018（2）：42-47.

刘木林，朱庆华，赵宇翔.基于关联数据的数字图书馆移动视觉搜索框架研究[J].情报资料工作，2016（4）：6-10.

张亭亭，赵宇翔，朱庆华.数字图书馆移动视觉搜索的众包模式初探[J].情报资料工作2016，（4）：11-18.

赵宇翔，朱庆华.大数据环境下移动视觉搜索的游戏化机制设计[J].情报资料工作，2016（4）：19-25.

曾子明，宋扬扬.基于SoLoMo的智慧图书馆移动视觉搜索服务研究[J].图书馆，2017（7）：92-98.

李晨晖，张兴旺，秦晓珠.基于大数据的文化遗产数字图书馆移动视觉搜索机制建设研究[J].情报理论与实践，2018（4）：139-144，133.

王鹏.移动搜索引擎原理与实践[M].北京：机械工业出版社，2009.

增强现实技术[EB/OL].[2019-01-02].https：//baike.baidu.com/item/%E5%A2%9E%E5%BC%BA%E7%8E%B0%E5%AE%9E%E6%8A%80%E6%9C%AF/1497132？fr=aladdin.

赵泽亚，贾岩涛，王元卓，等.大规模演化知识网络中的关联推理[J].计算机研究与发展，2016（2）：492-502.

余婷婷.移动视觉搜索技术研究进展及其在数字人文领域应用实践[J].创新科技，2017（5）：43-46.