付永华 吕安童 张文欣 宋媛媛

摘 要：移动视觉搜索中引入资源融合理念是网络学习平台结构创新和迎合市场的重要内容。在大数据环境下，资源融合理念能更好地发挥出移动视觉搜索的优越性，能够高效率、低成本地为用户提供合适的资源，弥补语义鸿沟，该研究可为网络学习平台未来发展侧重点提供参考。

关键词：移动视觉搜索;资源融合;网络学习平台

中图分类号：TP399     文献标志码：A     文章编号：1003-5168（2022）1-0006-05

DOI：10.19968/j.cnki.hnkj.1003-5168.2022.01.001

Research on Resource Fusion of E-Learning Platform Based on Mobile Visual Search

FU Yonghua    LYU Antong    ZHANG Wenxin    SONG Yuanyuan

（Zhengzhou Institute of Aviation Industry Management， Zhengzhou 450015，China）

Abstract： Introducing the concept of resource integration into mobile visual search is an important part of the network learning platform's structural innovation and catering to the market. In the big data environment， the concept of resource integration can better give play to the advantages of mobile visual search， it can provide users with appropriate resources at high efficiency and low cost， and bridge the semantic gap. This research can provide a focus for the future development of online learning platforms.

Keywords： mobile visual search; resource integration; online learning platform

0 引言

移动互联网的发展和移动终端设备的普及让检索形式从PC端向移动端迁移，使移动视觉搜索技术（Mobile Visual Search ，MVS）引起商界和学界的广泛关注。所谓资源融合下的移动视觉搜索，就是把学习平台的资源库和开源的资源库结合共享，在海量资源库的基础上使用移动终端提取真实世界中实体对象的图片或视频作为搜索项，并利用移动网络查找与视觉对象相关信息的一种互动信息检索方法。将移动视觉搜索技术运用于互联网学习平台中，进一步完善互联网学习平台的搜索机制，充实了互联网学习平台的资源库，从资源融合的理念上，大大降低了学习平台的开发成本，不仅增强了学习平台的竞争力，而且提高了网络平台使用者的满意度。二者的有机融合，势在必行。

1 研究现状

1.1 移动视觉搜索

移动视觉搜索行为是产生于移动网络用户的信息行为。国外早在20世紀70年代就开始研究移动视觉搜索行为，最初应用于医学、体育学、行为学等领域，主要是研究人类在视觉搜索的过程中眼睛、个体行为、神经机制及周围环境等生理性或物理性特征变化。

1.1.1 移动视觉搜索理论研究。国内学者史美静等认为随着移动设备的普及，2021年中国移动设备用户高达9.86亿人，用户对于信息检索的形式从PC端转移到移动端。同时面对互联网丰富的数据类型，单一的文本检索形式已不能满足用户需求[1]。Li Dawei等则在移动视觉搜索技术层面引入关键点识别方案，提升移动视觉搜索技术的准确性[2]。张兴旺等提出在数字图书馆领域加入移动视觉搜索技术，并对可行性进行论证分析[3]。韩玺等提出了基于移动视觉搜索中图书馆存在的障碍及对策[4]。刘喜球等在数字图书馆中尝试引入新的检索形式[5]。

1.1.2 移动视觉搜索应用研究。20世纪初移动视觉搜索在科技领域得到广泛关注。美国谷歌公司在2001年向公众发布视觉搜索引擎，在2009年正式推出移动端的视觉搜索系统Goggles。同年，美国微软公司推出视觉搜索功能。

在国内，百度作为国内最大的信息检索商，率先打破传统的文本检索形式，在百度移动端加入拍照检索功能，可以拍摄衣服进行比价、拍果蔬知热量、拍明星会出现明星的资料以及拍植物知种类等功能。淘宝移动端在2015年推出“拍立淘”功能，可以将商品的图片与淘宝中的商品进行相似度匹配，为用户匹配到售卖该商品的商家，方便用户购买[6]。作业帮在上线一周年之际，推出全新4.0版本，着力推出“拍照搜题”功能。

网络技术的高速发展，让移动视觉搜索突破了以往医学、体育学、行为学的领域，开始进入移动互联网、信息检索等计算机相关领域。为互联网信息获取的多样性注入新的活力。

1.2 资源融合

资源融合是将互联网中的资源与本地资源进行关联整合的一种低成本的方式，同时也是一种新型的商业合作模式。例如，图书馆联盟的形成与资源融合的思想密不可分[7]。

在网络学习平台建设中，资源融合的本质是将开源平台的资源以及图像识别技术与本地资源库结合，这种方式降低了平台维护数据库等开发成本，同时丰富了平台检索内容，是一种高效的资源整合方式。

资源融合同样是信息服务集成的发展和深化，是用户需求变化和信息技术创新两方面发展的结果，强调信息资源、服务应用各成分的有机融合。Benslimane等提出按照一定规则对标准化的接口进行功能性整合，是提高信息资源融合可拓展性的重要环节，获取不同源的数据，丰富检索库中的资源，同时提升了组织结构的灵活性[8]。

1.3 资源融合的移动视觉搜索

国内学者韩玺等在移动视觉搜索的基础上将资源融合理念应用于图书馆、档案馆、博物馆中，改变以往仅从管理视角去解决三馆资源融合的思路，重视用户体验和情景需求，推进资源融合服务工作[9]。朱学芳等在三馆领域引入资源融合理念，研究主要集中在资源共享与资源整合架构搭建[10-11]。钟志鹏等在博物馆领域构建一个移动视觉搜索技术下的导航系统[12]。

通过文献研究发现，国内大多数学者的研究仅局限于公共服务领域或知识密集领域，如图书馆、档案馆、博物馆，其他领域研究较少，如对同样具有知识属性的网络学习平台的研究较少。

移动视觉搜索技术结合资源融合的理念在公共服务领域发挥着较大的作用，也是未来智慧服务的发展趋势。笔者认为从中可以借鉴这种模式应用于同样属于知识范畴下的网络学习平台中，提高网络学习平台获取资源的易用性和丰富性，为网络平台提供了新的发展角度。

1.4 信息资源质量评价指标

在信息检索过程中，给予用户的综合体验称为服务质量（Quality of Service ，QoS）。国外学者Zeng L等提出服务质量的指标适用于移动视觉搜索领域[13]。

2 网络学习平台发展现状

2.1 网络学习平台的用户数量庞大

根据调研数据（数据来源于比达咨询），2020年在网络平台进行学习的用户已达3.51亿人。由于受疫情常态化的影响，网络学习平台的用户呈现出持续上涨趋势，如图1所示。

2.2 政策制度规范推动在线教育持续供给

通过表1可以看出，在国家政策层面给予在线教育持续供给，为网络学习平台发展指明方向。同时在未来几年中，网络学习的热度也会越来越高。因此，提高网络平台各方面的综合能力，是市场竞争力的保障。

2.3 网络学习平台检索形式较为单一

当前网络学习平台数量多，水平内容参差不齐。在移动视觉搜索方面较为先进的是猿题库旗下的小猿搜题，可以以图搜题;作业帮拥有拍照搜题检索方式，并且加入举一反三的功能;学而思网校题拍拍添加真人解题的检索形式等。然而由于各大学习平台题库独立，检索内容单一，难以应对当前海量内容和碎片化的学习形式。因此，越来越多的学习平台开始在平台信息检索内容形式的丰富程度上发力。

2.4 学习资源类型丰富，用户寻找资源困难增加

网络获取资源途径繁多，通过百度检索以及百度贴吧发帖询问电视剧片段出处、文字图片出于哪一本书、表情包中的图片出自哪一部电影等相关问题的网友众多。在网络学习中同样会遇到这种问题，例如在短视频平台中看到某老师的讲课，却不知如何查找，通过评论进行询问可能出现迟迟得不到答案甚至还有网友“恶搞”的现象，降低了用户获取信息的效率，削减了用户的学习热情。因此，在网络学习平台中丰富其检索形式与资源数据库，能够更好地为用户服务，从而提高用户满意度。

3 构建资源融合的网络学习平台MVS的组织动因分析

3.1 移动视觉搜索技术具有可行性

当前移动视觉搜索技术趋于成熟，在其他领域均有应用。移动视觉搜索技术中以图搜视频在爱奇艺以及WhatAnime中均有不俗的表现，匹配度高达90%以上。“腾讯视频AI”微信小程序也加入图搜视频功能，当前还在测试阶段。由此可见，移动视觉搜索技术趋于成熟，在商业领域有一定的需求。在线学习平台引入移动视觉搜索功能能够达到预期效果，同时符合市场需求和自身发展规律。

3.2 网络学习平台知识资源的复杂化

随着网络资源类型的丰富，网络学习资源类型也从以往的单一化变为多样化。当前网络学习资源包含文本信息资源、音频资源、图片资源、视频资源等视觉资源。但资源类型的区分程度越来越低。例如，资源类型能够互相转换：视频资源通过截图的方式转化为图片资源;视频资源去掉图像转化为音频资源;图片资源加上配音、讲解等成为视频资源等。资源关系复杂且所蕴含的信息量越来越大。以往仅靠语义关联的文本检索形式，难以高效准确地检索到用户需求信息。因此，移动视觉搜索的检索方式符合时代发展需求。

3.3 用户的个性化需求

用户对信息的表达形式和信息内容深度有了更高的要求。网络学习平台文本型知识已经难以满足用户的学习需求，而图像、视频等视觉资源不仅蕴含着更加丰富的信息量，还能更直接地反映资源对象的内容与特征。因此，用户同样需要种类繁多且更为全面的学习资源。

3.4 资源融合开发的低耗性

资源融合是根据模块化的形式，将外部的开源资源与MVS技术封装成一个模块，把该模块与本地资源库接口相连接，进而实现低成本高效率的检索模式。国内诸多技术平台与技术提供商为其提供技术支持。例如，百度人工智能研究中心为瑞象笔记提供从图片提取文字功能，为电商网站提供图搜功能;腾讯人工智能平台为墨迹天气提供图像识别技术。网络学习平台通过调用外部资源与技术形式，很大程度上减少了开发成本，降低了实现的难度。

4 资源融合的移动视觉搜索架构设计

为了能够让资源融合理念更好地融入MVS技术，使其高效地服务网络学习平台，本文通过4个层面对资源融合的移动视觉搜索架构进行设计，如图2所示。4个层面分别是用户交互层、融合组织层、资源选择层和资源获取层。在资源融合下的网络学习平台MVS架构设计中，用户交互层是基础，融合组织层是核心，资源选择层是保障，資源获取层是展示。4个层面在具体应用过程中会进行模块化运转，形成一个兼容、高效的有机体。

5 资源融合的移动视觉搜索架构服务流程

资源融合的移动视觉搜索架构的服务流程如图3所示。

5.1 用户交互层

用户交互层主要是用户将需要检索的文本信息、图片信息以及视频信息输入到网络学习平台的检索入口。平台通过识别用户输入的检索类型，运用相对应的算法开启检索，是MVS服务的基础。但在当前资源融合背景下的开源资源与在线学习平台的检索形式不同，因此要利用好资源融合就要将开源的图像资源以及视频资源进行标注，与本地网络学习平台数据库信息进行融合匹配。

5.2 融合组织层

融合组织层的任务是为MVS做预前处理。首先，根据用户所输入的数据类型进行统一的格式与解析度处理。其次，对图片或视频进行审核，对违规信息进行屏蔽并将违规信息源存入本地，通过机器学习的方式不断提升对违规信息的敏感度。最后，利用深度学习技术将视频做向量化处理，同时视频向量化也是MVS的技术重点。

视频向量化是通过机器学习的方式识别出视频资源中的关键帧数，并对其进行抽取，对其进行特殊符号标记，如图4所示。图4是整个图片或视频资源处理的全过程，将视频进行关键帧数提取，生成SURF特征，然后聚合成一个REVV（Residual Enhanced Visual Vector）全局特征，使用REVV特征可以建立低内存开销的索引，并进行快速检索。

5.3 资源选择层

将本地资源库与开源资源库中的检索结果通过QoS的4个指标（信誉度、可靠性、可用性、相应时间）为标准通过算法进行评价。根据检索内容的综合评分从高到低依次排序。将整理好的检索结果发送至资源获取层。

5.4 资源获取层

将资源选择层传来的检索结果通过分布式存储的方式，存入各自资源库，并将同类别的资源进行标记，提高本地资源库与外部开源资源库的相应程度和关联性。将最终检索结果提供给用户，并且根据用户反馈，不断提升资源匹配的准确性。

6 結语

全球疫情向常态化发展趋势使网络学习平台的重要程度越来越高。为了给用户提供更为优质的资源和个性化服务，引入基于资源融合模式下的移动视觉搜索，不仅可以让网络学习平台调度更多的资源，还能满足用户的个性化需求，该研究符合社会发展需求。同时，网络学习平台移动视觉搜索组织是一个涉及甚广的研究问题，涉及数字资源的组织、视觉资源的特征提取与描述、视觉资源检索等关键技术，研究内容丰富且任务艰巨。在未来的研究工作中将针对本文研究内容的不足进行补充与完善。

参考文献：

[1] 史美静，解金兰.数字图书馆移动视觉搜索平台的框架与功能研究[J].图书馆工作与研究，2018（2）：42-47.

[2] LI D W，GUANG R. The Use of Artificial Neural Network and Support Vector Classification for Recovery Factor Prediction[J]. Journal of Petroleum Science Research， 2016（1）：14-26.

[3] 张兴旺，李晨晖.数字图书馆移动视觉搜索机制建设的若干关键问题[J].图书情报工作，2015（15）：42-46.

[4] 韩玺，孙霄凌，张玥，等.图书馆移动视觉搜索服务现状、障碍与对策研究[J].图书馆，2018（7）：91-96.

[5] 刘喜球，张兴旺.移动视觉搜索：“互联网+”时代数字图书馆信息检索新模式[J].情报理论与实践，2016（5）：58-63.

[6] 贾佳，唐胜，谢洪涛，等.移动视觉搜索综述[J].计算机辅助设计与图形学学报，2017（6）： 1007-1021.

[7] 袁红军.国内省级区域图书馆联盟信息服务调查与分析[J].图书馆学研究，2014（2）：78-82，64.

[8] BENSIIMANE D， DUSTDAR S， SHETH A. Services mashups： The new generation of web applications[J].IEEE Internet Computing，2008，12（5）.

[9] 韩玺，张丹，朱庆华.基于移动视觉搜索的图书馆、档案馆、博物馆资源融合服务模式研究[J].情报资料工作，2018（2）：63-70.

[10] 朱学芳.图博档信息资源数字化建设及服务融合探讨[J].情报资料工作，2011（5）：57-60.

[11] 穆向阳，朱学芳.图书、博物、档案数字化服务融合模式研究[J].情报科学，2016（3）：14-19.

[12] 钟志鹏，王涌天，陈靖，等.一个基于移动视觉搜索技术的博物馆导览系统[J].计算机辅助设计与图形学学报，2012（4）：555-562.

[13] ZENG L，BENARALLAH B，DUMAS M，et al. Quality driven web services composition [J].Proceedings of the twelfth internatinal conference on World Wide Web，2003：411-421.

收稿日期：2021-11-24

基金项目：郑州航空工业管理学院研究生教育创新基金“基于移动视觉搜索的网络学习平台资源融合研究”（2020CX12）。

作者简介：付永华（1979—），男，硕士，副教授，研究方向：信息服务;吕安童（1995—），男，硕士，研究方向：信息服务;张文欣（1998—），女，硕士，研究方向：信息服务;宋媛媛（1997—），女，本科生，研究方向：信息服务。

3225500338299