曲兴卫 王自珍

摘 要： 针对ASP.NET面向对象视觉传达网页设计方法存在信息挖掘粗糙、视觉传达效果差的弊端，设计了基于多源数据集成的视觉传达网页设计方法。其运行架构由多源数据化集成、多类型可视化集成以及可视化支持服务三部分构成。网页主要功能包括集成管理、图表管理、数据源管理、项目管理、系统管理，对网页多源数据集成功能实施详细设计和实现，如多源数据集成、多类型可视化集成以及可视化支撑服务功能的集成访问设计以及实现。采用DeepWeb爬虫检索视觉传达网站，其采用爬行方法筛选URL，对有用的页面进行抓取。实验结果说明，该方法设计的智能配电管理网页运行效果佳，具有较高的可视化实现性能以及信息挖掘质量，视觉传达效果好。

关键词： 多源数据集成； 视觉传达； 可视化； 支撑服务； 信息挖掘； 爬虫检索

中图分类号： TN911?34； TP393.07 文献标识码： A 文章编号： 1004?373X（2018）13?0172?05

Abstract： The traditional visual communication webpage design method has the disadvantages of rough information mining and poor visual communication effect. Therefore， the visual communication webpage design method based on multi?source data integration was designed. Its operating framework is composed of multi?source data integration， multi?type visual integration and visual support service. The main functions of webpage include integration management， graph management， data source management， project management and system management. The multi?source data integration function of webpage is designed and implemented in detail， including the multi?source integration， multi?type visual integration and integration access of visual support service function. The DeepWeb crawler is used to retrieve the visual communication website， and the crawling method is used to filter the URL and capture the useful webpage. The experimental results show that the intelligent power distribution management webpage designed with the proposed method has superior running effect， high visual realization performance and information mining quality， and perfect visual communication effect.

Keywords： multi?source data integration； visual communication； visualization； support service； information mining； crawler retrieval

0 引 言

在科学技术日益发展的今天，互联网技术和软硬件技术都已得到迅速发展，来自互联网的信息数量也急剧上升，在大量数据中高效率搜索所需信息便成为目前最热的研究话题。正是由于互联网信息发展如此迅猛，人们设计开发出大量以数据为主的软件系统与网页用来处理如此庞大的互联网信息。其中，起到主导作用的一项设计就是数据可视化，它的主要特点是以用户直接接受的方式对数据进行读取，使用户对数据的分析和研究变得更加便利。因此，数据可视化在信息化系统中俨然成为一项重要技术。传统基于ASP.NET面向对象视觉传达网页设计方法存在信息挖掘粗糙、视觉传达效果差的弊端。因此，本文设计基于多源数据基础的视觉传达网页，提高信息挖掘质量以及网页的视觉传达效果。

1 多源数据集成的视觉传达设计方法

1.1 基于多源数据集成的运行架构设计

采用JavaEE多源数据集成平台，设计基于多源数据集成的视觉传达网页，利用互联网集成方式，以多源数据集成、数据可视化技术集成、可视化支持服务，使数据可视化呈现在网页中[1]。开发人员开发网页可视化时按系统集成要求，将基于多源数据集成的视觉传达网页获取系统数据、定制可视化效果等功能进行组合，网页运行架构如图1所示。

网页运行架构包括：

1） 多源数据化集成：网页具有集成多源数据功能，为集成提供各种数据、解决数据文件集成方式等作用，通过对数据识别、整理等操作实现数据集成。

2） 多类型可视化集成：为实现网页呈现出多种数据化可视结果，对可视化技术进行统一集成[2]，该功能可满足大量的数据可视化与图表的集成。

3） 可视化支撑服务：在网页应用系统和网页间进行数据互换时，供给一致的数据可视化集成接口，促进数据互换的完成。

1.2 网页功能架构设计

网页整体功能包括应用系统集成管理、图表管理、数据源管理、项目管理、系统管理五个方面，如图2所示。

网页的各项功能如下：

应用系统集成管理：用户在线对网页系统集成、数据加密、图表显示等情况进行选择操作后[3]，网页将用户各项需求进行统计，利用系统参数对接接口、可视化集成访问来实现数据可视化。

图表管理：通过可视化定制、数据可视化、资源及可视化技术集成四个方面帮助用户在线查询数据集成后的网页浏览状况，在数据可视化的发展方面起到了很关键的作用。

数据源管理：通过管理数据库、文件及元数据确定网页的应用规模，其操作是依靠数据源集成和应用流程来完成的。

项目管理：项目属于网页中一个最基础的管理单元，作为数据可视化的对接入口，能够将许多数据源、图表、应用系统基础建立在相同的项目里[4]，并且数据交换只可以在相同的项目里实现。

系统管理：系统管理属于网页设计中最基本的管理单元，其功能是用户体系、权限体系、安全管理、系统监控能够对网页的数据管理起到支撑作用，并保障网页工作能够正常进行。

1.3 网页多源数据集成功能设计与实现

1.3.1 多源数据集成功能设计

为了适应越来越多的用户使用数据集成的需求，本文设计的视觉传达网页需拥有多源数据集成的功能。多源数据集成根据数据集成特点建立了能够扩大、统一的数据集成规则，使在线数据集成及归纳分类得以正常进行。为使不同种类数据库集成并能够读取不同种类的数据文件，视觉传达网页还应拥有在线数据进行交换的功能[5]。多源数据集成功能设计如图3所示。

第三方技术为数据文件的集成提供技术支持，使数据文件实现最基础的查看及搜索。若想对数据文件进行较有难度的操作，提高数据文件使用效率，就要在设计中加入表管理这一操作，对数据库进行表管理[6]。对数据文件进行入库整理然后添加到数据库表中，就可实现用户对数据库进行复杂的字符串拆分或拼接等操作。

1.3.2 多源数据集成功能实现

网页实现多源数据集成可分为三项，即输入网页信息、底层数据集成应用、数据集成。输入网页信息包含数据库类别、连接地址、用戶名等，底层数据库应用是对数据库进行连接，数据集成是根据网页数据的操作反应，带来JSON格式规范的数据对象。多源数据集成通过大批量的I/O操作实现长时间操作，能够承担巨大的网页浏览负载压力。利用接口编程的思路和SOA应用方式，把各类数据运行变为单独的一个模块，应用Dubbox把各个模块变为ZooKeeper里的一项功能，再对每一个模块进行安排，通过这种操作能够使多源数据集成的利用率得到提高。

1.4 多类型可视化集成功能设计

设计多类型可视化集成是为了满足网页的可视化技术集成、可视化定制、数据可视化等功能。多类型可视化集成是为网页技术用户、网页用户、应用系统用户提供服务的。多类型可视化集成包括可视化技术集成服务、可视化定制服务、数据可视化服务、资源服务、可配置集成文件[7]，其功能运行图如图4所示。

多类型可视化集成根据集成文件产生相同的集成规则。将文件集成与服务动态加载相结合，增大可视化操作范围，对可视化技术信息整理、可视化效果定制及可视化显示等功能提供支撑作用，进而使网页可视化操作范围增大，使操作更加便捷。

1.5 可视化支撑服务功能的集成访问设计

视觉传达网页中起主要作用的是可视化支撑功能。它能够在视觉传达网页中定制系统的集成信息，把该网页的可视化结果进行展示和集成，为用户带来数据可视化结果。其功能包括应用系统集成管理、系统参数对接接口、可视化集成访问。可视化集成访问能为用户对视觉传达网页进行操作后呈现出可视化效果，通过在接受用户命令后执行系统参数对接接口，对数据进行调取、查询并分析实现[8]。如图5所示，其操作流程是：用户对基于多源数据集成的视觉传达网页进行访问；可视化集成访问对缓存服务中可视化效果进行检测；若缓存服务中未检测到可视化效果，则继续利用缓存服务调取授权信息；寻找相应的多类型可视化接口；保存数据可视化操作结果；将可视化结果呈现给用户。

1.6 DeepWeb爬虫的工作过程

DeepWeb爬虫是为搜索视觉传达网站设计的，它的爬行方法与其他爬虫一致，即筛选URL，对有用的页面进行抓取，在将链接减少后，进入到URL列表中。该爬虫在爬行时[9]，并不像其他爬虫仅对网页内容进行抓取研究，它的工作重点是网页中有没有搜索表单。因此本文通过以下步骤将爬行抓取网页内容更改为爬行抓取表单[10]，用图6描述，其操作流程为：

1） 设立使用DeepWeb爬虫抓取的网站地址；

2） 创建利用DeepWeb爬虫搜索的网站搜索表单本体；

3） DeepWeb爬虫对搜索表单中的网页进行抓取；

4） 将DeepWeb爬虫抓取的网页进行下载，并分析搜索表单；

5） 将满足需要的搜索表单预填写；

6） 将预填写的结果进行提交；

7） 对所需表单和显示结果进行储存。

2 实验结果与分析

2.1 智能配电管理网页设计效果检测

智能配电管理网页系统已广泛应用于供电企业运行管理、设备管理、用户服务等领域，其作用是实时监控、计算分析、交换信息等。由于该网页的访问量不高，因此对采用本文网页设计方法设计的智能配电管理网页的设计要求也不高，通过单机部署代替集群部署，在一个服务器中即可拥有所有的服务。实验检测本文方法设计的智能配电管理网页的总体走势效果，用图7描述。从中能够看出，网页整体分析可应用于企业各时间段中的电量计算，根据设施的编号调配相应的数据计算范围，并通过动态数据对电量总体趋势结果进行展示，说明采用本文方法设计的智能配电管理网页运行效果佳，是一种有效的配电管理网页。

2.2 可视化实现性能检测

采用本文方法设计的智能配电管理网页同其他使用系统共同工作时，能够使其他使用系统操作更加便捷，因此多源数据集成、多类型可视化集成、可视化支撑等作用极其重要。实验对比分析了本文方法以及其他可视化方法进行智能配电管理网页设计过程中对各项功能的支持、兼容以及难易程度，结果用表1描述。从中能够看出，相对于其他可视化方法，本文方法支持多种数据源、在线定制以及维护功能，能够兼容其他可视化技术框架，容易实现系统的无缝集成，具有较高的网页可视化实现性能，网页视觉传达效果好。

2.3 数据挖掘性能檢测

实验检测采用本文方法以及传统ASP.NET方法设计的吃玩搜索网页的数据挖掘性能，实验数据用表2描述，这些数据是该网页的操作数据。可以看出相对于传统ASP.NET方法，本文方法获取的数据量更大，说明本文方法设计的吃玩搜索网页爬行性能更强，能够挖掘出更多的有效数据。

实验统计本文方法以及传统ASP.NET方法所得的全部网站列表，分别用表3和表4描述。能够看出，本文方法获取的网站列表更详细、内容更多，说明本文方法的信息挖掘性能更强。

3 结 论

本文提出基于多源数据集成的视觉传达网页设计方法，提高了网页数据挖掘质量以及网页的视觉传达效果，得到了令人满意的效果。

参考文献

[1] 王海涛，张志亮，孙煜华，等.Web信息抽取网页自动浏览导航与集成规则研究[J].计算机科学与探索，2014，8（9）：1049?1066.

WANG Haitao， ZHANG Zhiliang， SUN Yuhua， et al. Web information extraction web page automatic navigation and integration rules research [J]. Computer science and exploration， 2014， 8（9）： 1049?1066.

[2] 冯兴利，洪丹丹，罗军锋，等.自适应网页设计中的关键技术[J].计算机应用，2016，36（z1）：249?251.

FENG Xingli， HONG Dandan， LUO Junfeng， et al. Key technologies in adaptive Web design [J]. Computer applications， 2016， 36（S1）： 249?251.

[3] 王潇娴.基于视觉传达设计领域的互补设计方法研究[J].包装工程，2015，36（8）：112?115.

WANG Xiaoxian. Based on the design of complementary design in the field of visual communication design [J]. Packaging engineering， 2015， 36（8）： 112?115.

[4] 韦艳丽，赵韩，杨亚荣.基于逆向反演的交互式网页动画设计方法研究[J].艺术百家，2016，32（2）：252?253.

WEI Yanli， ZHAO Han， YANG Yarong. Research on interactive web page animation based on reverse inversion research [J]. Art hundred， 2016， 32（2）： 252?253.

[5] 王梦喆，孔繁强.基于大数据的二次元社交网站体验设计[J].包装工程，2016，37（8）：36?39.

WANG Mengzhe， KONG Fanqiang. Hole big data two dimensional social networking website design experience based on [J]. Packaging engineering， 2016， 37（8）： 36?39.

[6] 王桂玲，张峰，韩燕波.一种基于数据服务超链进行情景数据集成的方法[J].电信科学，2014，30（2）：51?59.

WANG Guiling， ZHANG Feng， HAN Yanbo. A method of scenario data integration based on data service hyperchain [J]. Telecommunications science， 2014， 30（2）： 51?59.

[7] 卢晓勇，陈木生，吴政隆，等.基于免疫克隆特征选择和欠采样集成的垃圾网页检测[J].计算机应用，2016，36（7）：1899?1903.

LU Xiaoyong， CHEN Musheng， WU Zhenglong， et al. Feature selection and under sampling integration of garbage page detection based on immune clone [J]. Computer applications， 2016， 36（7）： 1899?1903.

[8] 张世锋.技术推动观念VR技术引发的视觉传达新观念[J].新美术，2016，37（11）：87?91.

ZHANG Shifeng. Technology driven concept VR technology caused by the new concept of visual communication [J]. New art， 2016， 37（11）： 87?91.

[9] 聂俊岚，陈贺敏，张继凯，等.基于数据相似度的多维海洋数据交互式集成可视化[J].海洋通报，2015，34（5）：586?591.

NIE Junlan， CHEN Hemin， ZHANG Jikai， et al. Interactive integration visualization of multidimensional ocean data based on data similarity [J]. Oceanographic bulletin， 2015， 34（5）： 586?591.

[10] 潘华，王淑营，孙林夫，等.面向产业链协同SaaS平台多源信息动态集成安全技术研究[J].计算机集成制造系统，2015，21（3）：813?821.

PAN Hua， WANG Shuying， SUN Linfu， et al. For industrial chain collaboration SaaS platform， multi?source information dynamic integration security technology is studied [J]. Computer integrated manufacturing system， 2015， 21（3）： 813?821.