APP下载

全局模式下的深网数据抽取与挖掘

2018-04-18姚晓鹏高圣兴薛君志陆敏超

计算机应用与软件 2018年2期
关键词:页面数据挖掘信息

姚晓鹏 高圣兴 薛君志 陆敏超

1(上海申腾信息技术有限公司 上海 200040)2(上海市计算技术研究所 上海 200040)3(浙江工商大学统计与数学学院 浙江 杭州 310018)

0 引 言

深网是相对于表层网络而言的,不能被传统的搜索引擎索引到信息资源的,指的是互联网中可访问的在线数据库。其内容存储在真正的数据库中,但这些内容只有在递交查询后才会由Web服务器动态生成页面把结果返回给访问者的网站。

深网的研究目前主要分为两个方面:(1) 深网的规模、分布和结构的研究。美国Bright Planet公司,专门从事数据整合和企业信息分析,开发了深网检索平台工具DQM。此外,还对深网的规模和相关性进行了研究,并发布了调查白皮书。(2) 深网信息搜索中的关键技术的研究。目前主要的关键技术有Deep Web接口识别方法、信息提取算法、数据库选择算法、Deep Web集成查询接口生成方法等。

而深网的信息资源具有以下三个特点:(1) 信息资源量巨大。深网是Internet中信息最快的增长点,并且随着时间的推移,深网的信息量会越来越大。(2) 信息质量高。它与表层的一般网页相比,深网的内容都更加的专业和有深度,信息间的相关度也比较高,具有巨大的商业价值和潜在信息。(3) 信息便于处理。深网的信息多数容易使用一些统计软件处理,格式相对整齐。因此解析深网主要功能并研究其关键技术,从而采集深网的巨大信息资源,具有重要意义。

在深网的信息数据搜索中,用户可以按照自己的需求进行搜索,网络服务器将会自动检索后台数据库,生成满足条件的结果页面。……

登录APP查看全文

猜你喜欢

页面数据挖掘信息
大狗熊在睡觉
刷新生活的页面
探讨人工智能与数据挖掘发展趋势
订阅信息
基于并行计算的大数据挖掘在电网中的应用
一种基于Hadoop的大数据挖掘云服务及应用
展会信息
基于GPGPU的离散数据挖掘研究
同一Word文档 纵横页面并存
浅析ASP.NET页面导航技术