互联网预定制信息的采集和监督研究
2014-02-17赵志超刘畅
计算机与网络 2014年16期
赵志超刘畅
(1 河北中信联信息技术有限公司 河北 石家庄 050091)
(2 国网冀北电力有限公司秦皇岛供电公司 河北 秦皇岛 066000)
互联网预定制信息的采集和监督研究
赵志超1刘畅2
(1 河北中信联信息技术有限公司 河北 石家庄 050091)
(2 国网冀北电力有限公司秦皇岛供电公司 河北 秦皇岛 066000)
针对互联网海量数据和目标对象的信息获取和状态监控需求,采用预定制特征元素集控制信息采集,经过去重、正文抽取、净化去噪、分词和过滤后,构建词汇/文本向量矩阵,采用隐性语义分析、奇异值分解、正则逼近和伪文本压缩等处理技术,实现了对获取向量信息的相似计算和排序,得出最佳搜索结果和监测目标的状态向量,同时降低了相似文本排序的计算量。
信息采集词汇/文本向量矩阵隐性语义分析
1 引言
互联网每天都在产生TB以上规模的数据,人们每天都在追逐着这些人们制造出来的海量“大数据”,知道其中有人们求之难得的,能解决所需问题的信息和知识,却常常苦于被这个大海淹没,没有顺手的方法和工具,能快速、准确和高效地从这浩瀚的“数据洋”中挖取人们需要的数据,然后再从中提炼满足人们需要的信息和知识。虽然,有些著名的搜索引擎可用,但是他们找到的数据常常也是动辄十万和百万条,甚至更多,在这些被排序的数据中找到为人们所用的数据,也是费时耗力且低效的。
运用网络数据挖掘技术、语义分析技术、统计分析和机器学习……
登录APP查看全文
