APP下载

基于文本内容的敏感词决策树信息过滤算法

2014-06-06邓一贵伍玉英

计算机工程 2014年9期
关键词:文本信息

邓一贵,伍玉英

(重庆大学a.信息与网络管理中心;b.计算机学院,重庆400030)

;

基于文本内容的敏感词决策树信息过滤算法

邓一贵a,伍玉英b

(重庆大学a.信息与网络管理中心;b.计算机学院,重庆400030)

随着互联网的高速发展,各种各样的信息资源呈指数级增长,随之出现许多负面影响,需要构建一个安全健康的网络环境。为此,提出针对网页文本内容的敏感信息过滤算法(SWDT-IFA)。该算法不依赖词典与分词,通过构建敏感词决策树,将网页文本内容以数据流形式检索决策树,记录敏感词词频、区域信息以及敏感词级别,计算文本整体敏感度,过滤敏感文本。实验结果表明,SWDT-IFA算法具有较高的查准率和查全率,且执行时间能够满足当前网络环境的实时性要求。

文本过滤;敏感级别;决策树;分流;词频

1 概述

随着互联网时代的到来,海量网络信息资源使得人们获取信息、生活交流、购物理财等变得越来越方便快捷。但是在人们获得便利的同时,各种色情、暴力、反动、迷信等非法信息也接踵而至,给人们尤其是青少年带来了巨大的危害,也给社会带来了诸多不良影响。对此,从事信息安全的研究人员做了多方面研究,提出多种内容过滤技术。

针对Web上大量的网页文本内容,本文利用决策树分流特性提出了敏感词决策树信息过滤算法SWDT-IFA。该算法基于敏感词库,通过构建敏感词决策树,以数据流形式处理网页文本内容,综合考虑区域、词频、敏感词级别三大要素,最终给出候选敏感词权重,计算文本整体敏感度,实现敏感文本检测。……

登录APP查看全文

猜你喜欢

文本信息
初中群文阅读的文本选择及组织
在808DA上文本显示的改善
基于doc2vec和TF-IDF的相似文本识别
订阅信息
文本之中·文本之外·文本之上——童话故事《坐井观天》的教学隐喻
論《柳毅傳》對前代文本的繼承與轉化
展会信息
如何快速走进文本
信息
健康信息