网页敏感词过滤与敏感文本分类系统设计
2020-05-13李伟
电脑知识与技术 2020年8期
关键词:网络安全


摘要:该文以主动匹配并过滤网页中的敏感词语为目标,研究了文本中敏感词的检索与匹配方法,实现了对网页文本中的敏感词进行主动匹配与过滤处理的过程,设计了一种基于字典树的网页敏感词匹配及过滤方法。并使用决策树方法对含有敏感词的网页文本进行分类。
关键词:网络安全;文本处理;信息过滤;敏感词;决策树
中图分类号:TP391.1文献标识码:A
文章编号:1009-3044(2020)08-0245-03
21世纪以来,随着互联网应用的普及以及应用的日益完善,通过论坛、即时通讯软件以及电子邮件等方式传播敏感信息的网络安全事件发生频繁,在一定程度上严重威胁了社会秩序的稳定和人民群众的正常生活。以合理的技术方式阻止不健康的网络信息在互联网络上肆意传播具有非常积极的意义。
本研究以网页中的文本部分为主要的研究对象,结合对网页中敏感信息的分类,利用自然语言处理对文本的数据挖掘,构建一种基于字典树的网页文本敏感词查找及匹配的模型和算法,并采用决策树的方法对匹配到的敏感文本实现敏感类型的划分。
1 系统结构
本系统主要的处理流程如下:(1)初始化抽取到的网页中的文本数据;(2)查找特定文本中的敏感信息,并做适当处理;(3)构建向量模型表示敏感文本,并得到向量的特征值;(4)构建文本的数据集;(5)构建决策树算法。(6)划分文本的敏感类型。如图1所示。
2 文本内容的获取与分析
敏感词隐藏于文本中,要抽取敏感词,首先要获取网站页面中的文本部分的内容。……
登录APP查看全文
