基于条件随机场的敏感话题检测模型研究
2014-09-29翟东海崔静静聂洪玉
计算机工程 2014年8期
翟东海,崔静静,聂洪玉,于 磊,杜 佳
(1.西南交通大学信息科学与技术学院,成都 610031;2.西藏大学工学院,拉萨 850000)
1 概述
敏感话题检测是网络舆情检测技术中的重要子课题,通过敏感话题检测能够将网络中涉及的暴力、色情和非法煽动等信息及时发现并监管,对于维护网络健康发展和社会稳定有着极其重要的影响。因此,敏感话题的检测对于及时把握舆情动态、积极引导健康的社会舆论有着重大的作用和意义。文献[1]提出的话题识别与跟踪算法能够发现和追踪文本流中的重要信息;文献[2]提出一种基于衰老理论(aging theory)的热点话题检测方法,可以有效发现一段时间内BBS上的热点话题;文献[3]提出和实现的双语Web内容过滤智能分类引擎,能够识别包含色情信息的中文和英文网页。文献[4]在动态知识库中构建了一颗动态层次语义树,随着敏感文本的不断到来,动态更新语义树。现阶段国内外对敏感话题检测的研究虽然已经取得了一定的进展,但是完全针对敏感话题检测的算法还有待完善,精确度也有待提高。
敏感话题通常包含态度倾向性,且具有一定的先验知识,因此,如何有效利用这些先验知识来判断网络文本的敏感性是敏感话题检测的研究难点和热点。在充分利用条件随机场强大的知识拟合能力的基础上,本文提出了一种基于条件随机场的敏感话题检测模型。首先介绍敏感话题类别和待测文档的表示方式,然后对敏感话题检测的条件随机场模型进行研究,在此基础上实现待测文档的的敏感性标注。……
登录APP查看全文
