APP下载

中文论坛内容监测的方法研究

2012-10-15郝秀兰胡运发

中文信息学报 2012年3期
关键词:词汇特征方法

郝秀兰,胡运发,申 情

(1.湖州师范学院 信息与工程学院,浙江 湖州313000;2.复旦大学 计算机科学与技术学院,上海200433)

网络论坛中(又称BBS)的帖子同所有的用户生成内容(User-generated Content,UGC)一样,具有以下特点:可以为不同背景、身份的用户所创建;质量参差不齐,描述语言丰富多彩——书面语、口语、网络用语等。如何对这些杂乱无章的内容进行监控是安全部门所关心的重点之一,话题识别与跟踪(Topic Detection and Tracking,TDT)是监控的有效手段之一。

话题检测与跟踪是一项针对新闻报道进行信息识别、挖掘和组织的研究[1]。话题由一个种子事件以及后续直接相关的事件或活动组成;子话题是针对其中某一事件的相关描述;事件则定义为发生于特定时间和特定地点的事情。例如,“2001年9月11日针对美国世贸和五角大楼的恐怖袭击”是话题“911”的种子事件,它与“灾后处理”、“嫌疑犯调查”和“国际社会援助”等后续相关事件构成完整的“911”话题,其中对每个真实事件的相关描述构成了该话题内的不同子话题。但是,从种子事件到“灾后处理”,话题已发生了“漂移”。

在TDT评测中,话题是由Nt个描述该话题的报道定义的。跟踪系统根据给定的Nt个报道进行训练,并对后继的新闻报道流判断出他们是否与给定的话题相关。

针对BBS的特点先提出了一个基线模型、一个解决“话题漂移”现象的改进模型、权重调节模型。从应对BBS帖子的不规范性及提高中文TDT系统的处理速度出发,提出了一种新的中文特征抽取方法。实验结果显示,该方法是有效的。……

登录APP查看全文

猜你喜欢

词汇特征方法
本刊可直接用缩写的常用词汇
一些常用词汇可直接用缩写
如何表达“特征”
本刊可直接用缩写的常用词汇
不忠诚的四个特征
用对方法才能瘦
四大方法 教你不再“坐以待病”!
捕鱼
线性代数的应用特征
本刊一些常用词汇可直接用缩写