APP下载

基于注意力机制的新闻事件检测研究与应用∗

2021-06-29张秀华云红艳

计算机与数字工程 2021年6期
关键词:机制文本检测

张秀华 云红艳 贺 英 胡 欢

(1.青岛大学计算机科学技术学院 青岛 266071)(2.青岛大学电子信息学院 青岛 266071)

1 引言

随着大数据时代互联网的发展,人们被大量的新闻信息环绕,它们来源广泛,比如报纸、网络等。其中新闻最常见的载体是文本,文本是最容易获取有价值信息的方式。由于不同来源产生的新闻信息方式各种各样,新闻文本的格式和蕴含的信息也往往杂乱无章,同时产生新闻信息的数量也极其庞大,完全依赖人工实现中文新闻事件的检测是几乎不可能的。

新闻事件检测旨在从非结构化新闻数据流中对新闻文本描述的新闻事件检测给出新闻事件主题。对于给定的新闻事件,主要包括事件发生的时间、地点、事件主体、事件的触发词等,传统的新闻事件检测要手工构建基于上述事件因素的特征,对新闻事件的特征加权表示突出特征的重要性提高识别的准确度。对于特征的构建如词性标记、实体识别等会导致计算成本和额外传播误差的增加,另一方面手动构建特征非常耗时并且泛化能力不足。

传统的中文新闻事件检测方法主要有K-means聚类[1~2]、凝聚类[3]、在线增量聚类[4]、Sin⁃gle-pass聚类等[5]方法。张斌等提出基于时间片的Single-Pass增量聚类方法用于事件检测[6]。龙志禕等提出基于词聚类的方法检测新事件,本质是利用词之间的相似性检测新事件[7]。上述聚类方法在中文新闻事件检测过程为,当有新的新闻文本文件到来时,会计算新文本事件与已有事件的相似程度,并为相似度设定一个阈值,当新文本事件与已有事件的相似度阈值小于给定的阈值,会将其判定为新事件,否则为已有事件。……

登录APP查看全文

猜你喜欢

机制文本检测
在808DA上文本显示的改善
基于doc2vec和TF-IDF的相似文本识别
自制力是一种很好的筛选机制
小波变换在PCB缺陷检测中的应用
文本之中·文本之外·文本之上——童话故事《坐井观天》的教学隐喻
破除旧机制要分步推进
注重机制的相互配合
打基础 抓机制 显成效
如何快速走进文本