APP下载

一种新闻文本标注方法

2021-12-22王红梅郭真俊张丽杰

长春工业大学学报 2021年5期
关键词:语义分类文本

王红梅, 郭 放, 郭真俊, 张丽杰

(长春工业大学 计算机科学与工程学院,吉林 长春 130012)

0 引 言

随着互联网、机器学习、大数据等技术的飞速发展,各种信息数据以指数级的速度持续增长,目前人工智能所依托的机器学习和深度学习算法多数是依赖数据的,需要大量的数据采用有监督或半监督的方式训练算法进行定制化部署。由于中国大数据体量庞大,尤其是新闻文本没有固定格式,且种类多样,更新速度快,给数据标注任务提出了巨大挑战。最常见的新闻类别标注是通过人工方式对全部数据进行标注,人工成本很高,数据质量难以保证,不可避免地存在标注人员主观疲劳,数据审核环节质量难以把控等问题。

而深度学习是这个时代人工智能领域内最热门的研究之一,因其优秀的特征提取能力,对包括自然语言处理在内的诸多任务有着十分重要的影响。越来越多的任务选择采用深度学习来进行研究。自然语言处理(Natural Language Processing,NLP)是其中热门的研究领域,自然语言是高度抽象的符号化系统,文本间存在数据离散、稀疏、一词多义等问题。而深度学习具有强大的特征提取和学习能力,在NLP诸多任务中都取得了很好的发展。文本分类是NLP中最基本的一项任务,是根据文本所蕴含的信息将其映射到预先定义带主题标签的两个或几个类的过程[1]。文本分类被广泛应用到内容审核、广告标注、情感分析、邮件过滤、新闻主题划分、问题甄别、意图识别等场景[2]。……

登录APP查看全文

猜你喜欢

语义分类文本
分类算一算
语言与语义
在808DA上文本显示的改善
基于doc2vec和TF-IDF的相似文本识别
教你一招:数的分类
“上”与“下”语义的不对称性及其认知阐释
文本之中·文本之外·文本之上——童话故事《坐井观天》的教学隐喻
认知范畴模糊与语义模糊
如何快速走进文本
语义分析与汉俄副名组合