APP下载

基于BERT与图像自注意力机制的文本匹配模型

2021-12-09陆鑫达

计算机与现代化 2021年11期
关键词:语义特征文本

宋 爽,陆鑫达

(西安邮电大学计算机学院,陕西 西安 710121)

0 引 言

根据第47次《中国互联网络发展状况统计报告》[1],截至2020年12月,我国网民规模达9.89亿,较2020年3月增长8540万,互联网普及率达70.4%。大量网友每天频繁使用的搜索引擎、即时通讯、网络新闻等软件会产生数量巨大的电子文本信息,而这些电子文本信息包含着海量的数据信息,并具有巨大的经济价值。如何有效地利用和高效地管理这些电子文本信息,已经是自然语言处理任务[2]中急需解决的关键问题,而文本匹配则在电子文本信息的利用与管理中占据着核心的地位。文本匹配已经在众多的领域中得到了广泛的应用,例如智能问答[3]、信息检索[4]、机器翻译[5]、释义识别[6]、答案选择[7]等任务。随着人工智能与神经网络[8]的快速发展,深度学习在文本匹配任务中得到了众多学者的广泛研究,涌现出了许多优秀的基于深度学习的文本匹配模型。

文本表示的深度学习模型:陈珂等人[9]提出的MCCNN模型使用多个卷积神经网络从不同的角度来获取文本特征的表示。Hu等人[10]提出的ARC-I模型,通过一维卷积获取2段文本特征的表示来计算2段文本的相似度。Pang等人[11]提出的MatchPyramid模型,以计算机视觉中[12-13]图像识别[14-15]的方式,通过卷积神经网络来捕捉2段文本的匹配特征。

预训练的深度学习模型:Google提出的BERT[16]模型将11项自然语言处理任务的记录大幅提升,该模型在文本匹配任务中将表示2个文本匹配信息的[CLS]标志向量输入softmax函数来计算2个文本的相似度分数。……

登录APP查看全文

猜你喜欢

语义特征文本
语言与语义
如何表达“特征”
在808DA上文本显示的改善
不忠诚的四个特征
基于doc2vec和TF-IDF的相似文本识别
“上”与“下”语义的不对称性及其认知阐释
文本之中·文本之外·文本之上——童话故事《坐井观天》的教学隐喻
认知范畴模糊与语义模糊
如何快速走进文本
线性代数的应用特征