APP下载

基于神经网络与排序学习的智能文本挖掘

2018-10-21李海阔白强康芸玮

科技信息·中旬刊 2018年5期

李海阔 白强 康芸玮

摘要:随着电子书阅读的增加,人们往往需要从大量文本中抽取部分有用信息。基于文本信息检索问题,首先对文本进行预处理,通过连续空间词向量模型生成了文本词向量,并利用剪支卷积神经网络建立了问句向量的生成模型,之后通过长短期记忆卷积神经网络对问题完成分类,再利用文档列表法让计算机通过排序学习对剩下的数据进行训练打分。最后通过不断训练调整得到训练结果最好的参数,将该参数下的打分函数投入到测试数据计算结果,并通过阈值计算和归一化处理最终得到所有测试数据的标签输出,最终答案检索的排名第一的准确率为65%以上,排名第二的答案准确率达到80%以上,一定程度上能够达到辅助阅读的作用。

关键词:神经网络;排序学习;文本检索;阈值

引言

日常生活中人们要阅读大量的txt文本,其内容可能是小说、教程、文集、词典等。很多情况下我们只是需要从文本中查找某一些片段来解决我们的问题。比如,通过查找法律文献中的一些段落来解决我们的法律疑惑,这时并不需要精读整个法律文献。因此我们希望智能阅读技术能够在这方面提供一些帮助。为此需将自然语言类的文本材料和相关问题转化成计算机可识别语言,再通过对问题的分类和分析,实现计算机对自然语言问题[1-2]的读取和理解,然后建立可靠模型对相关文本材料进行智能检索[3-4],最终稳定地实现计算机对正确答案的准确定位,以满足用户的实际需求。……

登录APP查看全文