基于百度网页的中文自动问答应用研究
2020-04-22石凤贵
现代计算机 2020年8期
石凤贵
(马鞍山师范高等专科学校软件工程系,马鞍山243041)
0 引言
互联网是一个庞大的知识库,在浩瀚的知识库中,我们如何索取所需知识?搜索引擎完成了这个任务。百度搜索是全球最大的中文搜索,拥有全球最大的中文网页库,网页数量每天以万级的速度增长。百度提供的服务包括百度网页、百度知道、百度贴吧等。搜索引擎大多以关键词的方式检索信息,不能清晰地理解用户的要表达的意图,返回结果是网页的集合,需要用户进行二次筛选。对于传统的自动问答系统需要建立一个非常庞大的知识库,这个成本相当大。我们可以充分发挥搜索引擎和自动问答的各自优点,有机结合。
本文结合自然语言处理技术和网络爬虫技术,利用百度网页搜索功能,构建自动问答系统。将互联网作为自动问答系统的知识库,通过爬虫技术利用百度搜索对用户问题进行检索,根据检索结果构建语料库,利用自然语言处理技术对检索结果进行答案提取,从而将答案返回给用户。
1 自动问答
自然语言处理(Natural Language Processing,简称NLP)是计算机科学领域与人工智能领域中的一个重要方向,研究人与计算机之间用自然语言进行有效通信,融语言学、计算机科学、数学于一体的科学。问答系统(Question Answering,简称QA)是自然语言处理领域的一个重要应用,具有非常高的使用价值。
1.1 问答系统模型
问答系统模型[1]分为四层,分别为用户层、问题理解层、检索层、数据层:
用户层:即UI 层,提供用户输入问题,显示系统返回的答案。……
登录APP查看全文
