尚玉叶，郑新超

（南通大学计算机科学与技术学院、外国语学院，南通 226019）

随着信息高速公路的快速发展，搜索引擎在信息覆盖率、精准度和信息响应时间等方面的要求越来越高。日语学习者在查询资料或资讯时，常伴随着冗余垃圾信息的困扰。同时，网络数据的飞速增长为搜索引擎带来了巨大的存储和网络服务压力。因此，本文尝试在日语学习与交流的跨平台APP 开发过程中，针对日文网络资料进行自动检索，并过滤、筛选敏感信息，以提高学习平台资源信息的精准性和可靠性。

1 语料信息检索

网络爬取、建立索引数据库、排序是搜索引擎的三大基本工作原理。利用python 爬取网页，从中提取反应页面内容的字符串，索引程序提取字符串中的关键词，通过建立以页面为主索引的正向索引文件并将其存储到索引数据库。而倒排索引[1]则是建立以关键词为索引的索引表，用户输入搜索词，对搜索词进行处理形成一个或多个关键词，搜索系统查找倒排索引，从中读出包含这个关键词的多个页面，从而满足用户快速完成搜索的需求。搜索引擎反馈给用户的看似简单的过程实则很复杂。用户输入搜索词需要文本分析、语义分析等，对反馈结果需要经过链接分析、敏感词判断等处理。

2 文本、语义分析

在面向大数据的环境中，利用语义分析的方法对评论进行挖掘[2]成为大数据的主要研究领域之一，也是当下比较热门的话题。目前，国内外都在这方面投入了大量的人力、物力进行更多探索性的研究。……