刘建成，吴保国，陈 栋

（北京林业大学 信 息学院，北京100083）

基于网络爬虫的森林经营知识采集系统研建

刘建成，吴保国，陈 栋

（北京林业大学 信 息学院，北京100083）

针对如何在互联网上准确获取森林经营知识的问题，提出研建森林经营知识采集系统来解决这一问题。在分析森林经营知识采集问题的基础上，设计系统流程、系统模块、数据库，改进网络爬虫规则并加以限定，论述爬虫工作流程和算法。该系统总结分析了森林经营主题网页的特点，通过建立森林经营特征向量对采集内容进行识别，并对森林经营知识去噪处理，智能匹配规则提取知识，使用欧氏距离识别指纹去除重复的森林经营知识。实验结果表明，该系统采集的森林经营知识具有高主题相关度、高准确率、低重复度的特点，满足服务于森林经营决策支持系统的要求。图7表1参13

森林经理学；森林经营知识；知识库；知识采集；网络爬虫

决策支持系统［1］处理问题能力由知识库的知识丰富度决定，如何提升知识丰富度是一个难题。通过网络爬虫采集信息，识别其中的森林经营知识，并进行评价、提取、去重，可以解决这一问题。传统的搜索引擎有强大的网络爬虫，覆盖面广，但分类专业性较差，信息搜索结果不尽如人意［2］，不能准确理解林业词汇。以林业常用名词 “小班”为例，百度检索出来的结果绝大多数是幼儿园小班有关的结果，不能满足林业用户的信息检索需求。林业关于信息采集的研究大部分集中在林业主题搜索引擎的研究上，重点研究林业主题搜索引擎的设计、主题爬虫算法、信息源发现方法等算法优化问题［3－7］，但对森林经营知识识别、提取等涉及较少。……