吴晓萍 李国明 唐欢

摘要：动员潜力数据主要包括交通战备、经济动员、人民武装、军工生产、医疗救护、政治动员、装备动员等几大类，2000多项小类，种类繁杂，体量较大。目前，动员潜力数据大多是依靠人工输入完成采集更新，工作量巨大。因此，本文构建了一种兼容多种数据源的可持续网络爬虫方法，提出了基于基态修正的动员潜力数据增量更新方法。结果表明：该方法可快速有效的开展动员潜力数据增量更新。

关键词：动员潜力、增量更新、网络爬虫、基态修正

引言

腾讯、高德、百度等LBS日均支持服务请求已达千亿次，每天为用户提供百亿次POI检索服务。庞大的用户体量和全面多维的位置数据，赋予了互联网动员潜力数据较高的现势性。如何有效的从互联网中获取到所需的动员潜力数据，仍是一个技术研究的热点问题。本研究利用检索词搜索的网络爬虫方法对电子地图中的POI数据进行获取，为动员潜力数据的检索和获取提供了一种方法。

由于动员潜力数据的来源较多，在对其属性信息的描述过程中，不同数据源对同一POI点在名称地址信息的描述上会有所差异。在进行数据更新时，很容易将不同源数据中对同一个POI点识别为多个数据点，造成大量的冗余数据。本研究使用基于词典与统计相结合的中文分词方法，对POI点的名称地址进行拆分后，保留核心词汇，提高同名POI点的识别率，减少重复数据，提高数据质量。

1多源动员潜力数据的自动采集爬虫设计