Spark 计算框架在敏感地理信息检测中的应用研究
2021-04-29严哲周斌雄张祥燊吴君雄
江西测绘 2021年1期
严哲 周斌雄 张祥燊 吴君雄
(海南集思勘测规划设计有限公司 海南海口570203)
1 引言
地理信息是用于描述地理位置、时空分布以及其它相关自然属性的信息资源,对于社会经济的发展具有重要推动作用。随着互联网技术的深入发展,我国的互联网普及率已接近60%,由于地理信息在互联网中以多种形式广泛传播,使得具有特殊敏感地理信息(如军事基地、重要基础设施等的)的保密工作成为一项重要工作[1-4]。
为了加强敏感地理信息的保密工作,需要对地图中的敏感要素进行准确识别。传统的通过人工检测的方法不仅效率低下,而且在准确性和召回率上都较低,这对于国家涉密敏感地理信息的保护极为不利[5]。为此,李安波等提出基于多属性决策及污点跟踪的敏感地理信息识别方法,该方法基于灰色关联分析及理想优基点法对敏感度进行计算分析[6];翟东海等提出了基于条件随机场的敏感信息检测模型,并从准确率、召回率和F 度量值三个方面证实该模型的可靠性[7]。
Spark 是当前十分流行的大数据分析框架,具有运行速度快、通用性强、易用性好等诸多优点,已被广泛应用于人脸图像检索、路网核密度检测等领域,并取得了较好的应用效果[8-9]。将Spark 框架运用于敏感地理信息检测,同时进行并行化优化[10-11],不仅可以提高检测运行效率,而且还可以大大提升检测各项指标,保护国家的信息安全与利益。
2 Spark 计算框架
2.1 Spark 核心RDD
Spark 核心RDD 是指弹性分布式数……
登录APP查看全文
