摘 要：迈入信息时代，大数据建设逐渐成为各领域研究的热点。大数据建设层次的高低，直接关系到信息产业的发展。新形势下，加快推大数据建设与发展，能够助力各行业信息化建设的提高。本文主要从数据获取、数据清洗、数据集成、数据归约、数据变换等方面，重点提出作战数据预处理的方法步骤，为作战大数据建设发展提供支撑。

关键词：数据预处理;数据清洗;数据归约

1.数据获取

在特定领域中，参与单位多元、参与行动多样、协同关系复杂，数据需求种类繁多。如现场环境数据，主要包括：地形地貌、气象水文、空气质量、重力场、电磁环境、交通、建筑物、防御工程设施、网络环境等[1]。传感器、采集器以及相关部门提供的数据都需要系统地、有规律地进行整合。

1.1采集要求

（1）完整性：保证采集的数据信息不存在缺失现象，不完整的信息数据可能会使整个实例数据失效。（2）唯一性：每一个实例只能对应一条记录，不允许出现两个以上相同的实例。（3）一致性：不同的系统设备或者人员采集相同的实例应当是相同的信息，同一实例在不同系统中应当是相同的表达。（4）精准性：采集的数据信息能够准确描述现实事件的特征。（5）时效性：数据在所需时间段内及时可用，如果数据过于陈旧，会使该数据分析获得的结论失去参考价值。同时在作战数据的采集时，还需要获得上级领导的批准或者指示。

1.2采集方法

（1）日志采集：日志采集属于对非结构化数据的采集，分为浏览器页面日志采集和客户端日志采集。……