王晓锋 马丽丽

摘  要：数据泄漏防护系统可以阻止企业的重要数据从网络出口违规外发。针对油田数据泄漏防护大数据平台对各个区域、不同类型的数据采集和设备、业务监测问题，本文首先提出依托大数据Flume（数据采集系统）组件，采用抓取外泄事件日志JSON（一种轻量级的数据交换格式）和解析后的违规外发文件txt文本的方法，实现数据采集;其次依托Prometheus服务监管系统Flume_exporter、Node_exporter组件和Grafana（一个跨平台的、开源的度量分析和可视化工具），实现对数据泄漏防护设备信息和应用数据的监管;最后指出搭建采集系统和监管平台对数据泄漏防护系统运维的作用。

关键词：Flume;Prometheus;数据采集;监管平台

中图分类号：TP391     文献标识码：A

文章编号：2096-1472（2021）-04-43-03

Abstract： Data leakage protection system can prevent important data of enterprises from being illegally exported from networks. This paper aims to solve problems of acquiring data of different types in different regions， and monitoring equipment and business on big data system for oilfield data leakage prevention. First， based on big data Flume （data acquisition system） component， this paper proposes to adopt the method of capturing JSON （JavaScript Object Notation， a lightweight data exchange format） of the leakage event log and the parsed illegally exported TXT file to achieve data acquisition. Second， Flume_exporter （Prometheus service supervision system）， Node_exporter component and Grafana （a cross-platform open source measurement analysis and visualization tool） are used to supervise equipment information and application data of data leakage prevention. Finally， this paper points out the effect of building an acquisition system and supervision platform in operation and maintenance of data leakage prevention system.

Keywords： Flume; Prometheus; data acquisition; supervision platform

1   引言（Introduction）

隨着信息技术的快速发展，数据量成几何级数增长，人类进入大数据时代。在大数据分布式集群系统环境下，实现满足每秒数百MB的日志数据采集和传输需求，已经成为大数据解决方案的前提和基本保障。如何解决在复杂场景下技术实现高纬度数据模型、自定义语言查询、可视化数据展示等数据监控技术难题，也成为大数据解决方案的一项严峻的挑战[1]。

油田企业为防护重要数据资产不从网络出口违规泄漏，搭建了油田数据泄漏防护大数据系统。本文主要研究依托开源数据采集系统Flume，实现油田对网络、终端敏感文件外泄事件全面数据采集，并且基于Prometheus服务监管系统[2]搭建油田数据泄漏防护大数据监管平台，实现对数据泄漏防护设备基本信息和应用数据的实时监控、管理、分析以及健康度准确评估。……