朱涛 孙知信 宫婧

摘  要：任意一个分布式系统都必须满足CAP理论，在数据分析分析系统中，最为重要的是效率以及可靠性，而数据采集时整个分析系统的基石，构建基于改进的Flume的实时数据采集系统，通过flume采集数据，采用复合型Channel与flume相结合，在保证数据源的丰富性和可靠性的前提下，提高采集的效率。实验结果表明，该系统的各项功能符合预期结果，Flume使用复合型Channel可以提高采集效率。

关键词：Flume  CAP  实时性  分布式

中图分类号：TP273.5                       文獻标识码：A文章编号：1672-3791（2021）04（b）-0073-04

Real Time Data Acquisition System Based on Improved Flume

ZHU Tao   SUN Zhixin*  GONG Jing

（Nanjing University of Posts and Telecommunications， Nanjing， Jiangsu Province， 210023 China）

Abstract：  Any distributed system must meet the CAP theory. In a data analysis system， the most important thing is efficiency and reliability. The cornerstone of the entire analysis system for data collection is to build a real-time data collection system based on improved Flume. Collect data through flume， and use the combination of composite channel and flume to improve the efficiency of collection while ensuring the richness and reliability of the data source. The experimental results show that the functions of the system meet the expected results. Flume uses the composite channel can improve the collection efficiency.

Key Words： Flume; CAP; Real-time; Distributed

随着互联网技术飞速发展，各种网络应用呈现爆发式增长，同时用户使用量也急剧增加，这也意味着各种智能终端产生的日志数据与日俱增，如何更好地管理以及更快地采集日志数据，成了一个亟待解决的问题，而数据是实现大数据研究的基础，传统的数据采集技术方案己经难以满足快速采集高质量的数据集的需求。

1  相关技术研

hossam hakeem[1]在基于对当前的国内外的大数据环境进行的深度剖析的基础之上，提出基于大数据的数据分析的软件架构，并针对于自己需要处理的数据类型提出一种基于分层的数据分析的模型。尚凯[2]基于对国内运营商数据的复杂性以及数据采集时的困难的研究，提出一种新的方案，其规定数据采集的来源均来源于企业B域、O域、M域以及企业外部，采用高可用、高可靠、分布式的数据采集方法，并对这些数据进行清洗、处理后，将数据存储于运营商的数据库当中，此方案在对于海量的结构化以及非结构化的数据进行采集时可以提供很好的实时性。……