项倩红，陈 烘，林华明

(1.杭州市保密技术测评中心，浙江 杭州 310026； 2.浙江工业大学 计算机科学与技术学院，浙江 杭州 310023)

数据采集[1]是大数据处理过程不可或缺的环节。在分布式环境下，待处理的数据通常来自各种应用源，如流数据、Rest服务端点、应用程序输出、文件系统等。传统的数据采集方式[2]主要存在以下不足：一是数据格式多元且采集接口多，采集管道不易扩展；二是模型间的耦合度高，需消耗较高的开发与维护成本；三是一旦数据出现异常就难以及时排查与定位,尤其是针对多源异构数据的采集，系统持久层接口通常暴露于外端，容易造成访问不可控的现象[3]。因此，在高生产率的大数据时代，如何有效采集数据，为流计算引擎提供稳定的数据流具有重要研究意义[4]。

迄今为止，国内外研究者已经提出了许多数据采集方法。文献[5]立足于情景感知技术，提出了一种基于情景感知的远程用户体验数据采集方法，但该方法仅适用于采集与情景耦合度较高的数据。文献[6]构建了高效的分布式大数据采集系统，运用基于标签书节点权重的数据提取方法，以提高数据采集的有效性与鲁棒性。文献[7]提出一种基于MapReduce模型的城市大数据采集方案，在大规模动态环境下可有效地降低信息损失量和执行时间。文献[8]提出一种Sink轨迹固定传感器网络的高数据采集机制，在兼顾数据采集效率与能耗的前提下，运用基于二维染色体编码的遗传算法实现数据采集。……