胡金龙 胡向涛 宋啸天

1.江苏运联信息股份有限公司；2.镇江市润清苑管理服务中心；3.镇江市审计局

0 引言

基础数据采集的应用场景无处不在，虽然不同应用场景的特点各不相同，但是基本上都具有采集数据量大、并发量大、数据类型繁多等特点，因此对数据采集平台的吞吐量、稳定性和可扩展性有着非常高的要求。也正是这些特点，使得数据采集平台与传统的数据上报系统在技术方案和架构上有着本质的区别。

目前市面上的数据采集方案很多，IBM、Intel等公司都早已推出自己的商业化数据采集产品，面向物联网、大数据平台以及其他应用场景。然而大部分成熟的产品往往部署复杂、成本较高，用来解决基础数据的采集工作成本较高，对于维护团队来说技术难度也较大。轻量级数据采集平台与终端（节点）之间通过http进行数据传输，使其管理和接入更加方便，应用场景也更加多样化，能够适用于大部分常见的数据采集以及部分物联网和大数据采集，可以快速与现有数据采集平台进行整合。因此，设计一套适用于多种场景的轻量级数据采集平台是十分必要的。

1 技术架构设计

1.1 整体架构设计

数据采集平台属于应用系统的基础平台，其稳定性是上层应用能够正常运行的关键所在。由于采集数据的种类多、数据量大、业务处理复杂，在架构设计的过程中需要充分考虑其可靠性、扩展性和负载能力。

在技术架构设计过程中，选用API网关方式来提高平台的可靠性，通过API网关的分布式部署以及处理节点的负载均衡可保证系统在单一（或多个）节点故障情况下能够正常运行。……