赵文芳，刘旭林

(1.北京市气象信息中心，北京 100089； 2.北京市气象探测中心，北京100176)(*通信作者电子邮箱lxulin@bjmb.gov.cn)

0 引言

目前，气象自动站实现了分钟加密观测，具有产生快、实时性强、数据量大等特点，已经成为监视天气变化、决策服务辅助支持的重要手段[1-3]，不仅在天气预报、气象服务中发挥重要作用，同时也为大城市防灾减灾、适应气候变化、环境评估等提供基础的数据支撑。气象业务现代化的进展对自动站数据提出了越来越高的要求，中国气象局在“十三五”规划中明确提出了要实现自动站数据1 min内到达预报员桌面的要求；北京市气象局提出了要实现自动站数据在秒级甚至更短时间内完成各类要素实时统计的要求，以便为灾害天气的监视提供及时准确的气象服务。基于自动站的数据服务面临很大的挑战，需要在秒级甚至更短时间内完成高并发的处理存储、统计和在线共享服务，因此，实现自动站数据的快速处理、有效存储和及时服务，尽可能发挥它的应用效益，显得尤为重要。

Spark作为下一代大数据处理引擎，具有速度快、易用、通用等特点，在近几年广泛应用于多个行业的并行数据分析，得到了很多领域和科研机构的肯定。Spark Streaming是Spark提供的对实时数据进行流式计算的组件,可以进行大规模的流式数据处理，HBase是一个高可靠性、高性能、面向列的分布式数据库，适合处理实时随机读写超大规模的数据。将实时计算框架和分布式数据库系统结合起来实现对海量数据的实时处理和高效检索查询，逐步成为了大数据技术在汽车、交通、气象等行业应用的新兴研究领域[4-7]。……