孙茜　江胜月

摘要：大数据系统根据时效性特点分为批式大数据和流式大数据。在一定程度上流式大数据（文章出现均用“流式数据”代替）实时处理技术可以实现及时向客户实时反馈，所以相较于批式大数据，流式数据受到更多的关注和探究。根据这种情况，以流式数据实时处理为技术平台，对流式数据进行分析，对该平台设计、优点进行详细说明，解析了流式数据实时处理技术平台的应用。

关键词：流式大数据;实时处理技术;平台;应用

当前大数据技术的广泛应用，促进了很多行业技术进步，是增长效益的关键技术支撑。大数据系统根据时效性分为批式大数据和流式大数据（批式大数据称为“历史大数据”，流式数据称为“实时大数据”）。在互联网等应用场景中，有很多方面对大数据技术处理提出了更严格的要求例如：个性化服务方面、用户体验方面、智能分析等方面为了尽可能满足这些需求，大数据处理必须具备在毫秒甚至微秒级返回处理区的能力。本文对流式数据实时处理技术、平台进行解析，对流式数据平台的应用进行深入探究。

一、流式大数据实时处理技术解析

可以将现有的大数据处理系统分成两个方面：1.是批处理大数据系统;2.是流处理大数据系统。以hadoop为主要代表的批处理大数据系统把数据汇集，经过批量处理后加载到分析性数据当中，能够用来进行高性能随时查看。虽然批处理大数据系统可以能够实现高效率的随时查看，但是它也存在缺点，那就是无法查看到最新数据，存在数据滞后等不足问题。……