APP下载

面向高并发实时交易数据的分布式快速汇总统计

2019-10-21王颖卓郭开卫王亚雄

现代信息科技 2019年12期

王颖卓 郭开卫 王亚雄

摘  要:本案涉及计算机数据统计领域的一种数据统计方法和装置,具体来说,首先根据预先设定的过滤规则,对原始交易数据进行过滤处理,得到第一交易数据;然后根据第一交易数据中的关键字信息,确定第一交易数据所对应的计算服务器;最后将第一交易数据发送至计算服务器,以使计算服务器将根据预先设定的统计维度对第一交易数据进行统计得到的第二交易数据发送给查询服务器使用,关键字相同的第一交易数据将会发送至同一计算服务器,而计算服务器可将第二交易数据给查询服务器使用。因此,可通过增加计算服务器的数量的方式水平扩展计算统计的能力,从而提高将数据写入数据库的速度,进而提升数据的查询效率。

关键词:交易数据;实时查询;计算服务器

中图分类号:TP333     文献标识码:A 文章编号:2096-4706(2019)12-0023-03

Abstract:This case relates to a data statistics method and device in the field of computer data statistics,including:firstly filtering the original transaction data according to a preset filtering rule to obtain the first transaction data,and then according to the first transaction data Key information,determining a computing server corresponding to the first transaction data,and finally sending the first transaction data to the computing server,so that the computing server will perform the second transaction obtained by counting the first transaction data according to a preset statistical dimension. The data is sent to the query server for use. The first transaction data with the same keyword will be sent to the same computing server,and the computing server can use the second transaction data for the query server. Therefore,the ability to calculate statistics can be horizontally expanded by increasing the number of computing servers,thereby increasing the speed at which data is written into the database,thereby improving data query efficiency.

Keywords:transaction data;real-time query;computing server

0  引  言

目前行業内普遍采用的实时统计方法是接收实时交易数据,以事务方式计算后写入数据库供用户查询,这种方法的时效性较低,而且支持大并发量的成本要求非常高。

1  技术背景

数据统计在各行各业中都有应用,尤其是在银行业务中使用较为频繁。目前,普遍采用的数据统计方法是在接收交易数据并针对接收到的交易数据进行计算后,再以事务的方式将计算后的交易数据写入数据库,以供用户查询。然而,通过事务的方式将交易数据写入数据库的时效性较低,并且……

登录APP查看全文