大数据分析的分布式MOLAP技术要点
2018-02-02刘磊
刘磊
摘要:实际工作中需要使用大数据技术,但是由于其带有规模效应,不利于数据分析、数据管理、数据存储等工作。为了确保工作质量,相关技术人员通过研究和试验,发现使用分布式文件系统优势明显,应用MapReduce编程模型可以解决上述问题。具体而言,使用MOLAP技术之后,利用多维模型进行维度的映射,同时使用线性化算法将测量到的维度等数据存储到分布式文件中。该文对在大数据背景下分布式MOLAP技术要点进行分析,希望给有关人士一些借鉴。
关键词:大数据;分布式;MOLAP技术
中图分类号:TP3 文献标识码:A 文章编号:1009-3044(2018)01-0009-02
Abstract: In practical work, large data technology is needed, but because of its scale effect, it is not conducive to data analysis, data management, data storage and so on. In order to ensure the quality of work, the relevant technical personnel through research and experiment, found that the use of distributed file system has obvious advantages, the application of MapReduce programming model can solve these problems. Specifically, after using MOLAP technology, the multi-dimensional model is used to map the dimensions, and the linear algorithm is used to store the measured dimensions and other data into the distributed file. Below on the background of big data distributed MOLAP technology analysis, hoping to draw some reference for the relevant people.
Key words: Big data; distributed; MOLAP Technology
對于MOLAP技术也称之为DOLAP,其使用了多维数据模型,包括维和和事实两个部分,具体操作中必须要找到维和与事实之间的映射关系。DOLAP使用了星象模式,同时使用了关系数据库,将事实数据和维信息都存储到数据库表中。通过外键操作做好对事实数据的映射、维信息的映射等。
1 分析维编码算法和维的遍历算法
1.1 对维编码算法进行深度分析
技术人员都清楚,实际工作中应用OLAP技术进行操作时,需要对维进行频繁的操作,由此可见,实际运行中遍历算法和维编码是非常关键的技术。下面就深入对两种技术进行分析,希望相关人员掌握要领。对于维编码的方法而言,主要包括两种,分别是十进制编码和二进制编码。对于二进制编码而言,内部也将其称之为位图编码,操作中对相关编码进行拼接,进而得到维的级别信息,除此之外,还可以结合编码位移做到对维的遍历,达到最终的技术效果。……
