APP下载

探究移动通信网络中大数据处理的关键技术

2018-04-13卢建辉

数字通信世界 2018年2期
关键词:后台数据处理关键技术

卢建辉

(中国移动通信集团河北有限公司,石家庄 050011)

1 大数据技术的特点

第一,需要处理较大数据信息量。首先在大数据处理阶段中,最主要的就是要处理PB级甚至是EB级的数据量。第二,大数据信息中数据非结构化的发展。随着移动通信网络的不断发展,促进了大数据时代的来临,使得大量的非结构化数据在迅速的增加,其中需要处理的非结构化数据已经占据了总数据量的80%。

2 关键技术

大数据处理一般情况下需要经过四个步骤,如图1所示,以物联网为例,讲述四个关键技术。

图1

2.1 清洗、提取

许多终端在无人监控或者在环境恶劣的情况下,大量收集数据,这样收集而来的原始数据可能出现错误和误差,不准确和不完善,会导致数据的可靠性大大降低,因此就需要通过清洗技术,去除部分错误、冗余和不完整的数据,最后将数据提取出来并储存。许多算法可以对数据进行清洗提取,但是大都是针对小量数据,并不能处理巨量数据,特别是 PB或者 EB级别以上的数据。因此,为了保证数据的正确性和完善性,确保分析结果的可靠性,算法等清洗技术需要不断发展和优化,这是近期需要迫切解决的关键技术问题。

2.2 集成

因为原始数据都是通过不同的终端收集而来,正是多源异构这一本质特征,所以,需要将来源不同的数据进行清洗提取,最后进行数据融合,将表示同一实体的不同数据表象融合至单一的数据表象,能够解决数据间各种冲突矛盾的情况。在移动通信网络中,大数据的融合集成需要关注实体统一、数据关联和数据冲突解决这三个关键问题。

2.3 分析、挖掘

获得可利用的数据之后,就需要对收集到的数据进行分析与挖掘,这是获得数据价值的关键手段。同一批数据,进行不同方向的分析挖掘以及分析挖掘的能力不同等,都会造成对数据利用的成果不同,数据实现的价值也会不同。因此,高效的挖掘分析工具、工作人员和开发环境对数据的分析挖掘具有决定性的意义。

2.4 交互展示

在获得数据并进行分析挖掘后,得到相应的成果,最后则需要通过一定的方式将其展示出来,具现化数据的真正价值。现今发展比较迅速的是可视化分析,即利用各种数据分析展示的手段,将数据结果以一种直视觉的形式展现出来。可视化分析不仅能够对大数据本身和其分析挖掘结果进行展示,而且可以进一步进行人机交互等,增强数据处理分析的能力,实现数据价值的最大化。

3 移动通信网络运用大数据分析的运用

3.1 基于聚类分析的网络后台数据优化

目前,我国的移动通信网络后台数据处理技术,一般主要是指网络 KPI 分析与优化,其在大数据分析技术基础上,通过利用聚类分析对网络后台数据实现一种优化工作,这样对提高网络 KPI 有着非常重要的意义。我们以某个三线城市的移动通信网络优化工作为例建立一个分析模型,并且根据现有网络 KPI的 考核情况为主要分析基础。希望通过数据真实的反映出网络的KPI 数据情况,详细数据分类见表1。

表1 后台数据分类

当我们完成模型建立后,开始进行数据处理的聚类分析后台数据优化。通过以 C 城市中某小区 Y 为例,我们对 Y 小区的移动通信网络数据进行提取、条件判断、数据筛选和问题定位后,通过选择其中 9 类 KPI 作为大数据处理的关键指标进行加权。建立其监控体系之后,利用 Excel 宏工具作为我们数据处理的工具,然后通过Excel 中运行 SQL 脚本,提取出 Y 小区的移动网络数据,并且在宏程序中嵌入聚类分析的算法和优化处理,将提取到的相关数据返回至 Excel 表格中,从而实现数据的优化处理。这种方式不仅降低了网络优化工作人员的日常工作量,还能够提高日常的工作效率。

3.2 实施阶段性策略

首先,我们必须要把大数据处理技术应用到网络系统的准确环节中,并且设定好具体的网络系统优化目标,然后再根据设定的优化目标选择相应的材料与工具。其次,在测试阶段应用大数据处理关键技术,并且对于相关的数据处理信息进行详细的记录,通过研究这些信息记录来提高大数据的应用效果。工作人员对于大量的数据信息进行全面优化过程中,对于涉及的信息切换以及信号覆盖问题时,要及时的进行相关问题的解决,从而不断的对优化结构进行完善。

4 结束语

综上所述,随着我国科学技术的不断发展,不断带动移动通信网络技术的进步,并且促进了大数据处理时代的到来。大数据处理技术不仅能够给人们日常生产生活带来极大的方便,还能有效的进行相关数据的分析。随着科学技术的不断发展,以及对大数据处理技术关键技术的不断创新与研究,我相信今后对于大数据处理的速度与质量也会不断的提高。

[1] 莫元富.车联网环境下交通信息分发与处理关键技术研究[D].吉林大学,2016.

猜你喜欢

后台数据处理关键技术
牛繁育与健康养殖关键技术
认知诊断缺失数据处理方法的比较:零替换、多重插补与极大似然估计法*
小麦春季化控要掌握关键技术
棉花追肥关键技术
ILWT-EEMD数据处理的ELM滚动轴承故障诊断
老苹果园更新改造的关键技术
Wu Fenghua:Yueju Opera Artist
后台暗恋
后台朋友
基于希尔伯特- 黄变换的去噪法在外测数据处理中的应用