APP下载

大数据时代下的无线电监测

2015-01-03汪庭霁

数字通信世界 2015年5期
关键词:频段监测时代

汪庭霁

(国家无线电监测中心,北京 100037)

大数据时代下的无线电监测

汪庭霁

(国家无线电监测中心,北京 100037)

随着科学技术的不断发展,人们逐渐走入了大数据时代。传统的无线电监测中遇到的困难,可以交由大数据理论来解决。本文首先介绍了大数据的基本概念,随后探讨了当前无线电监测遇到的问题,以及如何运用大数据理论处理数据,最后提出了对未来的展望。

大数据;无线电监测

1 引言

大数据并非一个明确的概念。起初,人们只是在处理信息时,发现信息量越来越大,用常规的信息处理软件已经越来越难处理了。后来,随着科学技术的发展,人们逐渐意识到我们已经来到了一个信息爆炸的时代,其增长速度大大超过了预期,导致量变引起了质变,创造出了“大数据”这个概念。

维基百科中对大数据定义如下:“大数据”是指一些使用目前现有数据库管理工具或传统数据处理应用很难处理的大型而复杂的数据集。Gartner公司提出了用“3V”模型来描述大数据,即海量的数据规模(Volume),快速的数据流转(Velocity)和多样的数据类型(Variety)。2012年,国际数据中心(IDC)则定义了大数据的四大特征,在原有的“3V”模型上增加了第四个“V”,即巨大的数据价值(Value)。

无论如何定义,大数据以一种前所未有的方式,已经逐渐走进了我们生活中的方方面面。大数据的核心是预测,但由于大数据是基于海量的信息量,所以在分析信息时,有了以下几点重要的转变:

第一,在大数据时代,我们不再依赖于抽样定理进行采样,而是分析所有数据。传统的采样分析信息,势必会因采样样本数量有限,而忽略掉一些信息。但在大数据高速发展的今天,我们可以分析更多的数据,从而看到了样本无法揭示的细节。

第二,在大数据时代,需要处理的数据非常之多,导致我们不再追求精确性。针对小数据,我们往往追求绝对的精确。比如一些人可以准确记住他银行卡上的每一位数字。但对于大数据,我们可以适当忽略一些精确性以在宏观层面上更好的把控。当然,我们不是放弃精确性,而是不专注于此。

第三,在大数据时代,我们不追求寻找因果关系,而是寻找相关关系。以往,人们总是习惯性地想搞明白任何事情的缘由,而大数据却可以直观地呈现出事情的结果。在现在生活中,这已经足够了。比如导航软件可以给你指出一条最快捷的路线,这条路线并不是传统意义上距离最近的路线,而是综合了多种实时路况的路线。但是对于司机而言,他往往却并不会关注这条路线最快的原因。

2 当前无线电监测遇到的问题

目前,虽然我们已经积累了大量的无线电监测数据,但是由于监测软件的智能化程度不高,数据采集后,还有大量的工作需要人工处理。这种工作强度很大,枯燥乏味,监测人员长时间工作下来后,也很难保证分析处理后数据的准确性。且不同的监测人员在处理数据过程中的做法也并不相同,在最后的数据汇总工作中,往往会出现数据格式、类型的不统一,给汇总工作带来了较大的困难。

此外,虽然我们掌握了大量的无线电监测数据,但是这些数据并没有得到很好的分析和挖掘。例如,我们监测到的频谱数据往往以原始的频谱图、瀑布图等形式展现出来,但在实际处理数据过程中,可能更需要结合台站数据库及各种环境参数等进行分析,以至于这些数据并不能有效地为频谱管理工作提供信息。这就需要运用大数据的理论来解决这些问题。

3 在大数据时代下的数据处理

运用大数据理论处理数据,一般分为以下五个步骤:数据采集,数据管理,数据计算,数据分析和数据展现。下面逐一具体分析。

(1)数据采集

这一步主要目的就是获取原始数据。我们需要按照一定的需求,进行合理的设置,从而在获取数据的同时就进行了初步的数据过滤,将一些无效信息进行了去除,方便以下几步的数据处理。例如,我们需要对北京地区30MHz到800MHz的频段范围进行监测,首先,需要将该频段做一个简单的分析,在该频段内,有调频广播、电视、民航、集群通信、对讲等多种业务,因此,进行监测时不能统一进行设置,而要根据不同业务的频段范围,分段进行设置。根据业务的不同,我们可以进行如表1划分。

如果直接按照表1频段进行测试,需要将该频段分成9段,这未免显得有些过于繁琐。可以进行一些简单的处理,将信号特点相似的频段合并。首先,电视信号的伴音信号与调频广播信号相似,带宽均为50-150kHz,故而可以进行合并。其次,民航信号中的地空对话信号与对讲信号比较相似,带宽均为9-15kHz,可以进行合并。接下来的集群、对讲、寻呼、数传这几种信号也较为相似,集群信号的带宽一般为15-25kHz,对讲、寻呼、数传的信号带宽一般为9-15kHz,相差不大,也可进行合并。最后,再将两段电视频段合并,整理之后的结果如表2所示。

表1 业务频段划分表

表2 数据融合后的业务频段划分表

经过这样简单的数据融合之后,在并没有损失数据的情况下,更多的是从宏观角度掌握数据,从而简化了测试步骤,提高了测试效率。

(2)数据管理

根据第一步得到的各个遥控站的数据,我们需要将它们进行统一的管理,这一步可以利用数据库软件作为工具。将得到的数据,根据信号的电平、占用度、带宽等传统特征分门别类地整理好。同时,该数据库还可以针对每次监测特定的需求,增加数据整理的类别。假设我们关心的是某频点上的信号在出现时间上的分布情况,那么就可以按照时间来整理;如果我们关心的是信号出现的地点,那么就可以根据不同遥控站接收到的信号电平进行整理。

(3)数据计算

传统的计算方法一般是由远程联网的方式来进行的,即通过远程连接遥控站,遥控站将数据传回本地进行处理。这种处理方式在使用的监测站数量较少,或者监测时间叫短时运行尚可。但是,在如今的大数据时代,由于其计算量非常大,如果采用传统的计算方法,必然会耗用大量的硬件资源,且随着数据的不断积累,可能会出现计算效率低、可靠性差等问题,传统的计算方法显得越来越难以胜任。因此,目前比较好的解决办法是分布式计算,即云计算。大数据与云计算密不可分。目前应用最为广泛的是GOOGLE公司发布的开源Hadoop平台,已经逐渐成为了大多数人认可的大数据计算框架。随着计算机传输、存储、处理数据性能的逐渐提升,再配合分布式计算的概念,就可以大大提高数据计算的能力,为进一步数据分析打好基础。

(4)数据分析

传统的数据分析,往往是基于已知的比较成熟的数学模型进行分析。然而,在大数据时代,由于数据量之大,数据结构之复杂,很难利用传统的模型进行分析,需要充分结合数据挖掘、数据融合的理论,针对不同情况做具体分析。目前,数据分析技术还处于初期阶段,对于非结构化的大数据,数据分析是十分困难的。因此可以预见,未来的大数据分析的发展方向,即是努力寻找一种更为智能的数据挖掘模型。

(5)数据展现

数据展现为整个大数据处理数据过程的最后一步,我们需要尽可能直观、生动地展现数据处理的最终结果。数据展现的越直观、越生动,给予读者的感受就会更强烈、印象就会更深刻。除了常规的文字、表格外,数学曲线、图像、视频、甚至是3D模拟视频,都在我们可以考虑采用的范围之内。

4 对未来的展望

在大数据时代,无线电监测工作应当逐级实现网络化、智能化、规范化。大量的重复枯燥工作可以交给计算机来进行,监测人员只需按照每次监测的具体要求,进行一些简单的设定,即可得到经过处理按规定格式存储的数据。一次监测任务可以很流畅的按照任务下达、开展监测、数据采集、数据分析、结果呈现的流程来进行。

随着大数据的概念越来越深入人心,大数据的应用越来越广泛,我们应当将大数据与云计算、一体化平台等其他飞速发展的技术结合起来,快速地跟上并融入这个高速发展的时代。只有利用这些最先进的理念,结合到我们自身的无线电监测工作当中去,才能不断提高工作水平和效率,才能跟上时代的步伐。

[1] 维克托•迈尔-舍恩伯格,肯尼斯•库克耶 著.盛杨燕,周涛 译.大数据时代[M].杭州:浙江人民出版社,2013

[2] 国志,李冰琪.大数据影响现代通信[J].数字通信世界,2014,10: 60-62

Radio Monitoring in the Age of Big Data

Wang Tingji
(The State Radio Monitoring Center, Beijing, 100037)

With the development of science technology, the age of big data has already come. The difficulty in traditional radio monitoring can be handled by the theory of big data. This article firstly introduces the basic concept of big data, then discusses the problem in radio monitoring and how to deal data with the theory of big data. Finally, we make a prospect in the future.

Big Data; Radio Monitoring

10.3969/J.ISSN.1672-7274.2015.05.010

TN91

B

1672-7274(2015)05-0035-03

汪庭霁,男,硕士研究生,现任职于国家无线电监测中心北京监测站,主要从事无线电监测相关工作。

猜你喜欢

频段监测时代
特色“三四五六”返贫监测帮扶做实做细
5G高新视频的双频段协同传输
gPhone重力仪的面波频段响应实测研究
e时代
e时代
e时代
网络安全监测数据分析——2015年12月
网络安全监测数据分析——2015年11月
推挤的5GHz频段
不穿戴也能监测睡眠