□李丹

浅谈对历史频谱数据的数据挖掘

□李丹

本文主要探讨了如何利用数据挖掘技术来实现对频谱资源的直观展示和深入探索，进而对我国目前的频谱资源管理提供有价值的信息和解决方案。

频谱资源；数据挖掘；大数据

一、基于大数据的数据挖掘技术

（一）大数据的定义

关于大数据的确切定义，目前尚无获得统一公认的说法。IBM用4V特性来描述大数据所拥有的特点：巨大的数据量（Volume）；高速率（Velocity），体现了大数据产生效率的实时性；多结构化数据（Variety），则从数据类型的角度体现了大数据的多元化，除了传统的文本数据外，图片、影视频数据也成为现阶段大数据技术的热门存储对象；价值密度低（Value），意味着要从低价值的原始海量数据中进行深度挖掘和计算，总结出具备高价值的数据。

（二）基于大数据的数据挖掘技术

数据挖掘的目的是从大数据中获得知识，很多时候数据挖掘也被称为KDD，即数据库中的知识发现。显然，一个数据挖掘项目所需要的知识涉及到各个层面：决策层面需要知道数据挖掘能干什么；设计层面需要掌握行业相关知识和数据挖掘相关知识；技术层面需要高等数学、概率学、统计学、数据库原理、分布计算、编程语言、具体算法原理等知识；应用层面则要知道数据挖掘怎样结合行业领域的需求，以及如何应用数据挖掘的结果来解决问题等等。许多软件公司及开源机构为了处理海量的信息，并对数据挖掘算法进行普及，开发了众多数据挖掘工具软件，而Hadoop生态圈则是目前主流的分布式海量数据挖掘平台。……