APP下载

大数据的发展及应用

2017-12-27骆彬

电子技术与软件工程 2017年17期
关键词:数据管理信息管理数据挖掘

文/骆彬

大数据的发展及应用

文/骆彬

大数据时代已经正式到来,相应地,大数据管理人才的培养的问题也已经摆在我们面前。本文结合企业对大数据人才需求的实际情况,分析了不同类型大数据管理人才应该具备的专业知识和专业能力,并针对本科层次大数据专业的建设情况,提出了一些有建设性的意见和建议。

大数据发展 大数据管理 应用

1 引言

大数据浪潮已经席卷全球,势不可挡。大数据已经不再是一个简单的概念,它已经渗透到普通人的日常生活,同样的,大数据也已经改变了企业的行为,为企业带来了巨大的挑战和无限的商机。为了更好地开发和利用大数据的价值,不仅需要大量的数据支持,同样还需要拥有对应技术的、熟悉公司业务的专业人员。

为了满足市场对大数据管理专业人才的需求,我国一些高等院校已经开设了本科层次的大数据管理专业,本文结合我国对大数据人才需求的实际情况,针对本科层次大数据专业的建设情况,提出一些意见和建议,以期为我国高校建设大数据管理本科专业提供参考。

2 大数据的发展现状

现有的大数据解决方案基本上都是基于Hadoop的。Hadoop是由Apache开源软件基金会开发的运行于大规模普通服务器上的用于大数据存储、计算和分析的分布式系统基础架构,它由两个部分组成:分布式文件系统HDFS(Hadoop Distributed File System)和分布式运算框架(MapReduce)。由于Hadoop项目本身是开源免费的,因此Hadoop是部署在Linux环境下的,同时基于Hadoop开发的其他项目也都是开源免费的,这不但为企业节约了成本,同时也为学校的教学活动提供了方便。

3 大数据特点

Hadoop从诞生至今已经发展成为一个大数据相关的庞大的软件生态系统。为了能够维持这个庞大的软件生态系统顺利运转,并基于这个生态系统开发出符合特定企业需求的各种应用,需要许多相关的专业人才。根据不同专业人员所需知识结构的特点,可以将其分为三类:大数据运维,大数据应用开发,大数据信息分析与数据挖掘。

3.1 大数据运维

大数据运维人员不但要熟悉Hadoop本身的所有系统及软件知识,还要熟悉网络设备的软硬件知识和服务器设备的软硬件知识,对于人才的综合能力要求较高,本科层次一般很难培养出符合要求的专门人才。

3.2 大数据应用开发

大数据应用开发人员需要熟悉相关的软件编程语言,熟练使用相关的开发工具,同时还应该熟悉公司的业务,清楚公司的需求,掌握相关的算法和数据模型。

3.3 大数据信息分析与数据挖掘

从事大数据信息分析或数据挖掘工作的人员应该具备较强的信息分析能力,熟悉数据挖掘技术和算法,拥有用户建模、业务建模、数据建模能力,最好还具备一定的软件开发能力,以便能够更好地与大数据应用开发人员合作。

4 数据管理专业建设的几点建议

通过上面的分析可以看出,与大数据相关的工作内容有很多,对应的具体工作岗位也有很多,不同的岗位又有不同的具体要求,大数据管理专业就是要培养能够从事与大数据相关的管理人才。为了实现这一培养目标,下面给出关于大数据管理专业建设的几点建议。

4.1 明确专业培养方向

就本科层次的学生而言,一般情况下通过四年的学习无法掌握全部大数据管理所需的知识,因此必须明确本专业希望培养的具体方向。

(1)大数据运维方向应该重点培养学生对计算机、网络软硬件知识的综合掌握,尤其是要对网络设备的软硬件十分熟悉,并且需要有足够丰富的实践经验。综合来看,大数据运维方向与传统的网络工程专业相关度较高,需要在传统网络工程专业基础上增加分布式集群计算、Hadoop相关软件部署等方面的内容。

(2)大数据应用开发方向应重视软件开发能力,与传统的软件工程专业相比,大数据应用开发需要熟练掌握Java、Python等语言,同时还应该对信息分析、数据挖掘等方面的数据建模有所了解。当然,对熟悉Hadoop的要求是必不可少的,因为在开发过程中,必须随时考虑到分布式计算的特点,避免因为算法等出现错误而导致整个集群崩溃的情况。

(3)大数据信息分析与数据挖掘方向则应该培养学生对数据价值的敏感性,与传统的信息管理专业相关度较高。从名称上来看,信息分析与数据挖据的概念早已有之,但由于量变而引发的质变,大数据环境下的信息分析与数据挖掘已经与我们所熟悉的概念有了本质的区别,相应的一些理论、方法也发生了改变,这些都是大数据管理与传统信息管理的不同之处。

大数据管理专业相关的岗位较多,不同岗位的需求也不尽相同,不同学校可以根据各自的专业基础和专业特色选择不同的专业培养方向,以满足人才市场对不同专业人才的需求。

4.2 合理设置专业课程

在设计专业课程体系时,一定要充分考虑专业培养目标和企业相关岗位需求,体现专业方向的培养特色,突出专业方向的核心能力。

不同学校的学生有较大的差异,例如文理科背景的差异,自主学习能力的差异,逻辑思维能力的差异等,同时不同的学校在设置大数据管理专业时的专业背景也有所不同,所以在专业课程设置上肯定会有所不同。

4.3 厚基础,宽口径,因材施教

大数据相关技术是当前较为前沿的技术,相关的应用也在探索当中,其真正的价值还没有体现出来,所以在现阶段的大数据专业建设过程中,不应该拘泥于某一专业领域,而应该使学生在掌握扎实的专业理论基础的同时,根据自己的兴趣爱好和专长,宽口径培养学生的多项不同技能,从而使的同一专业的学生也可以具有并不完全相同的专业能力。

5 结论

大数据管理专业是一个比较新的本科专业,开设这一专业的学校还很少,其专业建设也才刚刚开始,相关的理论和实践都在构建和探索中,但大数据管理领域的发展潜力巨大,前景十分广阔,相应的人才需求量也非常大,因此开展相关专业的建设工作是一项非常紧迫的工作。本文针对本科层次大数据专业的建设情况,提出了自己的一些意见和建议,希望能给大家提供一定的参考。

[1]孟小峰,慈祥.大数据管理:概念、技术与挑战[J].计算机研究与发展,2013:146-169.

[2]苏玉召.大数据时代信息管理专业课程建设[J].大学教育2013:5-6.

[3]闫娜.大数据视角下信息管理与信息系统专业建设研究[J].图书馆学研究,2013(11):9-12.

作者单位北京城市学院 北京市 100000

骆彬(1973-),男,蒙古族,河北省邯郸市人。硕士学历。研究方向为信息管理,电子商务,大数据。

猜你喜欢

数据管理信息管理数据挖掘
企业级BOM数据管理概要
定制化汽车制造的数据管理分析
海洋环境数据管理优化与实践
造价信息管理在海外投标中的应用探讨
CTCS-2级报文数据管理需求分析和实现
评《现代物流信息管理与技术》(书评)
基于并行计算的大数据挖掘在电网中的应用
在高速公路信息管理中如何做好QC小组活动
一种基于Hadoop的大数据挖掘云服务及应用
基于GPGPU的离散数据挖掘研究