开源力量主导大数据发展
2017-05-27蒲松涛
蒲松涛
随着互联网的加速普及及应用,基于互联网的企业业务发展和技术创新持续加速。在技术创新方面,可汇集全球各地各类智力资源的开源模式日益成熟,并受到全球主要科技企业和发达国家的大力支持。随着全球各大科技巨头的竞相加入,开源模式正逐渐成为推动大数据等各领域技术创新的主导力量。
从大数据的发展历程可以看出,大数据源于开源,并基于开源不断演进发展,自身就已具备了开源基因。经过若干年的发展,开源软件和开源工具已经覆盖到了大数据产业发展的各个环节,基于开源软件企业可以快速地构建大数据应用平台,提供丰富的大数据开发和应用工具。根据统计,大数据领域的开源软件已涵盖了计算软件、存储软件、查询软件、基础平台、平台管理、系统工具、数据应用等多种类型。此外,与云计算类似,在大数据处理平台这个基础性并处于核心地位的环节,开源技术的作用至关重要,不管是Hadoop生态,还是Spark生态,抑或是其他支线平台,其绝大多数都属于开源软件,典型代表包括Hadoop生态的Hadoop、Pig、HBase、ZooKeeper、Hive、Yarn和Impala;Spark生态的Spark、Shark、Spark Streaming、Bagel、GraphX和Spark SQL;Hypertable、Cassandra、Dryad、S4、Kalka、Haloop、Storm等支线平台。当前,从小型初创企业到行业科技巨头,各种规模的企业都在使用开源软件和工具处理大数据和基于数据的预测分析。开源不仅驱动着大数据技术的创新演进,也推动着大数据产业的不断进步,对繁荣大数据应用生态起到不可忽视的作用。
表面上看,大数据基础平台和主要环节的技术创新均是基于开源模式推动的,全球各界人士均有平等的参与和应用机会。……
