蒋灏东

(苏州工业职业技术学院，江苏苏州，215104)

1 计算机信息处理技术

1.1 数据的采集与存储

数据的采集比如流行的Sqoop和ETL工具[ETL概念是将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端]，传统的关系型数据库MySQL和Oracle等，都是将数据从来远端采集并加载到目标端的工具，海量数据对数据采集也有极大的压力。数据采集可参考图1所示。

图1 数据采集

另外，大数据背景下，对数据的收录和存储也有了更高要求，通过计算机软硬件技术的提升来加强数据的存储，通常来说，数据都存储在企业的一个个“云”上，如阿里云、AWS（亚马逊）、AZURE（微软）、DINDINCLOUD（丁丁云）、KTC、GOOGLE CLOUD（谷歌云）等等，但需要看出，云的作用不仅仅在于存储，也在于对信息数据的处理。

1.2 计算与处理

上面提到，高端互联网企业已经逐步开发属于自己的云计算，对于大数据的采集、存储和计算都非常方便，大数据作为基础提供海量数据，云计算则将所有数据进行分布式处理、分布式数据库，解决目标任务并进行计算结果的合并，通过云计算，可以在短短数秒钟时间内，处理数以万计的数据，例如串口温度检测（如图2）.通过计算与处理的数据，才真正具有“可视化”的特点，为随后的智能运营提供基础。发展至今，云计算已经越来越复杂，如大树般开枝散叶，逐渐形成了分布式计算、效用计算、负载均衡、并行计算、网络存储、热备份冗杂和虚拟化等计算机的混合技术。

图2 基于串口温度检测流程

除了各家企业的云计算之外，Hadoop、Mapreduce、Tensorflow（深度学习框……