基于大数据的计算机信息数据处理技术研究
2022-10-12陈浩魏宇鋆刘旭阳
科学与信息化 2022年19期
陈浩 魏宇鋆 刘旭阳
北京计算机技术及应用研究所 北京 100854
1 大数据技术的主要内容概述
当前常用的大数据技术,包括Hadoop文件系统架构、SOA服务体系、HDFS分布式存储等。其中Hadoop分布式数据处理架构,属于大数据云计算系统的平台即服务层,包括Collect(汇总)、Map(映射)、Reduce(归约)等组成部分,主要秉持着先进先出的动态化任务调度理念。针对已搜集的海量化数据信息,利用Map映射函数建立两组数据的映射规则,并向多个主节点、从节点的任务处理需求,动态分配虚拟主机,实现某一数据类型的映射、归约操作。之后SOA服务体系为面向服务的组件模型,通常包含服务工作流、服务接口、服务注册、服务访问和服务查找等组件。该服务架构通过TCP/IP网络通信协议、定义的I/O接口,将某一应用程序的多个功能服务单元进行连接,并将多个分布式的服务组件进行封装,为用户提供需要的Web数据发送与接收、业务处理等的服务[1]。最后,HDFS分布式存储是以分布式形式,对互联网中海量化的数据信息进行存储,主要包括数据资源管理、存储等节点。HDFS的存储单元为每个数据块(block),而数据节点(Data Node)、元数据节点(Namenode)负责数据信息的写入和读出,其中数据块的单个最小存储单位是64Mbits。在HDFS文件系统HDFS框架的中心服务器,收到外部客户端的数据访问请求后,可以通过数据节点、元数据节点对数据访问、目录创建和数据存储等进行出控制,实现对不同数据资源的处理与存储。
2 计算机信息处理技术所面临的挑战
虽然大数据时代的到来,为计算机信息处理技术的发展提供了条件,但是在此过程中还出现了一些新问题,这对计算机信息处理技术的有效应用产生了严重影响。……
登录APP查看全文
