APP下载

基于大数据的计算机信息数据处理技术研究

2022-10-12陈浩魏宇鋆刘旭阳

科学与信息化 2022年19期
关键词:数据处理计算机资源

陈浩 魏宇鋆 刘旭阳

北京计算机技术及应用研究所 北京 100854

1 大数据技术的主要内容概述

当前常用的大数据技术,包括Hadoop文件系统架构、SOA服务体系、HDFS分布式存储等。其中Hadoop分布式数据处理架构,属于大数据云计算系统的平台即服务层,包括Collect(汇总)、Map(映射)、Reduce(归约)等组成部分,主要秉持着先进先出的动态化任务调度理念。针对已搜集的海量化数据信息,利用Map映射函数建立两组数据的映射规则,并向多个主节点、从节点的任务处理需求,动态分配虚拟主机,实现某一数据类型的映射、归约操作。之后SOA服务体系为面向服务的组件模型,通常包含服务工作流、服务接口、服务注册、服务访问和服务查找等组件。该服务架构通过TCP/IP网络通信协议、定义的I/O接口,将某一应用程序的多个功能服务单元进行连接,并将多个分布式的服务组件进行封装,为用户提供需要的Web数据发送与接收、业务处理等的服务[1]。最后,HDFS分布式存储是以分布式形式,对互联网中海量化的数据信息进行存储,主要包括数据资源管理、存储等节点。HDFS的存储单元为每个数据块(block),而数据节点(Data Node)、元数据节点(Namenode)负责数据信息的写入和读出,其中数据块的单个最小存储单位是64Mbits。在HDFS文件系统HDFS框架的中心服务器,收到外部客户端的数据访问请求后,可以通过数据节点、元数据节点对数据访问、目录创建和数据存储等进行出控制,实现对不同数据资源的处理与存储。

2 计算机信息处理技术所面临的挑战

虽然大数据时代的到来,为计算机信息处理技术的发展提供了条件,但是在此过程中还出现了一些新问题,这对计算机信息处理技术的有效应用产生了严重影响。……

登录APP查看全文

猜你喜欢

数据处理计算机资源
认知诊断缺失数据处理方法的比较:零替换、多重插补与极大似然估计法*
基础教育资源展示
ILWT-EEMD数据处理的ELM滚动轴承故障诊断
计算机操作系统
基于计算机自然语言处理的机器翻译技术应用与简介
资源回收
信息系统审计中计算机审计的应用
资源再生 欢迎订阅
基于希尔伯特- 黄变换的去噪法在外测数据处理中的应用
Fresnel衍射的计算机模拟演示