APP下载

“大数据+”背景下计算机方式处理信息的办法研究

2022-11-02梁海军

山西青年 2022年21期
关键词:时序检索集群

梁海军

河北工业职业技术大学,河北 石家庄 050091

在现代科学技术持续发展的背景下,计算机功能正在不断完善,并已在信息处理方面得到广泛应用。但随着大数据时代到来,计算机技术已无法满足社会需求,导致信息处理效率停滞不前。因此,为提高信息处理效果,有必要加大研究投入,充分掌握计算机技术与人工智能技术的各项内容,并采取一系列措施,促使两项技术进行结合,深入挖掘各项先进技术的潜在价值,以满足大数据体系需要,对推动计算机网络科技发展具有现实意义。

一、大数据技术

大数据技术与人工智能技术能够开展风险性及复杂程度相对较高的工作,以实现在提高工作效率的前提下,防止人民群众生命安全受到威胁。针对人工智能而言,其能够对智能机器人进行利用,以此对传统人力进行替代,并提高工作效率。智能机器人的操作精准度较高,其能够防止各项工作受到人为因素的影响,从而出现偏差。随着计算机互联网领域持续发展,人工智能科技已进入发展新势态[1]。在计算机网络领域对人工智能技术进行应用时,计算机将实现对复杂程度较高,且规模较大的信息进行高效处理。在计算机互联网得到广泛应用的情况下,人工智能在计算机互联网领域将呈现动态性特征,即该项技术手段能够结合人员实际需求,对大量参数采取处理措施,且能够对体系的简便性产生积极影响,促使互联网处理效率实现最大化。通过调研可以发现,在大数据时代到来后,各类信息参数的数量正在持续增加,致使系统的复杂程度也在不断提高,因此为实现对各项信息进行有效处理,有必要对人工智能技术进行合理运用。该项技术手段的功能呈现多样化,其能够对各类参数及检索信息进行总结与整合,满足计算机数据信息处理方面的各项要求。针对非线性难题,该项技术手段能够通过虚拟技术对问题进行处理,并结合需要对各类参数实施高效搜索,全面提高运转成效。互联网的信息传播速度相对较快,导致用户无法对其进行精准操控。考虑到传统互联网通告学说无法对高线性网络管控特征进行充分体现,故而工作人员有必要加大对人工智能体系的研究投入,并合理运用虚拟技术,进而实现高效处理非线性难题。

二、以HBase时序参数库为基础的设计措施

(一)时序参数

为全面提高计算机处理效果,工作人员必须对与工业生产现场相关,且不断发生变化的工艺数据信息加以重视,并对其进行离散数字化采样,进而促使间隔转变的离散数字参数流形成。针对上述离散数字参数而言,部分学者将其称作时序参数。通过对时序参数进行深入分析,可发现单独时序参数包括的参数元素主要有4个,分别是数据质量、测点、测试数据及时间戳。上述元素可分别应用在数据信息与成果可靠度的测试工作、参数时刻的测试工作、传感设备与工艺数据的标志方面。

(二)HBase储存设计

在通常情况下,HBase的储存创设内容多是主键与储蓄构造的创设,针对创设目的而言,其主要是提高数据检测效果,防止储备空间不足,确保互联网吞吐量符合规范要求。

1.储蓄构造

HBase采用列式储蓄构造,其不同参数列均独立储存,为空的参数不占有相应的储蓄空间。在采取上述创设方式的情况下,稀疏参数的储备成效将显著提高,且列族将实现对多参数数列存储进行兼容。通过深入分析HBase储蓄构造,可发现其创设方案主要包括两种,分别是宽表方案与高表方案。其中宽表构造能够对一行记载进行利用,且能够在同一时间对多条参数模式进行记载,记载的行内参数通过参数列进行区分。对参数进行定位时,必须通过两道程序,即对参数所处的记载行的启示方位进行定位,并对参数所处的参数列方位进行定位。在实际工作中,宽表模式能够对检索记载需要的RowKey数量进行缩减,全面提高参数的检索效率,减少RowKey储存需要耗费的内存及硬盘空间。对小记录参数进行储存的过程中,通过宽表将取得良好成效。针对高表构造而言,其能够对一行记载仅记录一条参数的模式进行应用。在实际工作中,高表方案能够结合实际需求对目标参数进行依次定位。通过对高表方案进行深入分析,可发现由于总记载数相对于宽表构造明显较大,且检索过程中必须对多个RowKey进行应用,故而检索效率将明显降低[2]。此外,RowKey储存需要的内存及硬盘空间相对于宽表构造的增幅较大,尤其针对不同参数而言,其均处于小量参数阶段,不具备良好的储蓄效果,且检索效果欠佳。

2.创设准则

在RowKey创设方面,应对以下几项创设准则进行综合考量(如图1所示)。

图1 HBase RowKey创设准则

(1)长度准则。例如若RowKey属于二进制码流,长度处在10个字节至100个字节的范围内,则操控系统64bit占有,内存通过8byte对齐,RowKey管控在16byte,能够对8byte倍数的对齐要求进行充分利用,进而促使CPU性能实现最优化。(2)散列准则。HBase能够通过RowKey区段的划分,以此在相异节点对参数进行分布。若RowKey过度集中到某个层面,则载荷极有可能汇集到相应节点,致使CPU的速度降低。(3)唯一准则。在实际工作中,必须对RowKey数据加以重视,确保一条数据仅能够针对唯一的参数。(4)相关准则。应对相关的参数予以关注,尽可能在硬盘中对其进行储存,以实现对大量有关参数进行一次性解读,全面提高节点的特性与吞吐量。(5)检索关联性。在实际工作中,应尽可能在主键中完成核心检索条件,以此提高检索效果。

三、检验方案设计

(一)设计

在分析上述创设思维后,工作人员应以原有计算机状况为基础,对以HBase为主体的大数据技术时序参数库的检验模态进行建立。针对整体检验环境而言,其组成部分有4部计算机,能够通过万兆以太网进行连接,所有节点均处在具备一致性的网段中(如图2所示)。

图2 时序参数库检验环境

在实际工作中,除首部计算机以外,工作人员有必要在其他3部计算机上对Zookeeper软件进行安装,逐步Zookeeper集群,进而实现为Hadoop集群与HBase集群的正常运行提供支持。针对前两部计算机,工作人员应对Hadoop管控节点与Hadoop后备管控节点软件进行安装,以此对集群的命名服务节点与后备命名节点进行承担。应将相应的参数节点软件安装到4部计算机上,并将其作为Hadoop集群参数节点进行使用。应将HBase Region Server软件安装在4部计算机上,并在首部计算机上装设HBase Master软件,进而建立相应集群。正式进行检验实验的过程中,应促使虚拟参数源每10秒对参数进行输送,每次输送的时序参数数量达到600万条,每次检测记录30分钟内参数的平均值。某学者以上述内容为基础实施检测,其检测成果如下(如表1所示)。

表1 检测成果

通过对检测成果进行分析,可发现检验环境的时序参数写入速率处在每秒107万至120万条的范围内,普通实时参数库商品的参数写入速率数据处在每秒30万至40万条的范围内。考虑到环境因素,故而检验环境的分配集群规模相对较小,且无法对Hadoop科技的功能进行充分体现[3]。在集群规模不断扩展的情况下,HBase集群的处置功能也将拓展。通过大量实践可以发现,当前Hadoop技术能够进行支撑的集群规模为10000个节点,但受到环境方面的影响,暂时未实施相应检验。

(二)反垃圾邮件

从现实角度出发,可发现多数用户在工作过程中极有可能受到垃圾电邮的困扰。因此为实现对上述问题进行有效处理,可选择将人工智能技术应用到计算机网络中,以此提高用户参数的处理效果。例如,该项技术手段能够结合实际状况对垃圾电邮进行高效处理识别,防止其进入到邮箱内。此外,在实际应用中,若系统选择接收电邮,将自动化对垃圾电邮进行测试与清理,防止电邮对用户造成困扰,以此提高电邮的可靠性与实用性。

通过分析互联网资源分享方面,可发现人工智能在该方面具有较高的开放度,其能够在处理庞大资源的过程中实现总结与共享,进而为用户的后续使用奠定良好基础。此外,在上述领域,人工智能科技将充分体现自身的自主学习功能,以满足用户各项需求。

(三)防火墙

人工智能在防火墙系统中具有较高的应用率,其能够为防火墙开展信息识别工作提供支持,全面提高工作效率。在实际工作中,若具有风险性的信息进入到计算机中,则防火墙将自动化对信息进行解读,充分掌握信息各项内容,防止存在威胁的软件进入互联网内部。网络侵入检验科技能够对相异类型的参数进行高效过滤,并在短时间内将其反馈给用户。从实际出发,可发现上述科技的防御系统相较于传统系统具有显著优势,能够满足用户在参数识别方面存在的各项需求[4]。在参数采集方面,该项技术能够对不同版块进行解析,以此对不良信息进行约束,全面提高参数安全性,确保计算机能够正常运行。此外,智能化防火墙能够对外部网络的侵犯进行高效应对,提高网络体系的稳定性,防止病毒进入网络体系,进而提升体系安全系数。例如在侵入系统测试方面,人工智能技术将对自身的功能性进行充分体现。在实际工作中,其能够高效保护各类网络资源,提高其可靠性。在科学技术持续发展的背景下,神经网络体系及专家体系已融入侵入网络系统中。在此基础上,侵入体系将实现对网络参数进行高效解读与处理,并对参数库的拦截模式进行分类创设,删除不良信息,以满足用户需要。

综上所述,随着现代科技水平不断提高与信息量不断增大,计算机信息处理方面已无法适应时代发展。因此必须对计算机技术进行深入研究,不断对其进行完善与创新,科学构建时序参数库系统,进而实现高效处理各项参数及信息。基于此,计算机网络科技领域将实现健康发展。

猜你喜欢

时序检索集群
顾及多种弛豫模型的GNSS坐标时序分析软件GTSA
齐口裂腹鱼集群行为对流态的响应
清明
基于GEE平台与Sentinel-NDVI时序数据江汉平原种植模式提取
你不能把整个春天都搬到冬天来
CNKI检索模式结合关键词选取在检索中的应用探讨
通过实际案例谈如何利用外文库检索提高检索效率
瑞典专利数据库的检索技巧
英国知识产权局商标数据库信息检索
勤快又呆萌的集群机器人