APP下载

大数据、云计算与用户行为经验分析

2018-02-19李晓戈

信息记录材料 2018年7期
关键词:节点用户分析

陈 硕,李晓戈

(西安邮电大学 陕西 西安 710119)

1 引言

当今的人类社会已然步入到了信息时代,特别是受到各种自动化机器人大规模应用影响,用户行为得到了更加精细化的记录,若能够将用户行为数据充分挖掘出来,进而掌握其中的行为模式,对用户需求做出预估,掌握经济社会需求规律,为用户提供更具个性化的服务,以实现对全社会生产效率的大幅度提升,有着巨大的现实意义。而在开展用户行为分析工作时,对大数据与云计算技术的应用便是其中必须要应用到的技术手段,基于大数据与云计算背景下之下的用户行为分析将迎来一轮新的发展高峰。

2 相关概念阐述

目前有关用户行为分析的研究已经取得一定的成果,但大数据的引入也为用户行为分析带来了许多新的难题,主要反映在以下几方面当中:

2.1 大数据分析

与以往的数据记录方式相对比而言,大数据不单单仅是规模上的扩大,且其本质内涵也发生了彻底性的转变。以往所采取的用户行为分析在数据存储方面更多还是依靠的数据仓库。然而基于大数据的背景下,数据存储则会面临数据前移代价过大及适应性不强的问题。为应对大规模数据信息存储与处理,开展用户行为分析将是必备前提。

(1)大数据信息的主要来源途径之一即各种设备在运行过程中所产生出的数据信息,以及用户在浏览网站过程中所产生出的交互信息,上述信息内容存在着大量的半结构化数据信息,且有许多数据仍未原始数据。因缺乏对数据结构与内涵的释义,许多数据定义不明确,成为了真伪难辨的杂乱数据,这也就导致数据预处理工作将面临着更加困难的挑战要求。(2)从大数据用户行为数据挖掘来分析,这是一项需长期坚持且不断积累的发展过程,考虑到数据信息总量规模庞大,对于数据信息的挖掘结果仍需基于多个云平台之上的数据节点体系内来开展。直接面向大数据的知识架构应能够满足于更高的拓展性且要支持即时更新,以及快捷化的信息整合等能力。

近年来有关云计算的概念已经席卷了整个互联网行业,同时也使得用户行为分析在迎来巨大机遇的同时也面临着新的困难挑战。云计算可为用户行为分析提供以下几项技术支持:

2.2 云数据存储方式

为获得大数据存储及访问,众多公司都开展了分布式网络文件系统研究。以谷歌公司所研发出的GFS系统为例,这一系统硬件是一项大规模中低端计算机集群组织,其中含括了两大节点,即主节点和众多的数据节点。程序在进行数据访问时,最先对主节点进行访问,得到数据节点信息及授权以后,再访问数据节点。其中任意一处数据节点发生故障,对于整体数据应用都不会造成影响。

2.3 云计算服务发展趋势

云计算将计算工作从用户终端集中到“云端”,是基于互联网的一种计算模式。在国外的一些国家中,将云计算技术逐渐作为维持国家核心竞争力的重要手段,例如,美国军队、司法、农业等都应用了云计算服务,通过构建云计算生态系统,推动产业链的发展。还有澳大利亚政府通过颁布相应的文件,注重将大数据分析应用到公共行业中,进行服务改革,制定出公共政策。我国在云计算方面,已经突破了存储系统软、硬件设备技术,在弹性计算、分布式计算等方面有了很大的突破,我国的教育云、北京电力等的机构都已经应用了H3C云计算。

2.4 云计算的按架构分析

这一系统与GFS较为相似,是通过主节点掌控并配置每一处子节点的计算资源。每一项子节点均可由集群内移除,且对于当下所执行的任务并不会造成干扰。容错、分布计算及负载平衡等技术均可通过系统直接完成,用户本身也无需利用此方面知识便可高效应用分布式计算。以开源分布式计算架构Hadoop为例,其整体架构具备以下功能:提供支持Hadoop系统的公用组件;帮助用户实现对海量数据吞吐的分布式系统;任务规划及子节点程序调度、实现大规模数据集平行计算。

3 大数据、云计算背景下的用户行为分析

3.1 对各种信息资源的收集整理

当前所搜集到的各项大数据信息均是通过业务、日志等数据方式所生成的,但却未能够认识应当如何确保此类数据更加适用在对用户行为的分析上,这同时也为更加高效化的分析用户行为带来了新的挑战。开展用户行为分析能够依据用户需求,提出大数据信息组织规范,利用元数据或是标记语言等策略标示出大数据的信息内涵,从而为用户行为分析软件提供便利,更好的搜集并分析相关数据信息。

3.2 信息资源的分类

信息资源整合类型包括两大类型,即同类数据合并与异类数据关联。其中第一种关于同类数据的合并类似与将网络用户的发帖信息汇聚起来便可研究某一类用户群体的关注热点,尽管数据本身为同一类型,但在数据格式、规模等方面仍有所区别,因此在实施资源整合时就必须充分考虑到数据格式的统一性,以及不同数据规模的代表性。而后一种如科技信息的检索,一般是将相关的用户日志、文献摘要、关键词等信息予以整合。

3.3 对信息的挖掘和处理

这一方面的应用在大数据集用户行为分析方面优势突出,主要体现在以下两个方面:(1)因受到数据异构性、安全性和相关的法律限制影响,将相关的数据信息内容采取集中化分析显然有些不切实际,因此可采取本地处理后再进一步采取后续处理措施;(2)把数据源分为多个小模块,尽可能在本地即做到对数据信息的预处理及数据挖掘,最终合并所挖掘到的数据信息,能够大幅度减小数据传输与系统计算的费用支出。

4 结语

总而言之,随着大数据的产生也预示着更大规模的数据信息将会被应用到用户行为分析过程当中,这不仅能够为用户行为分析带来新发展,同时也将会使得当前所沿用的理论架构与技术面临新的挑战。在开展大数据应用研究时,可采用传统情报学作为指导,将数据生成、信息分析与知识重构视作为一个整体,从更加广阔的视野角度来研究大数据用户行为分析。

[1] 季正波,白光伟,沈航等.基于用户行为记录的云服务隐私保护体系和算法[J].计算机科学,2015,42(8).

[2]毛建景,张凯萍.云计算环境下海量用户行为信任评估模型[J].计算机仿真,2016,33(3).

[3] 王兵.基于云计算技术的大数据用户行为引擎设计[J].电脑知识与技术,2016,12(5).

[4] 卢小宾,王建亚.云计算采纳行为研究现状分析[J].中国图书馆学报,2015,(1).

猜你喜欢

节点用户分析
CM节点控制在船舶上的应用
隐蔽失效适航要求符合性验证分析
基于AutoCAD的门窗节点图快速构建
概念格的一种并行构造算法
电力系统不平衡分析
关注用户
电力系统及其自动化发展趋势分析
关注用户
关注用户
抓住人才培养的关键节点