APP下载

多模态神经网络在复杂大数据特征学习中的应用

2018-02-25叶卫华

电子技术与软件工程 2018年11期
关键词:多模态大数据神经网络

叶卫华

摘要 随着信息时代的发展,产生了海量复杂数据,如何从大数据中准确提取行业所需要的有效数据,是一件非常艰巨的任务。大数据的分析与挖掘的关键步骤是对大数据进行特征学习,本文在多层神经网络对传统数据处理的基础上,用张量法对大数据进行抽象建模,捕捉数据在高阶张量空间的分布特征,建立面向复杂大数据特征学习的多模态神经网络计算模型。

[关键词]大数据 多模态 神经网络

1 引言

大数据具有数量大、种类多、速度快、难甄别等特征,视频媒体、社交网络、物联网等各行业的飞速发展对大数据的快速准确处理提出了严峻的挑战。如何从庞大的数据中快速的筛选提取出最准确有用的信息,是大数据处理面临的最现实的问题。

本文针对大数据当前形势下的主要特点,针对大数据的特征提取方法设计多模态的神经网络计算模型。传统的特征学习方法主要基于向量模型,难以处理复杂的数据特征,典型的代表为多层卷积神经网络。多模态的神经网络计算模型同时将学习模型从向量空间扩展到张量空间,通过面向张量空间的高阶反向传播算法,对神经网络的各参数进行反向推演。实验结果表明多模态的神经网络计算模型能够快速准确的对复杂数据进行特征学习,比常规的基于张量空间的多层神经网络计算模型具有明显优势。

2 多层卷积神经网络

2.1 多层神经网络

多层神经网络学习可以看作是一个具有n层的非线性系统T,T= (Tl,T2,…,Tn),I和O分别表示系统的输入数据和输出。神经网络结构如图1所示,数据在经过这个n层的系统变换之后,输入和输出数据依旧相等,那么就表示这些数据经过这个n层的系统之后,每一层的输入与输出相等,没有发生有效信息的丢失。同时,在大数据多层神经网络模型的训练过程中,其参数和结构的学习应当具有自主性,即不需要人为干预,这样多层神经网络学习模型才可以自主学习数据的多层特征。

多层神经网络学习模型的训练包括首次训练和再次训练两个步骤,在首次训练阶段,自下而上逐层对已经建立模型神经网络进行训练,以获得初始参数;在再次训练阶段,自上而下利用已经存在的数据对参数进行一次修正,从而获得最终的正确参数。

2.2 卷积神经网络

卷积神经网络在多层神经网络的基础上增加了卷积运算,运算过程主要包括卷积、非线性变换以及下采样等三个阶段。

在卷积阶段,提取原始输入信号的特征以确定卷积核数,具有原始信号关键特征的卷积核可实现权值共享。第一阶段卷积公式如公式(1)所示:

其中,xi为卷积神经网络的输入,是由n个二维数据组成,Yi为卷积神经网络的输出,由m个二维数据组成,bj为偏置向量。

在非线性变换阶段,需要对输出进行非线性激活,激活函数采用最多的为Signoid函数。

f(y)=1/(1+e-y)

(2)

在下采样阶段,对特征的处理通常采用池化的方式。池化操作有平均法和最大化法两种,平均法计算领域窗口的特征平均值,在处理过程中,领域窗口需要平移一个步长。最大化法取领域串口的最大特征值。池化操作,使数据可以保持最多的特征,同时将数据量大幅减小。通过使用W权值将各卷积神经元连接,可构成一个基于多层卷积神经网络的深度学习模型。

平均法池化算法:

x down(xj-1)

(3)

最大化池化算法:

xj=f(Bjdown(xj-1)+bj)

(4)

down(xj-l)表示下采样操作,可以按块对数据进行降維操作。

多层卷积神经网络的训练方法主要有预训练和微调两种,预训练主要采用反向传播和梯度下降算法,这个过程为无监督的训练过程,预训练完成后通过监督训练对参数进行微调,典型的卷积神经网络单深度模型输出如图2所示。

多模态的神经网络就可以利用上述方法,将多个单层卷积神经网络叠加连接组成多层卷积神经网络模型进行综合处理。

3 基于多模态的多层神经网络

传统的大数据以结构化数据为主,多层网络学习己经在结构化大数据处理领域取得了的良好的应用。在建模过程中,复杂综合数据之间具有多种互相限制的关联关系,使神经网络的训练时间延长,收敛性变得困难。

多模态神经网络通过张量对复杂数据进行解析,求解向量数据的模态张量值,建立模态张量数据表示的高阶模型。在求解分布特征时,采用模态张量差值构造误差重构函数,从而设计反向传播计算方法,最终将多个模态张量高阶模型进行组合,建立面向复杂大数据特征学习的多模态的多层神经网络计算模型。

在建立高阶模型时,首先应提取最原始有效数据的张量模态值,通过对第一层的训练获取其有效特征,以第一层的隐藏特征为输入,接下去对第二层进行训练来获得第二层的隐藏特征,重复上述步骤一直到多模态的多层神经网络模型所有隐藏数据类型全都分析提取完毕。将获得数据结果记录为首次训练过程,该结果可以用于海量复杂数据的特征学习。

首次训练完成后,会给每个数据类型分配相应的类属标签,根据数据类型的类属标签,可以利用有监督算法对多层神经网络计算模型的参数进行再次训练补偿,进而获得多模态的多层神经网络计算模型的最终参数。

4 总结

(1)大数据拥有高度复杂性、实时性多变性等特点。大数据由于其来源广泛性,类型多样性特征,同时会包含多种复杂组合类型,同时要求系统能够对新增的不同数据进行实时处理。但目前的神经网络学习模型不能动态调整该模型的动态参数和结构,从而导致该学习模型不能接受并处理新增数据的特征。

(2)多模态的多层神经网络有效解决了非自适应的静态学习模型的问题,在应对大数据的复杂性和实时多变性上具有明显优势。

(3)处理大数据的海量性引起的数据安全隐患,多层神经网络学习模型为了能够处理准确处理大量数据进行复杂的训练,相应的也会耗费更多的时间。为了提高多层神经网络学习模型训练速度,最好的办法是充分利用云计算技术对神经网络计算模型进行优化。然而利用云计算训练神经网络学习模型虽然会提高训练速度,节省训练时间,但同时会泄露数据的安全和隐私,存在所处理大数据的安全隐患问题,这是下一步需要进行的研究方向。

参考文献

[1]卜范玉,陈志奎,张清辰,支持增量式更新的大数据特征学习模型[J],计算机工程与应用,2015,51 (12):21-26.

[2]张清辰.面向大数据特征学习的深度计算模型研究[D].大连理工大学,2015.

[3]黄伟,李晓玲,基于大数据和多模态智能技术的计算机视觉实验设计[J],实验技术与管理,2016,33 (09):122-125.

[4]文孟飞,刘伟荣,胡超.网络媒体大数据流异构多模态目标识别策略[J],计算机研究与发展,2017,54 (01):71-79。

猜你喜欢

多模态大数据神经网络
神经网络抑制无线通信干扰探究
多模态理论视角下大学英语课堂的构建
新媒体环境下多模态商务英语课堂教师角色定位
基于神经网络的拉矫机控制模型建立
复数神经网络在基于WiFi的室内LBS应用
基于支持向量机回归和RBF神经网络的PID整定