APP下载

基于Seesaw门的双向联想记忆神经网络

2020-08-03卢晓建张晓康魏小鹏

关键词:三原色字符权值

卢晓建, 张晓康, 王 宾, 张 强, 魏小鹏

(1.大连大学 软件工程学院, 辽宁 大连 116622; 2.大连理工大学 计算机科学与技术学院, 辽宁 大连 116024)

DNA计算是用DNA分子求解复杂问题的新型计算方法,具有超强的并行处理能力及可编程性[1-2].1994年Adleman[3]首次利用DNA碱基互补配对原则建立了一个DNA计算模型,并利用该模型成功求解了七点旅行商问题.这是第一次利用DNA进行特定目的的计算,但当时技术水平有限,计算结果往往需要几十个小时来读取,而且合成DNA的成本非常高.尽管当时条件受限,DNA计算仍引起越来越多学者的兴趣,同时越来越多的学者投入到DNA计算的领域之中.各种所谓的DNA计算器等器件被构建出来[4],但这些计算器只是一种特异性的器件,不具备太多的通用性.20世纪初左右,DNA计算逐渐成型,进入发展阶段,学者开始利用DNA构建基础的逻辑门,并将不同级逻辑门级联构建复杂的逻辑电路[5],最终实现较为通用的DNA计算.但在这个阶段,学者们面临很多棘手的问题,例如,DNA反应形成的产物稳定,很难进行信号的传递;逻辑门是否能建立成功;逻辑门运行结果如何检测等.为了解决这些问题,人们利用各种金属离子、酶等非DNA物质对逻辑门进行处理[6],但效果都不是很好,没能从根本上解决这些问题.自2006年以来,DNA计算走向通用化计算阶段.2006年,Seelig等[7]提出“立足点介导-链置换”的反应体系,这种反应体系不仅会输出双链结构,还能输出一条单链用于信号传递.利用这种DNA链置换技术构建的AND逻辑系统以及更加复杂的逻辑门电路,成功地将立足点、分支迁移和链置换理论结合在一起,为构建模拟或混合电路提供了技术性支持.DNA链置换作为一种动态DNA纳米技术,可以实现生化反应的级联以及纳米尺度的运动或能量转换,基于此,学者们对DNA链置换的研究也越来越多.DNA链置换技术被广泛应用于生化逻辑电路[8]、生物医疗[9]和DNA纳米机器人[10]等多个领域.2011年Qian等[11]利用DNA链置换建立了集成门、扇出门和阈值门等多种Seesaw门,并延伸出各种复杂的DNA生化系统[12-13].DNA计算发展至今已经取得了很多突破性的进展,大大促进了生物计算的发展与应用,是人类不可多得的宝贵财富.

人工神经网络是模拟大脑神经元构建的某种简化模型,具有联想存储、自学习、高速寻找优化解等很多优点.到目前为止,已经提出上百种人工神经网络模型,在自动控制、信号处理、模式识别、故障检测、医学和经济等领域展现出强大的适用性,并成功解决了许多实际生活中的难题[14],具有广阔的发展前景.目前,关于DNA计算的研究已经涉及许多方面,其中将DNA计算与人工神经网络相结合,实现DNA分子的“智能”计算是一个重要研究方向.2011年Winfree研究组以DNA链置换为基础,用112种不同的DNA链级联组成含有4个完全连接神经元的霍普菲尔德神经网络,可以通过生化反应实现“猜心术”的游戏[15].这是第一次用DNA分子在试管中构造出人工神经网络,为DNA计算的发展提供了新的研究思路.然而霍普菲尔德神经网络在实现“猜心术”游戏时,网络规模较大.之后,Genot等[16]利用DNA分子搭建了一个竞争神经网络,可以实现类似霍普菲尔德神经网络的功能,即用较少的DNA链实现了“猜心术”游戏.2018年,Cherry等[17]用Seesaw门搭建了winner-take-all神经网络,该神经网络可以解决一个经典的机器学习问题:识别手写数字.这标志着DNA计算在通往人工智能的道路上迈出了重要一步.上述神经网络只是用DNA生化反应实现了神经网络的工作过程,其学习训练过程是由电子计算机完成的,并非一个完整的人工神经网络.所以,现在也有很多学者尝试用DNA分子实现神经网络权值的动态调整,即开发适应动态环境的DNA生化系统[18-19].

DNA分子神经网络是DNA计算与人工智能的结合体,既有DNA计算强大的并行处理能力,也有人工智能的“推理思考”能力,所以利用DNA分子搭建各种神经网络是实现智能DNA生物计算机的一项重要工作.这种具有人工智能的DNA生化系统可以在化学检测、医疗诊断等领域发挥不可估量的作用.在未来,或许也可以创造出完全有机的人体机器人.本文旨在将DNA链置换技术与双向联想记忆(BAM)神经网络[20]结合起来,利用Seesaw门搭建双向联想记忆神经网络,从而在纳米尺度上实现双向联想记忆功能,展现DNA分子的“自主联想记忆”能力.在本文中,每个神经元由两个不同Seesaw门级联组成,然后不同的神经元继续级联组成完整的神经网络.对于训练完成的BAM神经网络,如果给予足够的信息,经过DNA生化反应可以准确地联想到其他相关信息.本文用Seesaw门构建了两个BAM神经网络.第一个是根据三原色的加减色原理搭建了一个含有6神经元的BAM神经网络.第二个BAM神经网络含有18个神经元,该网络可以在3*3节点中实现简单的字符联想记忆.

1 相关概念及仿真实验方法

1.1 相关概念

神经网络的一个重要分支是联想记忆网络,BAM神经网络是应用较为广泛的一种联想记忆神经网络模型,它的最大特点是可以实现双向异联想.该网络是一种双层双向的神经网络,有离散型、连续型和自适应型等多种形式.本文采用的是离散型BAM神经网络,网络两层的状态向量可取单极性二进制1或0,也可以取双极性离散值1或-1.BAM神经网络的信息传播是双向的,没有明确的输入层或输出层,通过从动态到稳态的过程来实现双向联想功能.当向其中一层加入输入信号时,另一层可以得到输出信号.将其中的一层称为X层,另一层称为Y层.X层到Y层的权值矩阵与Y层到X层的权值矩阵互为转置矩阵.对已建立权值矩阵的BAM神经网络,在X层输入样本XP后,经过双向往返过程,一直进行到两层神经元的状态均不再发生变化为止,此时的网络状态称为稳态,对应的Y层输出向量YP便是模式XP经双向联想后所得的结果.同理,如果从Y层输入样本YP,经过上述的双向联想过程,X层将输出联想结果XP.BAM神经网络采用灌输式的学习方式,特别之处在于网络的权值一旦设计好就不再变动,其学习是一次性的,而不是一个反复训练的过程.所以,可以先设计一个训练完成的BAM神经网络,然后再根据设计好的权值矩阵,用Seesaw门级联组成完整的DNA神经网络,进而实现DNA分子的智能双向联想记忆.

以DNA链置换反应为基础的Seesaw门主要有扇出门、集成门、阈值门和放大门等.在Seesaw门的左右两端可以进行信号链的输入和输出.不同的Seesaw门可以相互级联,搭建成各种不同的逻辑电路.本文BAM网络中的每一个神经元前半部分为一个集成门,后半部分为一个带阈值的扇出门,如图1所示.每个神经元的输入和输出个数可以根据需要灵活组合,神经元前半部分集成门的输出链作为后半部分扇出门的输入链继续反应,而且只有当集成门的输出值大于扇出门的阈值时,扇出门才会有输出.

图1 Seesaw门搭建神经元示意图Fig.1 Seesaw gates building neuron schematic

1.2 仿真实验方法

本文在设计BAM神经网络时,一个棘手的问题就是设计神经网络的权值矩阵.在设计权值矩阵时,首先根据需记忆的样本模式利用外积和法求解出带负值的权值矩阵,然后再将带负值的权值矩阵转换为双轨制的非负权值,进而根据双轨制的非负权值设计Seesaw门反应电路.

Visual DSD是一款设计、分析DNA链置换反应的重要软件,本文所有的DNA生化反应都是在Visual DSD中仿真实现的.笔者在设计BAM神经网络时采用的反应参数如下:3个碱基长度toehold的结合速率常数为5×10-5nM-1S-1,解离速率常数为26 S-1;其他toehold的结合速率常数为 2×10-3nM-1S-1,解离速率常数为1.3 S-1;泄漏反应速率常数为1×10-8nM-1S-1,1个单位浓度为25 nM.

2 实验原理及仿真实验结果

2.1 BAM神经网络实现三原色的加减色原理

三原色有多种划分标准,常用的有色光三原色和颜料三原色.其中,色光三原色是指红、绿、蓝三色,颜料三原色是指青、品红、黄三色.色光三原色符合加色法原理,其中任意两种颜色按一定比例混合就可以呈现出青、品红、黄三色中的某种颜色.颜料三原色符合减色法原理,其中任意两种颜色按一定比例混合就可以呈现出红、绿、蓝三色中的某种颜色.配色表如表1所示,配色图见图2.

表1 色光三原色和颜料三原色的加减色配色表

图2 三原色配色图Fig.2 Three primary color scheme

色光三原色的加色法原理与颜料三原色的减色法原理可以巧妙地利用双向联想功能来实现,本文用Seesaw门设计了一个含有6神经元的BAM神经网络,并以此展示DNA分子实现双向异联想的能力.

在设计BAM神经网络时,将网络分为X层和Y层(图3),每层包括三个神经元,X层的三个神经元x1、x2和x3分别代表红、绿和蓝三色,Y层的三个神经元y1、y2和y3分别代表青、品红和黄三色.比如,当在X层输入红色和绿色时,根据加色法原理,会在Y层输出黄色;当在X层只输入红色时,根据减色法原理,会在Y层输出品红色和黄色.同样的,在Y层输入青色和品红色时,在X层可以输出蓝色;在Y层只输入青色时,在X层可以输出蓝色和绿色.

图3 三原色BAM神经网络简化结构图

图4为该BAM神经网络的Seesaw门反应电路图.

图4 三原色BAM神经网络Seesaw门反应电路图Fig.4 Seesaw gates response circuit diagram with three primary color BAM neural network

表2 三原色BAM网络加减色原理真值表

表3 代表每种颜色兴奋、抑制状态的DNA链编号

在用此BAM神经网络实现三原色加减色原理时,红色、绿色和蓝色混合形成白色与青色、品红色和黄色混合形成黑色的功能暂时无法实现.本文利用Visual DSD软件对其余12种可能情形进行仿真实验,仿真结果见图5和图6.从图中结果可以看出,每次实验都有6条有效输出链和6条无效输出链,结果符合三原色的加减色原理.

图5 在X层输入信号时的仿真结果Fig.5 Simulation results when inputting at the X layer

图6 在Y层输入信号时的仿真结果Fig.6 Simulation results when inputting at the Y layer

2.2 BAM神经网络实现字符联想

BAM神经网络的一个重要应用就是字符的识别及联想,字符识别及联想在日常工作生活中应用很广.本文用Seesaw门设计了一个可以实现字符联想的BAM神经网络,如图7所示.

图7 3*3节点储存的两对联想字符

本文设计了两种BAM网络来实现字符的联想记忆,第一种是将两个网格按列划分,X层的第一列和Y层的第一列对应设计一个含有6神经元的BAM神经网络,每层包含3个神经元.以此类推,总共设计了3个6神经元的BAM神经网络,这3个BAM网络组成一个整体,实现字符之间的联想记忆功能.第二种是设计一个18神经元的BAM神经网络,每层包含9个神经元,分别代表每个网格中的9个节点.相应的Seesaw门反应电路图分别见图8和图9(封二).这两种字符联想实现方式的真值表分别见表4和表5.

图9 18神经元BAM神经网络的Seesaw门反应电路图Fig.9 Seesaw gate response circuit diagram of the 18-neuron BAM neural network

表4 3个6神经元字符联想BAM神经网络真值表

表5 18神经元字符联想BAM神经网络真值表

图8 3个6神经元BAM神经网络的Seesaw门反应电路图

图10 3个6神经元字符联想BAM神经网络仿真结果Fig.10 Three 6-neuron character association BAM neural network simulation results

图11 18神经元字符联想BAM神经网络仿真结果Fig.11 18-neuron character association BAM neural network simulation results

3 讨 论

本文用Seesaw门级联组成单个神经元,再将多个神经元构建为完整的神经网络. Seesaw门的独特反应机制,可以实现反馈型神经网络,完成一个由动态到稳态的过程.本文最复杂的BAM神经网络一共有18个神经元,如果将双轨运算中的神经元也算入其中,那就是36个神经元组成的庞大神经网络,其中包含大约240条DNA链.就仿真结果而言,即使最复杂的BAM神经网络,得到的结果依然准确、稳定,展现出DNA分子强大的运行能力,同时也反应出DNA分子在组建智能生物计算机中的巨大潜力.然而本文实现BAM神经网络的过程并非是用DNA分子独立实现的.神经网络的运行一般分为学习训练和工作两个阶段,本文中BAM神经网络采用灌输式学习方式,可以通俗地理解为“死记硬背”,其学习过程是一次性的.学习训练过程并非由DNA生化反应完成,只是通过DNA分子实现了神经网络的工作过程.为了使DNA分子更加智能化,未来工作的重点是用DNA生化反应实现神经网络的学习训练过程,继而实现完整的DNA分子神经网络.另外,本文在设计BAM神经网络时,采用双轨运算的方式弥补DNA计算负值运算的不足,复杂度较常规神经网络大,所以,在未来工作中希望找到代替双轨运算的方法,以减小神经网络的复杂度.

猜你喜欢

三原色字符权值
一种融合时间权值和用户行为序列的电影推荐模型
CONTENTS
字符代表几
一种USB接口字符液晶控制器设计
图片轻松变身ASCⅡ艺术画
三原色
三原色
HBM电子称与西门子S7-200系列PLC自由口通讯
基于MATLAB的LTE智能天线广播波束仿真与权值优化
三原色