孙 洋 张 辉

一、基于AI深度学习的蛋白质视听同体化微观艺术的呈现方法及序列音乐创作

（一）基于AI技术创设蛋白质微观艺术的创新方法

我们在前期文章中，针对蛋白质结构生物多样性的基础特征，建立了蛋白质结构与图像的联接关系，其中涉及设计深度学习模型、建立模型训练数据库、验证数据库、设计及研发相关算法和软件系统。根据蛋白质的序列特征，对数据进行合理标注，形成蛋白质序列与微观艺术的基本关系，实现蛋白质与艺术创作、图像融合的跨领域合并。以蛋白质编码为基本数据输入，并增加模型训练过程控制参数，以控制整个模型的训练过程，减小无序搜索范围并控制训练结果。利用目标分布的增值差衡量蛋白质编码与图像编码的差异，逐步实现图像编码与蛋白质编码形式、意义的统一，并生成数据分类标签。其蛋白质微观艺术的创新点为：采用目前比较新的热门技术生成式对抗网络为基础，开发实现蛋白质与音乐作品间跨界融合的模型和算法；依据多样的氨基酸频谱及多种分析方法，得到了氨基酸频谱和特定图像频谱，研究了氨基酸振动频谱与图像频谱之间的映射关系并建立映射模型，设计可行的图像变换滤波器；面向广义应用问题，设计多模态可变自动编码机作为整个模型的输入与输出，实现处理异构数据的多样性的深度模型；通过生命科学到音乐、人工智能的跨界融合，可形成新的交叉学科，促进对生命奥秘的探索并加深对音乐的理解和感知。

（二）基于AI技术绘制蛋白质二维谱的基本方法

在生命科学领域，AI技术开启无法替代的数据分析地位，蛋白质作为生命体的重要组成，具有序列的多样性和功能结构的复杂性。进行蛋白质表征的方式主要由蛋白质的氨基酸序列以及空间构象等，是否可通过其他形式进行蛋白质的表征并提升蛋白质的可视化效果，正成为人们研究的热点。本文提供一种基于AI技术绘制毒株蛋白质二维谱的方法，将毒株蛋白质以二维谱的形式进行表征，在增加蛋白质可视化效果的同时，还将不同的毒株蛋白质与不同的音乐对应，并从视觉和听觉两个方面辅助蛋白质的分析研究。其技术流程如图1所示：

图1 基于AI技术绘制蛋白质二维谱流程图

通常蛋白质的基本组成元素是二十种氨基酸，音乐的基本组成单位是七个音阶，二者虽然基本元素数量不同，但仍可以通过映射方法进行基本元素之间的匹配。蛋白质在二十种氨基酸按照不同排列组合形成一级结构的基础上，还可以通过共价键、非共价键构建多种空间构象，形成形状、功能多变的生物大分子。而音乐在不同音阶排列组合的基础上，可形成基本旋律曲调，再融入节奏、和声、力度、调式、曲式、织体以及音色的综合调节，即形成具有不同特色的风格和旋律，给人以不同的感官体验。其中蛋白质样本的一级结构、二级结构、音乐风格约束以及蛋白质序列约束等均可作为输入数据，见图2。

图2 基于生成式对抗网络构建的蛋白质生成二维谱模型

本模型在生成式对抗模型基础上，以蛋白质生成二维谱及特定风格音乐为研究对象，设计蛋白质到音乐的生成模型，包括：二维谱生成器G1、音乐生成判别器D1、音乐风格判别器D2、蛋白质逆生成器F1以及蛋白质判别器D3，输入蛋白质一级、二级结构X1，音乐风格约束C以及蛋白质序列约束L，即可生成二维谱，输出音乐作品，其流程如图3所示。

图3 生成二维谱及输出音乐作品流程图

而对于上述蛋白质生成二维谱模型的训练过程如图4所示：

图4 蛋白质生成二维谱模型的训练过程

以NC045512 nucleocapsid phosphoprotein 序列片段为例做二维呈现分析，整段音乐由五个声部构成，其中一个声部为打击乐音色，五个声部以相同的节奏节拍、不同音色、不同的旋律进行方向形成非重复的旋律进行。在四个具有音高的旋律声部中，呈现出两种不同的结合关系：重复关系与镜像倒影关系。其中红色旋律声部与蓝色旋律声部以八度的变化重复开始，其后一直保持八度距离的重复，两小节后蓝色声部向下方进行，形成十五度音程关系的重复，并于第七小节恢复八度重复关系。另一对旋律为黄色声部与黑色声部，这两个声部呈现出非严格的镜像关系，两个旋律均以相似的横向音程关系形成反向的倒影进行。打击乐声部运用了三种音色，伴随相同的节奏节拍形成色彩性的结合。

图5 NC045512 nucleocapsid phosphoprotein片段二维呈现

二、AI辅助下蛋白质微观艺术作品勾勒

微观艺术作品呈现研究的重点在于建立蛋白质空间构象结构图的基础上，将其模块化处理并建立起整体鉴赏与模块赏析之间的关系。通过前面建立的基于AI深度学习的蛋白质印象艺术（基于GAN的图像转换和生成）的网络结构和基于AI深度学习的蛋白质全景画（基于GAN的图像合成）的网络结构，进行了蛋白质绘画的创设，艺术化地呈现了蛋白质的复杂结构。如下图片即是采用这些高技术手段并加之创作者的艺术创作灵感而成的，它们被由色彩单调到色彩丰富、由孤立蛋白质到复合并注入人文情感的蛋白质群，形成了蛋白质绘画作品集，其多样性呈现打开了微观艺术的一扇窗口。

图6 中轴对称式-小鼠肝穹核蛋白复合体_4v60_k(1)

图7 不对称式-人体免疫T细胞蛋白_3w3L_d

图8 环对称式-生物分子伴侣蛋白_1aon_f

微观艺术的人文情感化处理：大肠杆菌伴侣蛋白通过消耗ATP来协助蛋白质折叠。它们作为多亚基蛋白质组件存在，包括背靠背堆叠的亚单元环（Chaperonins assist protein folding with the consumption of ATP.They exist as multi-subunit protein assemblies comprising rings of subunits stacked back to back.In Escherichia coli）。

图9-1 中轴不对称蛋白的不同着色处理

图9-2 中轴不对称蛋白的不同着色处理

图9-3 中轴不对称蛋白的不同着色处理

图9-4 中轴不对称蛋白的不同着色处理

生命本身的精彩远远超过人们的想象。在探索科学奥秘的同时，生命大分子蛋白质正以另外一种方式展现其无限的魅力。生命科学与艺术的交叉融合可以成为大科学体系的一部分。在生物信息学研究中，蛋白质绘画是重要的技术手段。乔治·梅森大学(George Mason University)的研究人员发现了两种蛋白质的确切位置，这些蛋白质负责将癌细胞隐藏在免疫系统之外。与现有的静脉内治疗剂相比，该发现提供了开发新的癌症免疫治疗药物的新颖方法，该药物可以丸剂形式给药。这项发现是由美国国家癌症研究所创新基金资助的内部研发的蛋白质绘画技术得以实现的。这项令人印象深刻的技术（IMAT，分子分析技术程序）具有改变药物发现过程的潜力。

三、AI辅助下蛋白质视听同体化微观艺术创作展示

不同艺术形式对生命大分子的表达也将带来不同的感受，从视觉到听觉再到科学的理性分析，能够更加全面、立体地体会生命的意义。利用结构映射的神经网络提取模式建立新的艺术表达方法，既为生命科学扫平大众心里的认知障碍，也为艺术创作提供源源不断的灵感和素材。这一过程可为艺术作品的创作、甄别、修缮带来新的视角，为生命科学的大众化传播打开新的途径。

下面是在AI辅助下所创设的由蛋白质绘画和蛋白质序列音乐所构成的视听同体化微观艺术作品，以展示科学研究的全新技术手段以及生命信息的艺术呈现。图10-1是内嵌式微型红外感应播放器照片，这种纽扣式的微型播放器可后置在图10-2—图10-5蛋白质绘画相框的某处，对靠近的人体红外线反应灵敏，具有集系统监测与控制应用于一体的功能。当观赏蛋白质绘画作品的人靠近某一作品时，即可听到微弱的、对应该作品的蛋白质音乐。

图10-5

图10-1 内嵌式微型红外感应播放器

图10-2

图10-3

图10-4

四、结语

复杂多变是现代社会的结构和发展的表现特征，与问题产生的多种根源密切关联，问题的经验式解决办法不断失效，变革传统思维范式和框架成为突破口。尝试将艺术融入科学、技术、工程时，各种学科、专业、行业之间的壁垒将被打破，创新思想和创造能力得以开发和拓展。在大环境影响和时代发展需求下，艺术和科学的结合已成为必然的趋势。比如对蛋白质序列、结构与音乐在表现形式上的特点，基于AI技术实现了由蛋白质结构生成二维乐谱的方法，从而建立起蛋白质序列与音乐的一一对应关系，以辅助蛋白质的分析研究。该方法将蛋白质以二维谱的方式进行表达后，在进行蛋白质的研究时，既可通过二维谱从视觉上直观看到不同蛋白质的区别之处，也可将二维谱演奏成音乐，从听觉上感知不同蛋白质带来的听觉感受，为蛋白质的研究提供了全新的方式方法。