左敏，王虹，颜文婧，张青川*

基于BERT和CNN的基因剪接位点识别

左敏1，2，王虹1，2，颜文婧1，2，张青川1，2*

（1.北京工商大学 农产品质量安全追溯技术及应用国家工程研究中心，北京 100048； 2.北京工商大学 电商与物流学院，北京 100048）（ ∗ 通信作者电子邮箱zqc1982@126.com）

随着高通量测序技术的发展，海量的基因组序列数据为了解基因组的结构提供了数据基础。剪接位点识别是基因组学研究的重要环节，在基因发现和确定基因结构方面发挥着重要作用，且有利于理解基因性状的表达。针对现有模型对脱氧核糖核酸（DNA）序列高维特征提取能力不足的问题，构建了由BERT（Bidirectional Encoder Representations from Transformer）和平行的卷积神经网络（CNN）组合而成的剪接位点预测模型——BERT-splice。首先，采用BERT预训练方法训练DNA语言模型，从而提取DNA序列的上下文动态关联特征，并且使用高维矩阵映射DNA序列特征；其次，采用人类参考基因组序列hg19数据，使用DNA语言模型将该数据映射为高维矩阵后作为平行CNN分类器的输入进行再训练；最后，在上述基础上构建了剪接位点预测模型。实验结果表明，BERT-splice模型在DNA剪接位点供体集上的预测准确率为96.55%，在受体集上的准确率为95.80%，相较于BERT与循环卷积神经网络（RCNN）构建的预测模型BERT-RCNN分别提高了1.55%和1.72%；同时，在5条完整的人类基因序列上测试得到的所提模型的供体/受体剪接位点平均假阳性率（FPR）为4.74%。以上验证了BERT-splice模型用于基因剪接位点预测的有效性。

剪接位点识别；BERT；卷积神经网络；深度学习；脱氧核糖核酸

0 引言

近年，高通量测序技术产生了海量的基因组序列，在增加生物序列数量的同时，扩大了对自动化序列分析计算技术的需求，给基因结构注释领域的研究带来了机遇和挑战［1］。……