蒲相忠 梁春燕 李鑫鑫 赵 磊 王 栋

(山东理工大学计算机科学与技术学院 山东 淄博 255049)

0 引 言

Self-attention是注意力机制中最权威的表达形式，可按照输入数据的权重占比情况，分配与参量处理相关的信息节点，强调自我关注。假设在多语言传输环境中即语言信息理解存在复杂性时，例如“I am a semantic role”表示一个初级语义角色，而在self-attention理论的干预下，“am”“a”分别可对“semantic role”字节产生一定水平的权重影响，即在这种情况下，只有“I”可作为主权重分布节点，“am”“a”和“semantic role”都只能作为配合型权重处理节点。在确保不发生其他干扰影响的前提下，字符与字符、节点与节点之间都只能借助语义及语法的辅助模式，作为标注行为的连接桥梁[1]。

所谓语义角色是阐述谓语与变元之间物理关系的手段，可将多语言环境中的完整变元主体划分为多个分散的小型结构。这种变元整合手段适用于施事、与事和受事等多个领域，通常情况下能够清晰表述信息结构的连通状态。随着文本语言输出总量的提升，语言数据的文字标签序列的模糊性水平也会不断增加。传统标注手段通过加权处置概率向量的方式建立完整的半监督模型，再借助不同的语义角色节点实现固定位置信息的标注处理。但在实际应用过程中，这种方法的级联重显示指标水平即语义排序始终不能达到预期标准。对此，引入Self-attention理论，借助卷积神经网络等结构组织建立一种新型的多语言语义角色标注联合学习方法。

1 基于Self-Attention理论的多语言文本分类

基于Self-Attention理论的多语言文本分类包含卷积神经网络搭建、文本词向量处理和分类特征提取三个步骤。……