赖 华，孙 童，王文君，余正涛，高盛祥*，董 凌

（1.昆明理工大学 信息工程与自动化学院，昆明 650500；2.云南省人工智能重点实验室（昆明理工大学），昆明 650500）

0 引言

自动语音识别系统将输入的语音转录为一段连续的文本序列，但输出文本不包含标点符号。现有语音识别数据集的转录文本鲜有包含标点符号，因此很难在语音识别模型中直接输出带有标点符号的文本。然而，标点符号是语言中一个重要组成部分，具有表示停顿、语气和词语性质的作用。标点符号有助于分句和分词处理，提高机器翻译（Machine Translate，MT）和命名实体识别（Named Entity Recognition，NER）等任务的准确率［1］，对语音翻译、自动问答等语音识别的后续任务有较大影响，因此，通用的语音识别系统都需要级联标点恢复模型恢复语音识别模型输出的文本标点。

对于中、英等富资源语言，语音识别系统已取得较好识别效果，SOTA（State-of-the-art）模型［2-3］的词错率低至2.85%，识别文本质量较高。在此基础上，研究者们利用循环神经网络（Recurrent Neural Network，RNN）［4］和卷积神经网络（Convolutional Neural Network，CNN）［5-6］等方式作为后处理模型用于恢复语音识别文本标点，取得了较好的效果。

目前面向越南语的语音识别系统由于训练数据相对较少，识别效果仍不理想，越南语SOTA 模型（https：//github.com/vietai/ASR）的词错率高达10.77%，识别模型输出的文本中常包含对文本语义造成灾难性破坏的错误音节、字词等。有研究者利用条件随机场（Conditional Random Field，CRF）［7］、Transformer［1］等方式作为后处理模型恢复越南语语音识别文本标点，然而这些模型仅使用了文本作为特征输入，单纯利用文本特征对目标标点符号做预测，对上述语义混乱的情况不能很好地处理。……