Multi-prototype driven graph neural network for speaker diarization

Abstract：Recently，theutilizationof graphneuralnetwork forsesson-levelmodelinghasdemonstrateditseficacyforspeakerdiarization.However，mostof existing variantssolelyrelyonlocalstructure information，gnoringtheimportanceof global speakerinformation，whichcannotfullycompensateforthelackof speakerinformationinthespeakerdiarizationtask.This paper proposedamulti-prototypedriven graphneuralnetwork（MPGNN）forrepresentationlearning，whichefectivelycombined local and global speaker information within each session and simultaneously remaps X -vector to a new embedding space that was moresuitableforclustering.Specifically，，the designof prototypelearning withadynamicandadaptive approach wasacritical component，where more accurateglobal speaker informationcould becaptured.Experimentalresultsshowthatthe proposed MPGNN approach significantly outperforms the baseline systems，achieving diarization error rates（DER）of 3.33% ， 3.52% ， （204号 5.66% ，and 6.52% on the AMI_SDM and CALLHOME datasets respectively.

Keywords：speakerdiarization；graphneural network；local structure information；global speaker information；multiprototype learning

0 引言

说话人日志（speakerdiarization，SD）的目标是解决“谁在何时说话”的问题，即在给定的包含多个说话人交流的长音频信号中，同时实现说话人识别和说话人定位。近年来，说话人日志技术的有效研究已经广泛应用于多个场合，如会议记录、来电角色划分、语音搜索引擎、在线视频特定说话人检索等。

纵观说话人日志领域多篇综述性论文[1.2]，主流的研究方向大致可以分成两大类，即基于聚类的多模块级联学习方法和端到端的神经网络方法。2018年深度学习技术的兴起，给予端到端的说话人日志方法极大的发展，使其在某些条件受限的情况下表现出较为优越的性能。但随着CHiME-5/6、DIHARD-1/2/3、VoxSRC-20/21/22/23等挑战赛的发布，说话人日志领域的研究开始着力于解决真实的场景问题。而基于聚类的多模块级联学习方法相比端到端方法，能更好地处理复杂场景下的长音频和未知说话人情况，是当下比较热门的研究方向。

基于聚类的说话人日志方法旨在将每个会话中的多个说话人精确地定位并识别。其处理流程通常包括一系列步骤：语音活动检测[3.4]、语音段分割[5.6]、说话人嵌入提取[7.8]、聚类[9，10]和后处理[11]。基于聚类的说话人日志方法作为级联学习方法的一种，好的短切分说话人表征直接影响最后的聚类效果，因此目前研究热点主要集中在基于固定短切分的说话人嵌入优化上。说话人嵌入特征的提取通常依赖于预训练模型，将语音片段转换为固定维度的特征空间，如i-vector或X-vector[8]。然而，在说话人日志任务中使用这些预训练的说话人模型存在两个主要问题。……