APP下载

基于VITS的高性能歌声转换模型

2025-08-18周柯汝金伟

现代信息科技 2025年12期
关键词:编码器音频语音
摘要:歌声转换是将源歌唱者的声音转换为目标歌唱者的声音,但保留原有的内容和旋律。随着科技的发展,各种网络结构和模型相继提出,歌声转换的算法也变得多样化,但难免都会出现转换音频质量差、失真率高、音域缺失等问题。文章提出以高保真流为基础的多解耦特征约束的UVC(Ultra Singing Voice Conversion)模型,该模型以VIT模型为基础,通过结合ContentVec 编码器和NSF-HIFI-GAN声码器,改进模型的输入和输出,极大地提高了转换音频的质量和流畅性,并具有较强的鲁棒性。","Introduction":"","Columns":"计算机技术","Volume":"","Content":"

中图分类号:TP391.4 文献标识码:A 文章编号:2096-4706(2025)12-0129-06

High-performance Singing Voice Conversion Model Based on VITS

ZHOUKeru,JIN Wei (SchoolofMedicalTechnologyandInformationEngineering,ZhejiangChineseMedicalUniversity,Hangzhou31oo3,China)

Abstract: Singing voice conversion is the processof transforming the voice of the source singer into that of the target singer whileretaining thoriginalcontentand melody.With the developmentof technology,various networkarchitectures and models have beenputforwardoneafteranother,and thealgorithms forsingingvoiceconversionhavealsobecomediversified. However,problemssuchaspoorqualityofteconvertedaudio,highdistortionrates,andlackofvocalrangeareboudtocur. This paperproposes UVC(Ultra Singing Voice Conversion)model with multi-decoupled feature constraints basedon highfidelityfow.This modelisbuiltonthebasisof theVITmodel.BycombiningtheContentVecencoderandtheNSF-HFI-GAN vocoder,itimproves theinputandoutputof the model,greatlyenhancingthequalityandfuencyoftheconvertedaudioand possessing strong robustness.

Keywords: singing voice conversion; VITS; ContentVec encoder; NSF-HIFI-GAN vocoder

0 引言

音乐一直是人类生活中不可或缺的一部分,歌声转换是指将源歌曲的声音转换成另一位歌唱者的声音的技术,旨在将源说话者声音的各个方面进行转换,如基频、频谱包络和韵律特征,使其与目标说话者的特征相匹配。随着AI的发展,歌声转换在众多行业有了广泛的应用。在过去的几十年里,科学家们提出了很多方法来提高合成歌曲的质量(提高音色、降低失真率等),尽管已有很大的进步,但SVC(SingingVoiceConversion)仍存在挑战性,原因如下:一是音乐有多样的表现风格,不同的歌曲有不同的音域、响度。二是大部分SVC模型转换后的歌曲容易失真。三是人对音乐感知能力较强,且通常会对有音高误差的歌声敏感。所以,一直有科学家在致力于开发快速且高质量的歌声转换模型。基于深度神经网络(DNN)[1]的歌声转换模型需要通过大量的训练数据学习源歌手和目标歌手之间的特征映射关系,才能得到较好的转换结果,但总存在转换不自然,声音失真等问题;……

登录APP查看全文

猜你喜欢

编码器音频语音
语音识别技术在会商系统中的应用研究
数字信号处理课程中滤波器线性相位特性教学实验研究
基于Transformer模型的图书馆借阅量预测研究
科学家利用人工智能将脑电波转化声音助力瘫痪患者
一种面向未来智能座舱的增强型音娱语音交互方案
短视频语境下播音主持语音风格的新变与影响
基于多模态表征学习的自动音频字幕方法
面向视觉-语言模型的递进互提示学习
在线音频平台的盈利模式研究
衰败的芦苇间