本文提出了一种通用、强大的多模态合成系统，可以同时生成自然语音和面部表情，并能改善现有的端到端语音合成系统中的词跳过 / 重复错误，同时可以对语音和面部表情的表现力进行细粒度控制。

Sep, 2019

该论文提出了一种基于深度学习的歌唱声音转换方法，该方法不需要以文本或音符为条件，并可直接将一个歌手的音频转换为另一个歌手的声音。通过使用单个 CNN 编码器和一个分类器来进行训练和模型改进，每个歌手都表示为一个嵌入式向量，以便检测其独特的音乐特征。通过使用数据增强技术以及新的训练损失和基于后转换的协议，该方法在较小的数据集上取得了良好的效果。

Apr, 2019

本论文提出了一种基于 VAW-GAN 的歌声转换框架，通过训练一个编码器来解开歌手身份和演唱语调（F0 曲线），通过对歌手身份和 F0 进行条件生成，解码器能够生成具有未见目标歌手身份的输出谱特征，并提高了 F0 渲染的性能。

Aug, 2020

本文提出了一种无需手动监督的端对端 wav 到 wav 生成模型，用于实现任意身份的歌声转换，该模型利用音响模型和提取的旋律特征来驱动基于波形的生成器，经实验证明，在音频质量方面表现显著优于基线方法。

Aug, 2020

本文介绍了我们的 T13 系统，用于 2023 年的歌声转换挑战赛（SVCC）。我们采用基于自监督学习的识别与合成方法，针对领域内和跨域的英语歌声转换任务，通过有限的目标歌手 / 说话人数据进行数据高效的歌声转换。我们的 T13 系统在 SVCC 2023 的大规模听测试中表现出色，尤其在难度更高的跨域歌声转换任务中获得了极好的自然度和说话人相似度，验证了我们提出方法的广义泛化能力。我们的客观评估结果显示，对于跨域歌声转换，使用大规模数据集尤为有益。

Oct, 2023

本文介绍了 DeepSinger，这是一个从音乐网站中抓取数据训练的多语言、多歌手的歌唱声音合成系统，其特点包括自动化的对齐模型、基于 Transformer 的合成模型以及多语言、多歌手的支持

Jul, 2020

本文介绍了 ByteSing—— 一种基于 Tacotron 的音频模型和 WaveRNN 神经合成声音模块实现的中文歌声合成系统，实验证明其可生成高保真，自然且富有表现力的歌曲。

Apr, 2020

研究声音转换的科学竞赛活动的最新版本，聚焦于歌声转换挑战，涉及新数据库、领域内和领域间任务，通过大型听力测试发现，除了顶级系统的自然度可达到人类水平，但没有团队能够获得与目标演讲者的相似度一样高的分数，并探讨了现有的客观测量是否能够预测感知表现，发现只有很少一部分能达到显著相关性。

Jun, 2023

本文介绍了一种新型的多歌手中文神经唱歌声合成系统 WeSinger，它采用了 24 kHz LPCNet 和多歌手预训练，通过定制的模块和技术大幅提高了合成歌声的准确性和自然度。该系统在公共中文唱歌语料库 Opencpop 上取得了最先进的性能表现。

Mar, 2022

本文提出了一种名为 SCENT 的神经网络，用于声音转换中的声学建模。该方法使用注意力机制在训练阶段隐式地对齐源和目标讲话人的特征序列，实现了适当的长度转换，并在转换阶段使用统一的声学模型同时转换源语音的声学特征和持续时间。实验结果表明，该方法在客观和主观性能方面都比传统方法（如 GMM 和 DNN）表现更好，并且优于先前在 Voice Conversion Challenge 2018 中获得最高排名的方法。

Oct, 2018