Jun, 2024

SPA-SVC：自我监督的歌声转换中的音高增强

PDF
TL;DR在这篇论文中，我们提出了一种自监督的 SPA-SVC 方法，该方法可以改善 SVC 任务中的声音质量，无需额外的数据或增加模型参数。我们通过引入循环音高转换训练策略和结构相似性指数（SSIM）损失，有效提升了 SVC 模型的性能，实验结果表明我们的方法在一般的 SVC 场景和跨域 SVC 场景中都显著提高了模型性能。
singing voice conversiondiffusion-basedcross-domainspa-svcpitch augmentation
发现论文，激发创造
  • 基于一致性模型的歌声转换

    CoMoSVC 是使用扩散原理的一种基于一致性模型的歌声转换方法，该方法旨在实现高质量生成和高速采样，尽管其推断速度明显快于最先进的扩散原理系统，并且在主观和客观指标上实现相当或更好的转换性能。

    Jan, 2024

  • DiffSVC：一种用于歌声转换的扩散概率模型

    本文提出 DiffSVC，一种基于去噪扩散概率模型的 SVC 系统，在该系统中，使用语音后验谱图（PPG）等特征进行内容建模，并辅助使用基频和响度特征来辅助去噪。实验表明，DiffSVC 在自然度和语音相似度方面均优于当前最先进的 SVC 方法。

    May, 2021

  • 2023 年唱声转换挑战赛

    研究声音转换的科学竞赛活动的最新版本，聚焦于歌声转换挑战，涉及新数据库、领域内和领域间任务，通过大型听力测试发现，除了顶级系统的自然度可达到人类水平，但没有团队能够获得与目标演讲者的相似度一样高的分数，并探讨了现有的客观测量是否能够预测感知表现，发现只有很少一部分能达到显著相关性。

    Jun, 2023

  • 使用无旋律监督预训练提升单音人声合成的音域

    基于先前的研究，在一个多歌手的数据集上进行的旋律无监督多说话人预训练方法，提高了单个说话人的声域，同时不降低音色相似性。这种预训练方法可以应用于只包含音频和歌词对的大规模多歌手数据集，并改善了合成歌声的音质和节奏自然度。

    Sep, 2023

  • 基于 PPG 的对抗性表示学习唱声转换

    该研究提出了一种基于 PPGs 和 mel spectrograms 的端到端模型，实现了稳定的歌唱声音转换，并通过采用对抗性歌手混淆模块和 mel-regressive 表示学习模块提高了转换的效果，并在客观和主观实验中证明了该方法在音色和旋律方面的优越性。

    Oct, 2020

  • 歌声转换的潜在回归损失比较分析

    本文提出一种基于歌唱声音转换（SVC）的损失函数的替代损失组件，该组件通过歌手身份嵌入网络（SIE）来测量音频转换的相似度，在实验中表现出较好的转换效果。

    Feb, 2023

  • 学习歌曲之美：神经唱声美化器

    本研究通过引入条件变分自动编码器作为神经网络，提出了一种名为 NSVB 的算法以解决唱歌者专业音色的问题，主要包括时间伸缩技术和基于隐变量的映射算法，该算法能够有效地进行音高校正并且在客观和主观尺度上均获得了更好的实验效果。

    Feb, 2022

  • 利用大规模语音和歌唱数据进行声音转换模型的比较研究：针对 2023 年歌声转换挑战的 T13 系统

    本文介绍了我们的 T13 系统，用于 2023 年的歌声转换挑战赛（SVCC）。我们采用基于自监督学习的识别与合成方法，针对领域内和跨域的英语歌声转换任务，通过有限的目标歌手 / 说话人数据进行数据高效的歌声转换。我们的 T13 系统在 SVCC 2023 的大规模听测试中表现出色，尤其在难度更高的跨域歌声转换任务中获得了极好的自然度和说话人相似度，验证了我们提出方法的广义泛化能力。我们的客观评估结果显示，对于跨域歌声转换，使用大规模数据集尤为有益。

    Oct, 2023

  • SelfVC：自我转换的迭代细化音频转换

    我们提出了 SelfVC，一种训练策略，通过自我合成的示例来迭代改进语音转换模型。该模型在训练过程中使用自我监督学习和说话人验证模型生成的交织的语音表示来训练具有可控性的语音转换模型，并通过创建具有挑战性的自我合成示例来不断改进模型。SelfVC 在没有文本的情况下进行训练，并适用于零样本语音转换、跨语言语音转换以及具有音高和语速修改的可控语音合成任务。在自然度、说话人相似度和可理解性的评估指标上，SelfVC 在零样本语音转换方面取得了最先进的结果。

    Oct, 2023

  • 使用自监督技术学习歌手身份表示

    我们提出了一个框架，通过在大量的孤立音轨上应用不同的自监督学习技术以及数据增强，训练歌手身份编码器以提取适用于各种歌唱相关任务（如歌声相似性和合成）的表示，我们评估了产生的表示在多个数据集上进行歌手相似性和识别任务，并重点关注领域外泛化，我们的框架在 44.1 kHz 下产生高质量的嵌入，优于说话人验证和 wav2vec 2.0 预训练基线，在歌唱声音上，并发布了我们的代码和训练模型，以促进对歌唱声音和相关领域的进一步研究。

    Jan, 2024