Aug, 2020

语音转换及其挑战：从统计建模到深度学习的概述

PDF
TL;DR本文给出了语音转换技术及其性能评估方法的最新进展概述，并讨论了这些技术的优劣。同时还报告了最近语音转换挑战的表现和提供了可用于语音转换研究的资源概述。
voice conversionspeech processingspectral conversionprosody conversionspeaker similarity
发现论文，激发创造
  • 重塑语音：基于深度学习的声音转换的范围性综述

    本文通过一项全面综述，探讨了现代语音转换系统中深度学习在语音分析、合成和分离语音表示学习中的应用，总结了基于深度学习的语音转换中最常用的方法，并突出了社区内的常见陷阱。最后，本文总结了所获得的知识，确定了主要挑战，并提出了未来研究方向的建议。

    Nov, 2023

  • 谁是真实的讲者

    探索利用深度学习技术进行声音转换，识别原始说话者的可行性，通过使用分段转换的转换语音进行实验证明从转换声音中识别真实说话者的可行性，并使用具有来自源说话者的某些信息的 VLAD 进行构建的识别模型在转换语音上表现出很好的性能。

    Apr, 2024

  • 2018 年语音转换挑战赛：促进并行和非并行方法的开发

    本文主要介绍 2018 年语音转换挑战赛，包括任务及相关技术和结果总结。

    Apr, 2018

  • 2023 年唱声转换挑战赛

    研究声音转换的科学竞赛活动的最新版本，聚焦于歌声转换挑战，涉及新数据库、领域内和领域间任务，通过大型听力测试发现，除了顶级系统的自然度可达到人类水平，但没有团队能够获得与目标演讲者的相似度一样高的分数，并探讨了现有的客观测量是否能够预测感知表现，发现只有很少一部分能达到显著相关性。

    Jun, 2023

  • 保留语音特征的零 - shot 多音系转换

    研究使用对抗学习来实现口音转换，能够将说话者的声音身份保留下来，并可将未知说话者的话语转换为多种口音，主观评估显示该模型生成更接近目标口音且类似于原说话者的音频。

    Nov, 2022

  • 2020 年语音转换挑战赛：内语言半平行语音转换和跨语言语音转换

    2020 声音转换挑战赛第三版主要比较和理解同一数据集上构建的不同语音转换系统在两个任务，即内语言半对称和跨语言语音转换上的表现，并在众包听测试中表现出大量使用深度学习方法的转换技术的快速进展，但未达到人类级的自然性。

    Aug, 2020

  • 使用实例标准化分离说话者和内容表示进行单次语音转换

    本文提出了一种使用仅一次源和目标说话者示例语音，通过实例归一化来分解说话者和语音内容表示的一次性语音转换方法，无需事先见过源和目标说话者训练模型即可执行声音转换，目标语音及说话者的相似性得到了客观和主观的评估，同时表明该模型可以在没有任何监督的情况下学习含义深层次的说话者表示。

    Apr, 2019

  • 利用大规模语音和歌唱数据进行声音转换模型的比较研究：针对 2023 年歌声转换挑战的 T13 系统

    本文介绍了我们的 T13 系统，用于 2023 年的歌声转换挑战赛（SVCC）。我们采用基于自监督学习的识别与合成方法，针对领域内和跨域的英语歌声转换任务，通过有限的目标歌手 / 说话人数据进行数据高效的歌声转换。我们的 T13 系统在 SVCC 2023 的大规模听测试中表现出色，尤其在难度更高的跨域歌声转换任务中获得了极好的自然度和说话人相似度，验证了我们提出方法的广义泛化能力。我们的客观评估结果显示，对于跨域歌声转换，使用大规模数据集尤为有益。

    Oct, 2023

  • 声音防御：语音转换的对抗攻击

    论文报告了首次对语音转换进行对抗性攻击的尝试，以保护用户的隐私和身份识别。在两个现有的零样本语音转换模型上进行了实验，显示攻击样本具有良好的隐蔽性和转换效果显著。

    May, 2020

  • 评估基于语音转换的隐私保护对抗已知攻击者的有效性

    本文考察了基于语音转换的匿名化方法，在三种攻击情景中比较了两种基于频率扭曲的转换方法和一种基于深度学习的方法，结果表明语音转换方案不能有效地防止具有广泛知识的攻击者，但可能为不太熟悉的攻击者提供一定的保护。

    Nov, 2019