Nov, 2023

重塑语音：基于深度学习的声音转换的范围性综述

PDF
TL;DR本文通过一项全面综述，探讨了现代语音转换系统中深度学习在语音分析、合成和分离语音表示学习中的应用，总结了基于深度学习的语音转换中最常用的方法，并突出了社区内的常见陷阱。最后，本文总结了所获得的知识，确定了主要挑战，并提出了未来研究方向的建议。
deep learning-powered voice conversionspeech-to-speech scenariosvoice conversion pipelinedeep learningfuture research directions
发现论文，激发创造
  • 语音转换及其挑战：从统计建模到深度学习的概述

    本文给出了语音转换技术及其性能评估方法的最新进展概述，并讨论了这些技术的优劣。同时还报告了最近语音转换挑战的表现和提供了可用于语音转换研究的资源概述。

    Aug, 2020

  • 谁是真实的讲者

    探索利用深度学习技术进行声音转换，识别原始说话者的可行性，通过使用分段转换的转换语音进行实验证明从转换声音中识别真实说话者的可行性，并使用具有来自源说话者的某些信息的 VLAD 进行构建的识别模型在转换语音上表现出很好的性能。

    Apr, 2024

  • 深度伪造语音的实时检测

    生成式人工智能在语音领域有着重要的隐私和道德威胁，该研究通过生成了 DEEP-VOICE 数据集，并利用机器学习模型进行统计分析和超参数优化，最终实现了 99.3% 的准确分类，并能够实时检测 AI 生成的语音。

    Aug, 2023

  • 语音和视觉系统中深度神经网络调查

    该论文对视觉和语言领域中深度神经网络的最新架构、算法和系统进行了综述，并总结了在硬件限制平台上运行深度神经网络的主要挑战和最新进展，探讨了情感计算、智能交通和精准医学等领域中的新兴应用。

    Aug, 2019

  • 通向通用文本指导的语音转换

    这篇论文介绍了一种新颖的语音转换（VC）模型，它由文本指令引导，比如 “以慢速和低沉的音调清晰地说话” 或 “以开朗少年的声音说话”。与传统方法依赖于参考话语来确定转换语音的属性不同，我们的模型为语音转换增加了多样性和特定性。提出的 VC 模型是一种神经编解码语言模型，处理离散代码序列，生成转换语音的代码序列。它利用文本指令作为风格提示来修改给定语音的韵律和情感信息。与以往的方法相比，我们的模型以端到端的方式处理语音的各种信息，而不再依赖于使用不同的编码器来处理源语音的韵律和内容等不同方面。实验证明了我们的模型在理解指令并产生合理结果方面的令人印象深刻的能力。

    Sep, 2023

  • 2018 年语音转换挑战赛：促进并行和非并行方法的开发

    本文主要介绍 2018 年语音转换挑战赛，包括任务及相关技术和结果总结。

    Apr, 2018

  • 逐步提升语音识别和语音转换

    本论文中，我们提出了一种新颖的迭代方法，用于同时提高自动语音识别模型和语音转换模型。我们在低数据资源情况下，通过使用语音转换模型作为数据增强方法来进一步微调 ASR 模型，从而实验性地展示了两个模型的性能提高。

    May, 2023

  • 基于稳健解缠变分语音表示学习的零样本语音转换

    本研究提出利用自监督分离式语音表示学习的新视角进行零样本语音转换，通过在序列变分自编码器中平衡全局说话人表示和时变内容表示之间的信息流实现分离，并应用实时数据增强培训策略以使所学表示不受噪声干扰。在 TIMIT 和 VCTK 数据集上表现出了优越性能，不仅在客观评估上表现良好，而且在主观评估方面具有鲁棒性，即使在源 / 目标语音帧存在噪声的情况下仍能保持不错的性能。

    Mar, 2022

  • 通过基于流的语音转换进行跨语言知识蒸馏，用于稳健的多语言文本到语音转换

    该研究提出了一个跨语言语音合成框架，包括上游声码转换模型和下游文本转语音模型。通过在四个阶段中使用声码转换模型将目标语音转换为目标说话人的声音、联合目标语言的语言特征和持续时间进行单一说话人声学模型的训练以及设计一种与地区无关的波形合成器等方法，我们的评估表明这种方法优于现有的基于多语言训练模型的方法，并在不同的模型结构、语言、说话人和数据量方面展现出其鲁棒性，尤其适用于资源匮乏环境。

    Sep, 2023

  • 使用非平行训练数据从语音合成到语音转换的迁移学习

    本文提出了一种基于 TTS-VC 转移学习的语音转换框架，采用多说话人语音合成系统和编码器 - 解码器架构等技术，实现任意语音转换且在语音质量、自然度和说话人相似度等方面均优于竞争方法。

    Sep, 2020