Sep, 2022

Zero-shot 伪造语音进行说话人去识别

PDF
TL;DR提出了一种名为 DeID-VC 的系统，利用变分自编码器（VAE）生成伪人声以保护用户的语音隐私，可在发言者或话语层面分配独特的伪人声，并通过两个新的学习目标缩小了训练和推理之间的差距，实验结果表明与基线相比，DeID-VC 方法在可读性和去识别性方面都有显著改善。
speaker de-identificationvoice conversionzero-shot settingsvariational autoencoderprivacy
发现论文，激发创造
  • 基于稳健解缠变分语音表示学习的零样本语音转换

    本研究提出利用自监督分离式语音表示学习的新视角进行零样本语音转换，通过在序列变分自编码器中平衡全局说话人表示和时变内容表示之间的信息流实现分离，并应用实时数据增强培训策略以使所学表示不受噪声干扰。在 TIMIT 和 VCTK 数据集上表现出了优越性能，不仅在客观评估上表现良好，而且在主观评估方面具有鲁棒性，即使在源 / 目标语音帧存在噪声的情况下仍能保持不错的性能。

    Mar, 2022

  • 谁是真实的讲者

    探索利用深度学习技术进行声音转换，识别原始说话者的可行性，通过使用分段转换的转换语音进行实验证明从转换声音中识别真实说话者的可行性，并使用具有来自源说话者的某些信息的 VLAD 进行构建的识别模型在转换语音上表现出很好的性能。

    Apr, 2024

  • SEF-VC：无说话人嵌入的零样本声音转换与交叉注意力

    SEF-VC 是一种无需说话者嵌入的语音转换模型，通过强大的位置不可知的跨注意力机制从参考语音中学习和融入说话者音色，并以非自回归的方式从 HuBERT 语义标记中重建波形，提高了稳定性和语音转换性能。客观和主观评价证明了 SEF-VC 相对于强零样本 VC 基线的优越性，在生成高质量语音时与目标参考的相似性更好，即使对于非常短的参考讲话。

    Dec, 2023

  • 使用变分自编码瓶颈网络和 Wasserstein 生成对抗网络从不对齐语料库进行语音转换

    该论文提出了一种基于 VAW-GAN 的非平行语音转换框架，可以用于从未对齐的语音语料库中构建语音转换系统，并展示了该框架的有效性和提升的转换质量。

    Apr, 2017

  • X-vector 基础发言人匿名化的设计选择

    本文针对 VoicePrivacy Challenge 设计了一种基于 x-vector 的柔性伪说话人选择技术，并探索了多种设计选择以评估它的匿名化和实用性，同时使用 LibriSpeech 数据集进行实验，报告了匿名数据的 Equal Error Rate（EER）和解码 Word Error Rate（WER）。

    May, 2020

  • 基于条件 DSVAE 的零样本语音转换改进

    通过条件的 DSVAE 模型，将内容信息的分离，并在语音转换方面实现更好的性能。

    May, 2022

  • 自监督语音表示保留语音特征同时实现匿名化

    本文旨在研究如何使用基于自监督语音表征的语音转换模型匿名处理声音数据，结果表明用这种方法匿名化处理的语音可以维持原始语音低的误识别率，但对于说话人验证存在性能下降的问题。此外，本文的研究还能以匿名的方式提取出健康语言和病理语言之间的区别语音特征。

    Apr, 2022

  • ALO-VC：任意低延迟单次语音转换

    本文提出了基于语音后验图的非并行低延迟单次语音转换方法 ALO-VC，采用预训练说话人编码器、语调预测器和位置编码器结合的混合信号处理和机器学习管道，提供两个系统版本，均可在单个 CPU 核心上部署并达到与非因果基线系统相当的性能。

    Jun, 2023

  • 离散无监督单元实现的语音风格转换

    该研究提出了一种基于自监督预训练模型的无配对数据标准的语音转换方法，不仅能够转换说话人的音色，而且还能够转换韵律及音调等语音韵律信息，并且在定量和定性评估中优于其他方法。

    Dec, 2022

  • SelfVC：自我转换的迭代细化音频转换

    我们提出了 SelfVC，一种训练策略，通过自我合成的示例来迭代改进语音转换模型。该模型在训练过程中使用自我监督学习和说话人验证模型生成的交织的语音表示来训练具有可控性的语音转换模型，并通过创建具有挑战性的自我合成示例来不断改进模型。SelfVC 在没有文本的情况下进行训练，并适用于零样本语音转换、跨语言语音转换以及具有音高和语速修改的可控语音合成任务。在自然度、说话人相似度和可理解性的评估指标上，SelfVC 在零样本语音转换方面取得了最先进的结果。

    Oct, 2023