Jun, 2024

基于对说话人嵌入进行对抗扰动的异步语音匿名化

PDF
TL;DR本文研究声音匿名化技术，重点探讨改变语音特征以防止机器识别但保留人类感知的异步声音匿名化方法，采用包含说话人解缠机制的语音生成框架生成匿名语音，并通过对说话人嵌入进行对抗扰动改变说话人特征，同时通过控制扰动强度保留人类感知。实验结果表明，在 LibriSpeech 数据集上处理的 utterances 中，60.71％的处理结果达到了说话人特征的匿名化且保留了人类感知。
voice anonymizationprivacyspeech generationspeaker disentanglementadversarial perturbation
发现论文，激发创造
  • 使用生成对抗网络实现语音匿名化，以保护说话人隐私

    本研究利用生成对抗网络与 Wasserstein 距离的 Speaker embeddings 生成方法，将其整合到语音转文字转语音的流程中，成功实现保护隐私的同时保持较高的效能表现。

    Oct, 2022

  • 评估基于语音转换的隐私保护对抗已知攻击者的有效性

    本文考察了基于语音转换的匿名化方法，在三种攻击情景中比较了两种基于频率扭曲的转换方法和一种基于深度学习的方法，结果表明语音转换方案不能有效地防止具有广泛知识的攻击者，但可能为不太熟悉的攻击者提供一定的保护。

    Nov, 2019

  • 评估说话人匿名在情感语音上的效果

    该研究研究了在语音隐私保护的 VoicePrivacy 2020 Challenge 中对说话人匿名化基线系统对语音情感信息的影响，结果表明该系统对知情攻击者未能抑制说话人的情感，且匿名化后的语音相比原始语音情感识别性能下降了 15%，与其保留语言信息的评估方式使用自动语音识别得到的结果类似。

    Apr, 2023

  • 匿名化语音：评估和设计说话人匿名化技术

    该论文讨论了语音用户界面的增长，以及由此带来的语音数据收集和存储问题。研究提出了匿名化语音和度量匿名程度的解决方案，并介绍了评估协议需要考虑的挑战，最后探讨了一种新的攻击方法以逆转匿名化。

    Aug, 2023

  • 使用 X - 向量和神经波形模型进行说话者匿名化

    研究表明，使用新的说话人匿名方法来提取语言和说话人身份特征，使用神经声学和波形模型来合成匿名的语音可以有效掩盖说话人身份，同时保持高质量的匿名语音。

    May, 2019

  • 语音识别中的隐私保护对抗性表征学习：现实还是幻象？

    本文旨在研究自动语音识别中隐私保护的问题，提出了利用深度编码器 - 解码器架构中的预训练技术来保护说话人身份，通过对开放和封闭说话人集的说话人识别和验证实验，论证了对抗训练架构可以显著减少封闭集的分类精度，提高个人隐私保护的效果。

    Nov, 2019

  • 通过心理声学隐藏对自动语音识别系统进行对抗攻击

    本文介绍了一种新型的基于心理声学隐蔽技术的对抗样本，利用 DNN 实现音频输入的提取并利用 backpropagation 算法实现对抗扰动的插入，成功攻击了最先进的语音识别系统，且人耳听不到插入的对抗扰动。

    Aug, 2018

  • 低延迟语音匿名化端到端流模型

    提出了一种流式模型来实现低延迟的说话人匿名化，通过使用轻量级内容编码器、预训练的说话人编码器和变化编码器，将语音信息解耦为语音内容、说话人身份和音调能量信息，并通过解码器重新合成语音信号，该模型实现了 230ms 的延迟，并在自然性、可理解性和隐私保护方面保持了最先进的性能。

    Jun, 2024

  • 使用未标注的外部数据进行对抗性发声人分离的自监督表征语音转换

    提出了一种基于声音转换技术的高相似度任意语音转换方法，该方法中使用了自监督学习方法及其提取的 SSL 输入表示，采用对抗训练机制和辅助判别器，通过外部未标注的大型语音语料库，在合成模块中成功解决了与 SSL 表示中的说话者信息与音色相似度有关的限制问题。实验结果表明，我们的方法在自然度高且相似度可比的情况下比监督方法更加灵活，同时可以推广至其他 SSL 表示作为输入的 VC 方法，而且无需大量标注数据的支持。

    May, 2023

  • 使用解耦表示构建说话人匿名系统是否足够？

    本研究通过使用向量量化技术，加强从声学模型中提取特征时的内容和说话人信息的分离，从而改进说话人匿名化技术，并在 VoicePrivacy 2022 工具包上验证了该方法的有效性。

    Aug, 2022