使用向量量化进行保护隐私的语音表示学习
本研究通过使用向量量化技术,加强从声学模型中提取特征时的内容和说话人信息的分离,从而改进说话人匿名化技术,并在 VoicePrivacy 2022 工具包上验证了该方法的有效性。
Aug, 2022
本文旨在研究如何使用基于自监督语音表征的语音转换模型匿名处理声音数据,结果表明用这种方法匿名化处理的语音可以维持原始语音低的误识别率,但对于说话人验证存在性能下降的问题。此外,本文的研究还能以匿名的方式提取出健康语言和病理语言之间的区别语音特征。
Apr, 2022
最近的语音隐私研究主要集中在匿名化声学说话者属性,但对于保护语音内容的信息研究较少。本文引入了一个玩具问题,探讨了一种被称为 “内容隐藏” 的新型隐私保护方法,该方法隐藏了语音中的选定单词和短语。通过改变预训练的向量量化变分自编码器(VQ-VAE)生成的离散电话表示(电话代码)序列并通过 WaveRNN 重新合成的方法,我们评估了一个基准掩码技术。我们对三种不同的掩码位置和三种掩码策略进行了研究:噪声替换、单词删除和电话序列反转。我们着重研究了掩码对自动语音识别(ASR)和自动说话者验证(ASV)这两个后续任务的影响,并讨论了如何影响隐私目标的这些问题。
Jan, 2024
研究表明,使用新的说话人匿名方法来提取语言和说话人身份特征,使用神经声学和波形模型来合成匿名的语音可以有效掩盖说话人身份,同时保持高质量的匿名语音。
May, 2019
本文提出通过使用向量量化 (VQ) 进行内容编码,并在训练期间引入互信息 (MI) 作为相关度度量,从而在无监督的情况下实现内容、说话人和音高表示的适当分离,以提高单次语音转换系统的性能。该方法在保留源语言内容和语调变化的同时,捕捉目标说话人的特征,实现了比现有单次语音转换系统更高的语音自然度和说话人相似度。
Jun, 2021
本文介绍了一种新的汇集方法,通过向量量化可以将声学表示压缩为具有相似声学特性的向量,从而通过对各种下游任务进行评估,比较了我们的方法和监督汇集方法。
Apr, 2023
本文针对 VoicePrivacy Challenge 设计了一种基于 x-vector 的柔性伪说话人选择技术,并探索了多种设计选择以评估它的匿名化和实用性,同时使用 LibriSpeech 数据集进行实验,报告了匿名数据的 Equal Error Rate(EER)和解码 Word Error Rate(WER)。
May, 2020
本文旨在研究自动语音识别中隐私保护的问题,提出了利用深度编码器 - 解码器架构中的预训练技术来保护说话人身份,通过对开放和封闭说话人集的说话人识别和验证实验,论证了对抗训练架构可以显著减少封闭集的分类精度,提高个人隐私保护的效果。
Nov, 2019
该论文讨论了语音用户界面的增长,以及由此带来的语音数据收集和存储问题。研究提出了匿名化语音和度量匿名程度的解决方案,并介绍了评估协议需要考虑的挑战,最后探讨了一种新的攻击方法以逆转匿名化。
Aug, 2023
本文考察了基于语音转换的匿名化方法,在三种攻击情景中比较了两种基于频率扭曲的转换方法和一种基于深度学习的方法,结果表明语音转换方案不能有效地防止具有广泛知识的攻击者,但可能为不太熟悉的攻击者提供一定的保护。
Nov, 2019