Jan, 2024

言语内容屏蔽的探索性评估

PDF
TL;DR最近的语音隐私研究主要集中在匿名化声学说话者属性，但对于保护语音内容的信息研究较少。本文引入了一个玩具问题，探讨了一种被称为 “内容隐藏” 的新型隐私保护方法，该方法隐藏了语音中的选定单词和短语。通过改变预训练的向量量化变分自编码器（VQ-VAE）生成的离散电话表示（电话代码）序列并通过 WaveRNN 重新合成的方法，我们评估了一个基准掩码技术。我们对三种不同的掩码位置和三种掩码策略进行了研究：噪声替换、单词删除和电话序列反转。我们着重研究了掩码对自动语音识别（ASR）和自动说话者验证（ASV）这两个后续任务的影响，并讨论了如何影响隐私目标的这些问题。
发现论文，激发创造
  • 通过语音水平和音素水平屏蔽方法改善语音表示学习

    本研究提出两种掩蔽方法（语音水平掩蔽和音素水平掩蔽），并通过这两种方法的预训练，在音素分类和说话人识别两个下游任务上评估。实验表明，所提出的掩蔽方法有助于提高语音表示的性能。

    Oct, 2022

  • 使用向量量化进行保护隐私的语音表示学习

    本文提出了一种匿名表示方案，使用矢量量化来限制表示空间并通过禁止说话人身份信息实现对隐私的保护，从而在保留语音识别的基础上实现说话人匿名化。

    Mar, 2022

  • 预训练语音模型的噪声干扰攻击和防御

    对训练得到的语音模型和预训练的语音编码器进行噪声掩码攻击，恢复私密信息并研究对抗措施。

    Apr, 2024

  • 评估说话人匿名在情感语音上的效果

    该研究研究了在语音隐私保护的 VoicePrivacy 2020 Challenge 中对说话人匿名化基线系统对语音情感信息的影响，结果表明该系统对知情攻击者未能抑制说话人的情感，且匿名化后的语音相比原始语音情感识别性能下降了 15%，与其保留语言信息的评估方式使用自动语音识别得到的结果类似。

    Apr, 2023

  • 语音匿名化对基于语音的 COVID-19 检测的影响

    本研究关注于一项针对基于语音的 COVID-19 诊断的健康监测应用，测试了两种常见的匿名化方法并将其应用于三个公共数据集，验证了匿名化方法的有效性并量化了在不同测试场景下的影响，最后展示了匿名化作为数据增强工具的益处。

    Apr, 2023

  • 多模式语音识别及非结构化语音掩蔽

    本篇论文研究了在嘈杂的情况下，如何通过视觉上下文提升语音识别的准确性，并通过模拟 RandWordMask 掩码模式验证了多模态 ASR 系统在不同掩码模式下的泛化能力，结论显示在一定程度上可提升 ASR 系统的能力。

    Oct, 2020

  • 匿名化语音：评估和设计说话人匿名化技术

    该论文讨论了语音用户界面的增长，以及由此带来的语音数据收集和存储问题。研究提出了匿名化语音和度量匿名程度的解决方案，并介绍了评估协议需要考虑的挑战，最后探讨了一种新的攻击方法以逆转匿名化。

    Aug, 2023

  • 基于 Transformer 的端到端语音识别语义掩码

    提出了一种基于语义掩蔽的正则化方法，使用注意力机制的编解码器模型，以及 transformer-based 模型，以提升 E2E 模型的训练效果。通过实验验证，在 Librispeech 960h 和 TedLium2 数据集上取得了 E2E 模型领域的最新性能。

    Dec, 2019

  • 评估基于语音转换的隐私保护对抗已知攻击者的有效性

    本文考察了基于语音转换的匿名化方法，在三种攻击情景中比较了两种基于频率扭曲的转换方法和一种基于深度学习的方法，结果表明语音转换方案不能有效地防止具有广泛知识的攻击者，但可能为不太熟悉的攻击者提供一定的保护。

    Nov, 2019

  • 语音识别中的隐私保护对抗性表征学习：现实还是幻象？

    本文旨在研究自动语音识别中隐私保护的问题，提出了利用深度编码器 - 解码器架构中的预训练技术来保护说话人身份，通过对开放和封闭说话人集的说话人识别和验证实验，论证了对抗训练架构可以显著减少封闭集的分类精度，提高个人隐私保护的效果。

    Nov, 2019