May, 2024

通过音频风格转换评估自动语音识别系统的鲁棒性

PDF
TL;DR在自动语音识别系统广泛应用的背景下，我们提出了一种基于用户自定义风格转换的攻击方法，结合风格转换和对抗攻击的顺序来实现对 ASR 系统的攻击，实验结果表明我们的方法能够满足用户个性化风格的需求，并在攻击中达到了 82% 的成功率，并且由于我们的用户研究保持了音频的自然性。
automatic speech recognitionadversarial perturbationsdeep neural networksstyle transfer attackuser-customized style transfer
发现论文，激发创造
  • 训练要有所侧重：自监督语音识别模型的针对性、可迁移对抗样本

    该论文研究了定向对抗攻击自我训练的自动语音识别模型，发现现代自我训练的自动语音识别模型容易受到对抗攻击的影响，进一步揭示了现代 ASR 体系结构的安全威胁。

    Sep, 2022

  • 自然语言处理领域中语音识别系统的对抗性攻击综述

    本文介绍 ASR 系统及其攻击方式，分别从白盒与黑盒两个方面探讨对其语音波形的扰动，重点关注攻击的不同实现方法及对系统的影响。

    Aug, 2022

  • 语音识别系统的通用对抗扰动

    本文揭示了全局对抗音频扰动的存在，该扰动通过对自动语音识别系统的信号进行误转录。我们提出了一种算法来查找单个几乎不可感知的扰动，将其添加到任意语音信号中，很可能欺骗受害的语音识别模型。我们的实验表明，我们提出的技术可以将视觉安全的通用扰动用于最新的自动语音识别系统 - Mozilla DeepSpeech。此外，我们还通过在 WaveNet 基于的 ASR 系统上进行可迁移性测试，表明了这种扰动在未参与训练的模型上有相当广泛的应用。

    May, 2019

  • 面对对抗攻击的自动语音识别模型最近的改进

    改进语音识别模型的鲁棒性需要从评估攻击转向系统化评估，通过在不同架构上评估代表性的对抗性攻击，我们发现不同攻击算法的相对强度在更改模型架构时会有相当大的差异，并且某些攻击的结果不能盲目信任，自我监督预训练等培训选择可显着影响鲁棒性。

    Mar, 2022

  • 通过心理声学隐藏对自动语音识别系统进行对抗攻击

    本文介绍了一种新型的基于心理声学隐蔽技术的对抗样本，利用 DNN 实现音频输入的提取并利用 backpropagation 算法实现对抗扰动的插入，成功攻击了最先进的语音识别系统，且人耳听不到插入的对抗扰动。

    Aug, 2018

  • STAA-Net：一种稀疏且可迁移的语音情感识别对抗攻击

    通过生成器的攻击方法，我们能够以高效的方式生成稀疏且可转移的对抗性示例，从而欺骗语音情感识别模型，并能够对先进的受害者模型进行有效的对抗攻击。

    Feb, 2024

  • 黑盒音频系统的有针对性对抗样本

    本文采用进化算法和梯度估计两种方法， 结合黑盒攻击策略（不知道模型结构和参数）实现对语音自动识别系统的针对性攻击， 最终在保持音频文件相似度为 94.6% 的前提下，实现了 89.25% 的针对性攻击相似度。

    May, 2018

  • 语音识别系统对抗攻击中的语言依赖性

    本文研究比较德语与英语语音识别系统的攻击性漏洞，结果表明生成对抗样本所需的计算工作与其语言模型有关，并鼓励在 ASR 的鲁棒性分析中进一步研究与语言相关的特征。

    Feb, 2022

  • 突破数据屏障：通过对抗稳定性训练实现鲁棒性语音翻译

    本文提出了一种通过对编码器和解码器同时采用对抗学习和数据增强，使得神经机器翻译模型更加鲁棒处理语音识别误差的训练架构，并在 IWSLT2018 语音翻译任务上实现了与自然文本几乎相当的结果，在有识别噪声的 ASR 输出上比基准系统高 2.83 个 BLEU 分数。

    Sep, 2019

  • 音频对抗样本：利用语音面具的攻击

    我们构造了针对自动语音转文字系统的音频对抗样本，并将其应用于五种最先进的语音转文字系统，实验证明这些对抗样本可以欺骗机器，但人类可以轻易地辨识出其中的话语。这一攻击的可行性为研究机器和人类对话语的感知提供了一个新的领域。

    Feb, 2021