最近，诸如 Whisper 之类的大型语音基础模型的发展使其在许多自动语音识别（ASR）应用中广泛使用。然而，我们证明了这些特殊令牌可以被对抗攻击利用以操纵模型的行为。我们提出了一种简单但有效的方法来学习 Whisper 的通用声学实现的 <endoftext> 令牌，当添加到任何语音信号之前时，鼓励模型忽略语音并仅转录特殊令牌，有效地 “静音” 模型。我们的实验证明，同一个通用的 0.64 秒对抗音频片段可以成功地使目标 Whisper ASR 模型在 97％以上的语音样本中静音。此外，我们发现这个通用的对抗音频片段通常可迁移到新的数据集和任务上。总的来说，这项工作证明了 Whisper 模型对 “静音” 对抗性攻击的脆弱性，其中这些攻击在现实世界的环境中既可能有风险，也可能有潜在的益处：例如，攻击可以用来绕过语音调节系统，或者反之，攻击也可以用来保护私人语音数据。

May, 2024

本文详细分析了 Whisper 输出，并提出了精细调整和软提示调整两种解决方案，实验证明我们可以有效地改变 Whisper 的解码行为，生成与口语回答中准确的单词。

Jul, 2023

本文研究了对抗性噪声下自动语音识别模型的鲁棒性。作者通过小幅度输入扰动，即使增加了最高 45 分贝的噪音，可以显著降低模型精度，甚至能够转录出所选目标句子。作者还证明了欺骗模型语言检测器可以极大地降低多语言模型的性能，强调了 adversarially robust ASR 的必要性。

Oct, 2022

本文介绍了一种新型的基于心理声学隐蔽技术的对抗样本，利用 DNN 实现音频输入的提取并利用 backpropagation 算法实现对抗扰动的插入，成功攻击了最先进的语音识别系统，且人耳听不到插入的对抗扰动。

Aug, 2018

本文揭示了全局对抗音频扰动的存在，该扰动通过对自动语音识别系统的信号进行误转录。我们提出了一种算法来查找单个几乎不可感知的扰动，将其添加到任意语音信号中，很可能欺骗受害的语音识别模型。我们的实验表明，我们提出的技术可以将视觉安全的通用扰动用于最新的自动语音识别系统 - Mozilla DeepSpeech。此外，我们还通过在 WaveNet 基于的 ASR 系统上进行可迁移性测试，表明了这种扰动在未参与训练的模型上有相当广泛的应用。

May, 2019

使用 Whisper 这个 ASR 基础模型进行无监督音频分类，并通过去偏方法获得显著的性能提升。

Nov, 2023

改进语音识别模型的鲁棒性需要从评估攻击转向系统化评估，通过在不同架构上评估代表性的对抗性攻击，我们发现不同攻击算法的相对强度在更改模型架构时会有相当大的差异，并且某些攻击的结果不能盲目信任，自我监督预训练等培训选择可显着影响鲁棒性。

Mar, 2022

本研究提出了一种创新的方法来增强 Whisper，它是一种语音基础模型，以应对联合多说话人和目标说话人语音识别任务。该方法在两种识别任务上优于先前的方法，并在 AishellMix 普通话数据集上实现了可接受的零热身性能。

Jul, 2024

该论文研究了定向对抗攻击自我训练的自动语音识别模型，发现现代自我训练的自动语音识别模型容易受到对抗攻击的影响，进一步揭示了现代 ASR 体系结构的安全威胁。

Sep, 2022

本文研究了语音指令分类中存在的通用扰动问题，并提出了新的分析框架以测量扰动引入的畸变量。研究表明，通用攻击在不同模型中都能够实现，并且引入的畸变量随着普适性级别的提高而降低。同时，作者指出现有方法在解决语音领域的问题时存在不现实性。

Nov, 2019