Jun, 2018

使用对抗样本进行训练增强的鲁棒语音识别

PDF
TL;DR本文探讨了使用对抗性样本在训练语音识别系统中以增强深度神经网络声学模型的鲁棒性，结果表明相对于传统的数据通过数据转换技术实现的增强，动态利用当前声学模型参数生成对抗性样本的方法在 Aurora-4 和 CHiME-4 单通道实验中具有显著的改善表现。此外，将对抗性样本与老师 / 学生培训相结合，可以进一步提高识别准确率，Aurora-4 相对误差率降低了 23%。
adversarial examplesspeech recognitionneural networkdata augmentationrobustness
发现论文，激发创造
  • 对抗数据增强用于鲁棒的说话人验证

    本文提出了一种名为对抗数据增强（A-DA）的新方法，将数据增强与对抗学习相结合，通过额外的分类器对不同类型的增强进行分类，使得网络能够生成能够欺骗分类器的说话者嵌入，从而提升模型对于增强变化的鲁棒性和泛化能力。在 VoxCeleb 和 CN-Celeb 数据集上的实验证明了我们提出的 A-DA 方法在匹配和不匹配的测试条件下均优于标准数据增强方法，展示了其对于声学变化的卓越鲁棒性和泛化能力。

    Feb, 2024

  • 自动语音识别中难以察觉、强韧和有目标的对抗样本

    本论文通过利用听觉掩蔽原理，构造出在听觉上无法察觉的音频对抗样本，取得 100% 的针对性成功率，并且成功地构造出在真实环境噪音扰动下保持有效的针对性音频对抗样本。

    Mar, 2019

  • 针对物理攻击的稳健音频对抗样本

    本研究提出了一种生成音频对抗样本的方法，可以在实际场景中攻击一种最先进的语音识别模型。通过模拟播放或录制的变换并将这些变换融合到生成过程中，我们得到的对抗样本具有鲁棒性，能够在不被人类察觉的情况下进行攻击，这表明所提出的音频对抗样本可能会成为一个真正的威胁。

    Oct, 2018

  • 对抗样本攻击自动语音识别

    本篇论文针对语音分类模型进行了首次对抗攻击的研究，其算法成功实现了目标化攻击，并未改变人类听众对音频剪辑的感知。

    Jan, 2018

  • 破解、模仿、修复：通过生成人类攻击提高鲁棒性

    通过有限的人类对抗样本生成更有用的对抗样本，提高模型鲁棒性，对抗训练框架在 ANLI 和仇恨言论检测数据集中展示了其优势，同时训练合成对抗样本提高了模型对未来轮次的鲁棒性。

    Oct, 2023

  • 通过 WavAugment 引导的音素对抗训练实现鲁棒的自动语音识别

    提出了一种新的 WavAugment Guided Phoneme Adversarial Training (wapat) 方法，利用对手示例在音素空间中进行增强，使模型对音素表示中的细微波动具有不变性，并在保持对清洁样本的性能的同时提高了泛化能力，在 End-to-end Speech Challenge Benchmark (ESB) 上取得了 state-of-the-art 的效果，SpeechLM-wapat 在 ESB 上将识别错误率降低了 6.28%。

    Jul, 2023

  • 黑盒音频系统的有针对性对抗样本

    本文采用进化算法和梯度估计两种方法， 结合黑盒攻击策略（不知道模型结构和参数）实现对语音自动识别系统的针对性攻击， 最终在保持音频文件相似度为 94.6% 的前提下，实现了 89.25% 的针对性攻击相似度。

    May, 2018

  • 朝向准确性 - 公正性困境：基于对抗样本的数据增强用于视觉去偏差

    研究机器学习中的公平性问题和图像分类任务中的去偏见问题，通过使用对抗性样本进行训练数据增强来实现模型的准确性和公平性。

    Jul, 2020

  • 音频对抗样本：利用语音面具的攻击

    我们构造了针对自动语音转文字系统的音频对抗样本，并将其应用于五种最先进的语音转文字系统，实验证明这些对抗样本可以欺骗机器，但人类可以轻易地辨识出其中的话语。这一攻击的可行性为研究机器和人类对话语的感知提供了一个新的领域。

    Feb, 2021

  • 加性噪声认证对抗鲁棒性

    本文提出一种可扩展的用于构造对抗样本的方法，通过建立抵抗对抗扰动和加法噪声之间的联系，提出了一种训练策略，并在 MNIST 等数据集上进行了评估。

    Sep, 2018