利用批评性语言模型对端到端语音识别进行对抗训练

Nov, 2018

Adversarial Training of End-to-end Speech Recognition Using a Criticizing Language Model

Alexander H. Liu, Hung-yi Lee, Lin-shan Lee

TL;DR本文提出了一种利用批判性语言模型的对抗性训练方法，用于端到端语音识别，该方法可以显著提高性能并且可以利用海量文本数据进行训练，同时适用于任何深度学习语言建模框架和现有端到端解码方法。实验结果表明，该方法在不同场景下可以高效获得持续改进。

Abstract

In this paper we proposed a novel adversarial training (AT) approach for end-to-end speech recognition using a Criticizing →

发现论文，激发创造

从预训练语言模型的角度调查对抗训练，提出了一种新的 extit {Contextualized representation-Adversarial Training} (CreAT) 方法来全局优化对抗样例，显著提高性能表现，并让它们对超参数变化不敏感，该方法取得了广泛任务上的最新成果。

May, 2023

本文提出了一种通过对编码器和解码器同时采用对抗学习和数据增强，使得神经机器翻译模型更加鲁棒处理语音识别误差的训练架构，并在 IWSLT2018 语音翻译任务上实现了与自然文本几乎相当的结果，在有识别噪声的 ASR 输出上比基准系统高 2.83 个 BLEU 分数。

Sep, 2019

本篇论文针对语音分类模型进行了首次对抗攻击的研究，其算法成功实现了目标化攻击，并未改变人类听众对音频剪辑的感知。

Jan, 2018

本文探讨基于对抗性训练的模型对自然语言处理任务的影响，发现对抗性训练不仅可以提高深度学习模型的鲁棒性，还能对词性标注和依存句法分析等任务有积极的影响。

Nov, 2017

本文介绍了一种新的神经网络训练框架，通过将对比学习与对抗训练相结合，增强了模型对对抗攻击的鲁棒性，同时保持高干净度的准确性。作者发现对比学习有助于提高对抗性鲁棒性，并使用 CIFAR-10 数据集验证了他们的方法，发现其优于其他监督和自监督方法。

Mar, 2022

基于语音识别的自然语言理解方法和两阶段的对比一致性学习模型能够提高在不同噪声环境下的自动语音识别的鲁棒性。

May, 2024

本文提出了一种新的对话生成对抗学习方法，包括一个新的生成对话模型和基于标记的分类的鉴别器，实现端到端的反向传播训练，并通过自对话进程生成具有更多多样性的对抗训练数据。实验证明，与传统的教师强制训练相比，该对抗方法显著提高了问答无关训练数据的性能。

Nov, 2017

本文针对上下文语音识别难以适应 E2E 自动语音识别的问题，提出了使用基于类别的语言模型及高效微调令牌传递解码器来提高性能。实验表明，该方法在不改变解码超参数的情况下，有效降低了上下文语音识别的字词错误率，并不影响普通语音识别的表现。

Dec, 2018

本研究提出了一种半监督敌对训练过程，通过最小化标签保留输入扰动的最大损失来改进跨语言文本分类，进而为目标语言样本诱导标签以进一步适应模型。与多个强基线比较，我们观察到了在各种语言的文档和意图分类上的显著增益。

Jul, 2020

本文使用先进的贝叶斯神经网络来检测对抗性噪声干扰下的自动语音识别系统，实验结果表明，该检测系统相对于当前现有的增强方法，可以提高 2.77% 至 5.42% 的检测率，并且可以将单词错误率降低 5.02% 至 7.47%。

Feb, 2022