May, 2023

面向上下文语言表示的对抗训练

PDF
TL;DR从预训练语言模型的角度调查对抗训练，提出了一种新的 extit {Contextualized representation-Adversarial Training} (CreAT) 方法来全局优化对抗样例，显著提高性能表现，并让它们对超参数变化不敏感，该方法取得了广泛任务上的最新成果。
adversarial trainingpre-trained language modelscontextualized representationencoderperformance gains
发现论文，激发创造
  • 利用批评性语言模型对端到端语音识别进行对抗训练

    本文提出了一种利用批判性语言模型的对抗性训练方法，用于端到端语音识别，该方法可以显著提高性能并且可以利用海量文本数据进行训练，同时适用于任何深度学习语言建模框架和现有端到端解码方法。实验结果表明，该方法在不同场景下可以高效获得持续改进。

    Nov, 2018

  • 上下文感知对命名实体识别的对抗攻击

    我们提出了一种上下文感知对抗攻击方法，通过扰乱识别实体最具信息量的词语来生成自然而可信的对抗样本，实验证明我们的方法在误导模型做出错误预测方面比基准方法更有效。

    Sep, 2023

  • 生成自然语言攻击的上下文感知方法

    本研究探讨使用黑盒方法攻击自然语言处理模型的重要任务，并提出了一种攻击策略，通过考虑原始单词及其周围情境的信息来找到候选单词，并在上下文理解方面共同利用掩码语言模型和下一句子预测。与先前的攻击相比，我们能够生成高质量的对抗性示例，成功率和单词扰动百分比都有显著提高。

    Dec, 2020

  • 多上下文联合实体和关系抽取的对抗训练

    本文介绍了一种名为对抗训练的正则化方法，利用该方法可以通过在训练数据中添加微小扰动，提高神经网络方法的稳健性，并演示如何将其应用于实体识别和关系提取等任务，以提高不同上下文（如新闻、生物医学和房地产数据）和不同语言（如英语和荷兰语）的数据集的效果。

    Aug, 2018

  • 通过对抗训练实现稳健的多语言词性标注

    本文探讨基于对抗性训练的模型对自然语言处理任务的影响，发现对抗性训练不仅可以提高深度学习模型的鲁棒性，还能对词性标注和依存句法分析等任务有积极的影响。

    Nov, 2017

  • 概念感知训练提高语言模型的上下文学习能力

    文中介绍了一种名为 CoAT 的优化方法，利用模拟训练数据来帮助语言模型更好的利用其背景知识。使用 CoAT 训练的 In-context learners 性能表现良好，达到了在多任务训练中更大规模模型的性能水平。

    May, 2023

  • 利用虚拟嵌入进行机器阅读理解的对抗训练

    本研究针对机器阅读理解任务应用对抗训练（AT）作为一种正则化方法，提出一种基于嵌入矩阵扰动而非单词向量的新型对抗训练方法 PQAT，测试结果显示对抗训练对跨领域具有普适性，PQAT 方法进一步提高了性能。

    Jun, 2021

  • 基于联合对比能量的模型，用于理解对抗训练的生成能力

    该研究通过开发一种统一的概率框架 CEM，提供了关于 Adversarial Training（AT）的概率描述，并将其扩展到了无监督学习场景，提出了一种有原则的方法来开发对抗性学习和采样方法，实验表明，我们得到的采样方法提高了监督和无监督学习的样本质量。

    Mar, 2022

  • 文本对抗攻击的上下文扰动

    本文提出了一种基于上下文的 CLARE 模型，通过掩码插值过程生成流畅和语法正确的对抗样例，旨在发现自然语言处理模型的脆弱性，并通过三个上下文化扰动方法 —— 替换、插入、合并，产生不同长度的文本以提高攻击效率，并通过实验和人类评估证明了相对于基线模型，CLARE 模型在攻击成功率、文本相似性、流畅性和语法正确性方面表现更好。

    Sep, 2020

  • 对比对抗训练中通过认知失调缓解实现健壮性

    本文介绍了一种新的神经网络训练框架，通过将对比学习与对抗训练相结合，增强了模型对对抗攻击的鲁棒性，同时保持高干净度的准确性。作者发现对比学习有助于提高对抗性鲁棒性，并使用 CIFAR-10 数据集验证了他们的方法，发现其优于其他监督和自监督方法。

    Mar, 2022