EMNLPAug, 2018

多上下文联合实体和关系抽取的对抗训练

PDF
TL;DR本文介绍了一种名为对抗训练的正则化方法，利用该方法可以通过在训练数据中添加微小扰动，提高神经网络方法的稳健性，并演示如何将其应用于实体识别和关系提取等任务，以提高不同上下文（如新闻、生物医学和房地产数据）和不同语言（如英语和荷兰语）的数据集的效果。
adversarial trainingneural networkentity recognitionrelation extractionrobustness
发现论文，激发创造
  • 通过对抗训练实现稳健的多语言词性标注

    本文探讨基于对抗性训练的模型对自然语言处理任务的影响，发现对抗性训练不仅可以提高深度学习模型的鲁棒性，还能对词性标注和依存句法分析等任务有积极的影响。

    Nov, 2017

  • 对抗分布式训练用于强健深度学习

    本文提出了一种新的模型训练框架 - 对抗分布式训练（ADT），通过最小值最大化优化问题，训练模型来学习处理各种威胁。ADT 的有效性也在几个基准测试中得到了验证。

    Feb, 2020

  • 通过教师集合的适应性知识融合进行对抗训练

    通过教师集合的知识自适应融合，以解决深度神经网络在对抗样本训练中的两个问题：在小模型中实现稳健性和对未知攻击类型的脆弱性。

    May, 2024

  • 注意力遇到扰动：通过对抗训练实现鲁棒性和可解释性的注意力机制

    本文提出对自然语言处理任务进行通用训练的技术，包括关注力对抗训练（Attention AT）和更易于解释的关注力对抗训练（Attention iAT）。该方法通过引入对抗扰动，增强了句子注意力的差异，提高了模型的预测性能和可解释性，并且尤其适用于关注力机制。实验表明，Attention iAT 在十项任务中表现最佳，并且其结果的注意力与基于梯度的单词重要性的相关性更强。此外，该方法不太依赖于对抗扰动的大小。

    Sep, 2020

  • 利用虚拟嵌入进行机器阅读理解的对抗训练

    本研究针对机器阅读理解任务应用对抗训练（AT）作为一种正则化方法，提出一种基于嵌入矩阵扰动而非单词向量的新型对抗训练方法 PQAT，测试结果显示对抗训练对跨领域具有普适性，PQAT 方法进一步提高了性能。

    Jun, 2021

  • 针对视频分类的对抗训练分析与扩展

    本文提出了三种防御方法来增强对多种攻击类型的鲁棒性，包括自适应防御技术 Adaptive AT，课程式防御技术 Curriculum AT 和将 AT 与去噪生成对抗网络相结合的生成式防御技术 Generative AT，并在 UCF101 数据集上进行了实验。

    Jun, 2022

  • 提升关系抽取的敌对视角

    提出了一种针对关系抽取的对抗训练方法，通过序列和标记级的扰动引入独立的扰动词汇表来改进对实体和上下文扰动的搜索，引入了一种概率策略在对抗训练上使上下文的清理标记数更多，实验证明相比于其他对抗训练方法，该方法显著提高了模型的准确性和鲁棒性，同时在数据可用性不足的情况下也表现出良好的效果。

    Apr, 2024

  • 基于图结构的动态正则化的图对抗训练

    研究表明神经网络的视觉分类任务受到小幅但有意的输入特征扰动的影响。基于连接的示例引起了对目标示例影响的干扰，图对神经网络的影响更大。针对此问题，本文提出了一种动态正则化技术 —— 图形对抗训练（Graph Adversarial Training，GraphAT），该技术结合了输入特征中的干扰和连接示例的影响，并将其应用于图卷积网络（Graph Convolutional Network，GCN）的目标节点分类任务中，实验结果表明，GraphAT 可以提高模型的鲁棒性。

    Feb, 2019

  • A3T：对抗性增强的对抗性训练

    本文介绍了一种通过强制表示不变性来提高深度神经网络对抗攻击鲁棒性的方法，并比较其与其他标准对抗训练方法的可行性。

    Jan, 2018

  • 面向上下文语言表示的对抗训练

    从预训练语言模型的角度调查对抗训练，提出了一种新的 extit {Contextualized representation-Adversarial Training} (CreAT) 方法来全局优化对抗样例，显著提高性能表现，并让它们对超参数变化不敏感，该方法取得了广泛任务上的最新成果。

    May, 2023