Aug, 2018

通过对抗正则化神经 NLI 模型以整合逻辑背景知识

PDF
TL;DR本文研究了自动生成对抗样本的问题，通过最大化一种度量对抗样本的破坏程度的数量，并利用语言模型生成语言合理的样本，我们将识别此类对抗样本的问题减少为组合优化问题，并提出了一种对抗性规范化神经 NLI 模型以融入背景知识的方法，在 SNLI 和 MultiNLI 数据集上，我们的方法没有总是提高预测准确性，但在对抗性制作的数据集上，我们的方法显著并一致地增加了预测准确性，提高了 79.6％的相对改进，并大大减少了背景知识的违反数量。此外，我们还展示了对抗性样本在模型架构之间的转移作用，以及对抗性训练程序如何提高向对抗性样本的鲁棒性。
发现论文，激发创造
  • 使用词汇 - 语义约束生成生物医学自然语言推理数据集用于对抗样本

    利用新型半监督过程从现有生物医学数据集生成一个针对复杂决策中自然语言推理问题的数据集 BioNLI，进行负样本生成的实验，准确度中等，在不同的负样本分类上表现不同。

    Oct, 2022

  • 自然语言推理中假设偏见的对抗消除

    本文探讨如何通过对手博弈学习在自然语言推断任务中减弱假设偏见和虚假关联，结果表明通过对手博弈学习得到的表征可能更加公正且与任务精度下降不大。

    Jul, 2019

  • 生成自然对抗样本

    本文提出了一种使用生成敌对网络在语义空间中搜索自然和易读的对抗性样本的框架，以验证黑盒子分类器的鲁棒性，并证明该方法可在图像分类，文本蕴含和机器翻译等广泛应用中有效。

    Oct, 2017

  • 对抗性自然语言推理：自然语言理解新基准

    介绍了一个通过迭代对抗人与模型的程序收集的大规模 NLI 基准数据集，并展示了训练模型在这个新数据集上将导致在各种流行的 NLI 基准测试中的最新性能，同时还带来了更困难的挑战。数据收集方法可以在永不停止的学习场景中应用，成为 NLU 的移动目标，而不是一个很快就会饱和的静态基准测试集。

    Oct, 2019

  • 生成自然语言对抗样本

    通过黑盒基于人口的优化算法生成有迷惑性的语义和语法类似的对抗样本，不仅能提高情感分析和文本蕴涵模型的错误率，还能在 20 名人类注释者中得到 92.3% 的标签正确分类。进一步讨论了对抗训练作为一种防御的尝试，但未能产生改进，说明了这种对抗样本的强大和多样性。我们希望此研究能够鼓励研究人员追求提高自然语言域下深度神经网络的鲁棒性。

    Apr, 2018

  • 知识增强注意力用于稳健的自然语言推理

    本文提出一种利用简单变换将外部知识纳入注意机制来使 NLI 模型更加稳健的方法，将其应用于 Transformer 编码器和可分解模型中，结果表明该方法可以显著提高它们的稳健性。并且，在与 BERT 预训练相结合时，在对抗 SNLI 数据集上实现了人类水平的性能。

    Aug, 2019

  • 网络入侵检测系统中的对抗性机器学习

    本文探讨了在网络入侵检测系统中对抗性问题的本质，从攻击者角度出发，研究利用进化计算和深度学习生成对抗样本的方法，并应用于公共数据集，与基线方法做对比，结果表明，这些生成对抗样本会导致 11 个不同的机器学习模型及投票分类器高误分类率，突出了机器学习检测系统在面临对抗性样本时的脆弱性。

    Apr, 2020

  • 生成具有有效性和自然性的大型语言模型对抗样本

    基于大型语言模型 (LLMs) 的语言理解和生成能力，我们提出了 LLM-Attack，旨在使用 LLMs 生成既有效又自然的对抗性示例。实验结果表明 LLM-Attack 比基线模型在人类和 GPT-4 评估中表现优异，能够生成通常有效、自然，并保留语义意义、语法正确性和人类不可察觉性的对抗性示例。

    Nov, 2023

  • 一种基于几何形态的攻击方法，用于生成自然语言对抗样本

    本文介绍了一种用于生成自然语言对抗性样本的几何灵感攻击方法，该攻击通过迭代逼近深度神经网络（DNNs）的决策边界生成对抗性样本，并实验证明该攻击方法可以快速欺骗自然语言模型，并表明对抗训练可以提高模型对我们的攻击方法的鲁棒性。

    Oct, 2020

  • 通过集成对抗训练避免自然语言推理中仅有假设的偏差

    采用对抗性训练和敌对对抗方法的集成来降低自然语言推理中的偏见，这种方法比先前的去偏见努力表现更好，并且在推广到 12 个其他数据集时表现良好。

    Apr, 2020