ACLMay, 2018

AdvEntuRe: 带知识引导实例的文本蕴涵对抗训练

PDF
TL;DR本文提出了两种互补的方法来解决在受限监督（5K-10K 训练样本）的情况下学习文本蕴涵模型的问题：一是采用知识引导的对抗样本生成器来通过仅采用少量规则模板将大型词汇资源纳入蕴涵模型中；二是提出了首个采用自然语言例句生成器进行训练的 GAN-style 方法，以使蕴涵模型 - 判别器 - 更加稳健。在两个蕴涵数据集上进行的实证表明，所提出的方法在 SciTail 上将准确度提高了 4.7% ，在 SNLI 的 1% 训练子样本上将准确率提高了 2.8%。值得注意的是，即使是一个手写规则 “否定”，也将 SNLI 中否定样例的准确度提高了 6.1%。
发现论文，激发创造
  • KBGAN：知识图谱嵌入的对抗学习

    KBGAN 是一种对抗学习框架，利用知识图谱嵌入模型作为负样本生成器，辅助训练目标模型，从而大幅提高链接预测任务的性能。

    Nov, 2017

  • 文本分类器的对抗攻击的约束执行奖励

    通过强化学习算法训练的编码器 - 解码器重述模型生成多样化的对抗性示例，在两个文本分类数据集上实验证明该模型的成功率高于原始的重述模型，并且总体上比其他竞争性攻击更有效，同时讨论了关键设计选择如何影响生成的示例以及该方法的优势和弱点。

    May, 2024

  • 人类和机器生成的文本分类词级对抗样本对比

    本研究探讨了在维持语义和语法约束的前提下进行对抗样本攻击的可行性，通过 crowdsourcing 实验发现人类可以通过语义保持的词汇替换生成大量的对抗样本，这些人类生成的对抗样本虽然比最好的算法更加高效，但在自然性、情感及语法方面的表现并不高于最佳算法。

    Sep, 2021

  • 通过对抗性干扰教授语法

    介绍了几个基于 SNLI 或 FEVER 自然蕴涵示例的合成转换的数据集，用以教授语法和单词顺序等方面的知识；证明了多数流行的蕴涵模型没有意识到这些句法上的区别可改变含义，而强化训练后部分模型能够学习正确比较句法。

    Oct, 2018

  • 有限标注的通用自然语言处理：以少样本文本蕴含为起点

    本文探讨如何通过 Few-shot 学习和文本蕴含来实现通用的 NLP 任务解决方案，并且说明文本蕴含可以应用于多种 Downstream NLP 任务，用于解决数据稀缺的情况。

    Oct, 2020

  • EnsembleGAN: 短文本对话检索生成集成模型的敌对学习

    在开放领域对话情景中，提出了一种敌对学习框架 ensembleGAN，用于增强检索 - 生成集合模型，该模型由生成器、排名生成器和排名鉴别器组成，通过学习生成更加相关的响应、高质量候选对抗响应、以及真实响应的识别与区分，实现了两种生成器的优点。实验结果表明了 ensembleGAN 在人工和自动评估度量上的优越性。

    Apr, 2020

  • 生成自然语言对抗样本

    通过黑盒基于人口的优化算法生成有迷惑性的语义和语法类似的对抗样本，不仅能提高情感分析和文本蕴涵模型的错误率，还能在 20 名人类注释者中得到 92.3% 的标签正确分类。进一步讨论了对抗训练作为一种防御的尝试，但未能产生改进，说明了这种对抗样本的强大和多样性。我们希望此研究能够鼓励研究人员追求提高自然语言域下深度神经网络的鲁棒性。

    Apr, 2018

  • 基于答案的对抗训练生成澄清问题

    本文介绍了一种生成澄清问题的方法，该方法通过建模假设答案作为潜在变量来引导生成更有用的澄清问题，并在两个数据集上评估了其性能。

    Apr, 2019

  • 从文本到多模态：对问答系统中对抗性示例生成的综合调查

    本文对于整合对抗机器学习与问答系统的领域进行了综述，包括传统和多模态背景下的对抗性示例生成技术。通过系统分类，回顾了采用的技术，从传统问答模型出发，探索了基于规则的扰动和高级生成模型，并扩展了对多模态问答系统的研究，分析了各种方法，并研究了生成模型、序列到序列架构和混合方法。研究还对对抗性数据集、评估指标和防御策略进行了讨论，并呈现了关于对抗性问答的广泛文献资料。最后，本文还考虑了对抗性问题生成的未来发展方向，突出了可以促进在对抗性挑战环境下的文本和多模态问答系统的潜在研究方向。

    Dec, 2023

  • 通过多模态蕴含修订图像 - 文本检索

    本论文提出了一种多模态蕴含分类器来确定图像的语句，以及开发了一种通用可调节学习速率策略来教授一个检索模型区分这些蕴含的语句和其他负样本。在实验中，我们手动注释了一个蕴含更正的图像文本检索数据集用于评估。结果表明，所提出的蕴含分类器达到了约 78% 的准确度，并持续提高了图像文本检索基线的性能。

    Aug, 2022