ACLApr, 2021

基于情节导向的对抗样本构建，用于评估开放域故事生成

PDF
TL;DR本文讨论了如何通过使用结构化的故事情节生成更全面的不合理故事来解决自动生成故事的可靠自动评估指标的不足，并应用对抗过滤程序来优化生成的故事。通过使用这种方法，我们可以更精确地评估人工生成与自动生成的故事之间的不同之处。
open-domain story generationautomatic evaluation metricslearnable evaluation metricsimplausible storiesadversarial filtering
发现论文，激发创造
  • 生成自然对抗样本

    本文提出了一种使用生成敌对网络在语义空间中搜索自然和易读的对抗性样本的框架，以验证黑盒子分类器的鲁棒性，并证明该方法可在图像分类，文本蕴含和机器翻译等广泛应用中有效。

    Oct, 2017

  • 度量指导的对抗式句子生成

    本文提出了一个 rewrite and rollback（R&R）框架，该框架通过优化批判分数来改进对抗样例的质量，结合流畅度、相似性和错分类度量，提高了对抗样例的质量，并在 5 个代表性数据集和 3 种分类器架构上进行了评估，攻击成功率分别增加了 + 16.2％，+12.8％和 + 14.0％。

    Apr, 2021

  • 生成对抗性负面回复以提升响应排名与评估的鲁棒性

    发展神经对话模型需要超越 “内容相似性”，本文提出用对抗性负面样本提高模型的实用性。实验表明，我们的方法在多个数据集上均表现优异。

    Jun, 2021

  • 现实有多真实？一种无限制对抗样本的人类评估框架

    通过对图像领域的方法进行调查，我们注意到对所提议的图像修改进行人类评估的需求。基于现有的图像生成质量人类评估框架，我们提出了 SCOOTER - 一种用于无限制图像攻击的评估框架。它为研究人员提供了进行具有统计意义的人类实验的指南，标准化问题以及可直接使用的实现。我们提出了一种框架，允许研究人员分析他们的无限制攻击是否真正不可察觉。

    Apr, 2024

  • 神经对话生成的对抗学习

    本文提出了一种基于对抗训练的方法用于生成开放领域对话，该系统的对话和人类对话几乎无法区分。作者将问题转化为一个强化学习问题，同时训练一个生成模型和一个鉴别器，用于评估生成的对话是否和人类对话相似，并将鉴别器的输出作为奖励信号，并进一步提出了一种评估模型 - 对抗性评估模型，该模型可避免一系列潜在的问题。实验结果表明，基于对抗训练的系统生成的响应比先前的基线模型更具参考价值。

    Jan, 2017

  • 使用对比预训练和对抗过滤的强健任务导向对话生成

    本研究探讨了数据人工制品对机器学习模型泛化能力所产生的影响，提出一种基于对比学习的框架，试图鼓励深度学习模型学习普适规律并忽略数据人工制品。研究表明该方法具有很好的实验效果。

    May, 2022

  • 人类和机器生成的文本分类词级对抗样本对比

    本研究探讨了在维持语义和语法约束的前提下进行对抗样本攻击的可行性，通过 crowdsourcing 实验发现人类可以通过语义保持的词汇替换生成大量的对抗样本，这些人类生成的对抗样本虽然比最好的算法更加高效，但在自然性、情感及语法方面的表现并不高于最佳算法。

    Sep, 2021

  • 基于生成对抗模仿学习的多模态叙事

    本文提出了一种基于多模态模仿学习生成对抗网络（MIL-GAN）的方法，直接将用户的兴趣建模为各种数据所反映的用户展示故事情节，以此解决了故事情节度量的核心挑战，该方法能够获取用户的隐含意图，并通过用户研究大幅优于现有方法。

    Dec, 2017

  • 生成自然语言对抗样本

    通过黑盒基于人口的优化算法生成有迷惑性的语义和语法类似的对抗样本，不仅能提高情感分析和文本蕴涵模型的错误率，还能在 20 名人类注释者中得到 92.3% 的标签正确分类。进一步讨论了对抗训练作为一种防御的尝试，但未能产生改进，说明了这种对抗样本的强大和多样性。我们希望此研究能够鼓励研究人员追求提高自然语言域下深度神经网络的鲁棒性。

    Apr, 2018

  • 神经故事生成中预测可解释情节的学习

    本文提出了一种基于潜在变量模型的神经故事生成方法，采用外部摘要模型指导该方法从训练数据中学习生成具有可解释高级情节的概述，并在自动和人类评估中取得了显著的改进。

    Dec, 2019