EMNLPAug, 2018

SWAG：一个大规模的针对基于常识的推理的对抗性数据集

PDF
TL;DR本文提出了基于语言理解和常识推理任务的通用语境推断任务。为解决当前数据集进行注释所遇到的人为误差和注释偏见问题，使用对抗训练技术提出了 Adversarial Filtering 方法，并针对过度过滤的问题使用最先进的语言模型来大规模扩增不同的对抗情境。实验结果表明人可以高效地解决我们的任务，而其它竞争模型则表现不佳，未来仍存在大量的研究机会。
grounded commonsense inferenceswag datasetadversarial filteringcounterfactualsnatural language inference
发现论文，激发创造
  • HellaSwag：机器真的能完成你的句子吗？

    本研究通过引入新的挑战数据集 HellaSwag，利用对抗筛选（Adversarial Filtering）方法，证明即便最先进的自然语言处理模型也很难达到人类水平的常识推理，而这一洞见揭示了预训练模型的内在机理，并提出了一种新的自然语言处理研究方向。

    May, 2019

  • 带有随机权重平均的不确定性感知自然语言推理

    这篇论文介绍了在自然语言理解（NLU）任务中使用随机重量平均 - 高斯（SWAG）进行贝叶斯不确定性建模的方法，并将其应用于标准的自然语言推理（NLI）任务中，证明该方法以预测准确度和与人类注释不一致性相关性等方面的有效性。我们认为，SWAG 中的不确定性表示更好地反映了主观解释和人类语言理解中存在的自然变化。结果揭示了不确定性建模在 NLU 任务中的重要性，这是神经语言建模经常忽略的方面。

    Apr, 2023

  • 通过对抗训练和数据增强改进常识因果推理

    本论文提出了多种技术手段，包括对抗训练、语言模型和数据增强等，用于提高模型在因果推理领域的性能和鲁棒性，这些方法均能使模型在 COPA 数据集上有显著改进。

    Jan, 2021

  • SWAG: 行动指引式叙事

    通过引入带有行动指导的双大模型反馈环路，我们的研究提出了一种创新的故事叙述方法 SWAG，它将故事撰写简化为一个搜索问题，在 GPT-4 和人工评估中，我们的结果显示 SWAG 在超过 GPT-3.5-Turbo 的情况下显著优于以前的端到端故事生成技术。

    Feb, 2024

  • 为 TableQA 生成语义上有效的对抗性问题

    本文提出 SAGE（Semantically valid Adversarial GEnerator），一种用于 TableQA 白盒攻击的 Wasserstein 序列到序列模型，结合最小风险训练、SIMILE 和实体去词化，在保留原问题含义的情况下，利用 Gumbel-Softmax 来融合敌对损失进行端到端训练，证明了 SAGE 在语义合理性和流畅度上优于现有的本地攻击模型，同时取得了良好的攻击成功率，并且演示了使用 SAGE 增强数据的对抗训练可以提高 TableQA 系统的性能和鲁棒性。

    May, 2020

  • 通识推理的生成式数据增广

    该研究使用预先训练的语言模型和选择最有信息量和多样性的生成数据的方法，比基于后翻译的现有数据增强方法表现更好，并在低资源环境下获得了更准确和稳健的学习结果。

    Apr, 2020

  • WinoGrande：规模化的敌对 Winograd 模式挑战

    介绍了一种新的数据集 WinoGrande，有效性在处理机器通用感性问题方面被证明，但同时提出存在机器学习算法数据集的偏见问题，需要进行算法级别的 “偏见减少” 来基本获得良好的机器通用感性问题解决方案。

    Jul, 2019

  • 深度学习中贝叶斯不确定性的简单基准线

    SWA-Gaussian 是一种用于深度学习中的不确定性表示和校准的简单、可伸缩和通用方法，它利用随机加权平均（Stochastic Weight Averaging，SWA）和高斯分布来进行贝叶斯模型平均，具有较好的拟合效果和性能。

    Feb, 2019

  • 常识推理的简单方法

    本文提出一种使用无监督学习、基于语言模型的神经网络常识推理的简单方法，通过对大量未标记数据的训练，优化单选题的得分，获得了很好的测试成绩，没有使用昂贵的注释知识库或手工特征工程。

    Jun, 2018

  • Commonsense Reasoning 的对比自监督学习

    本文提出了一种自我监督方法来解决代词消岐和 Winograd Schema 挑战问题，利用 transformer networks，采用特征训练语料库的结构，并构建配对对比辅助预测，通过对比边缘的互斥损失进行规范化，实现常识推理，在常识推理任务中表现良好，并且开辟了利用廉价的自我监督以便在常识推理中获得性能提升的途径。

    May, 2020