ACLMay, 2023

CREST: 理性化与因果文本生成的联合框架

PDF
TL;DR本文介绍了一种名为 CREST 的联合框架，结合了选择性合理化和反事实文本生成的互补优势，实现了在对 NLP 模型进行分析和训练时的提取有意义的特征和提高模型稳健性的目的。
selective rationalizationcounterfactual text generationnlp modelsinterpretabilitymodel robustness
发现论文，激发创造
  • 解释、编辑、生成：为多跳事实验证的理由敏感的反事实数据增强

    论文提出了一种理性敏感的方法来生成语言多样且标签翻转的反事实数据，同时保持逻辑关系，并通过检查和过滤模块对反事实数据进行规范化，实验结果表明该方法优于基准模型，并且能够生成语言多样的反事实数据而不破坏其逻辑关系。

    Oct, 2023

  • 借助因果推理增强语言理解

    本研究提出了反事实推理模型，在学习少量反事实样本的基础上，通过生成对于每个正面事实样本的代表性反事实样本，并使用回顾模块根据对比反事实和正事实样本来检查模型预测，从而模拟对于困难测试样本的人类反事实思维。该方法在情感分析和自然语言推理方面的广泛实验验证了其有效性。

    Jun, 2021

  • 朝向可持续学习：用于数据高效深度学习的核心集

    提出了 CREST 框架，基于 coresets 实现了基于非凸优化问题的深度学习模型的高效和可扩展训练，可以通过快速选择最有价值的训练数据子集来提高学习速度，同时保持高精度。

    Jun, 2023

  • 探究自动生成的反事实数据在情感分析中的有效性

    提出了一种自动产生对立数据的方法，基于此数据增广训练集可以有效提高 NLP 模型的性能。

    Jun, 2021

  • CoNT: 对比神经文本生成

    本文提出了一种新的对比学习框架 CoNT，它从对比示例、对比损失和解码策略三个方面解决了对比学习在生成任务中使用的瓶颈问题，实验结果表明 CoNT 在机器翻译、数据摘要、代码注释生成等十个基准测试中都表现出优异的表现，特别是在摘要生成任务上达到了新的最好结果。

    May, 2022

  • 检索引导的问答反事实生成

    本研究旨在探索如何创建关于领域知识、语义多样性和可回答性等方面的反事实数据来改善深度学习模型的鲁棒性，其中使用的技术包括数据增强，以及 “Retrieve-Generate-Filter” 模型。实验表明，使用该技术能够有效提高模型对于本地扰动的鲁棒性和在阅读理解和开放领域问答中的性能。

    Oct, 2021

  • 通过逐个解释得出 (反事实的) 差异

    通过使用无监督生成模型进行反事实数据增强，降低 MMI 方法在挑选文本方面的性能，从而更好地捕捉感兴趣的信号，并提高基于解释性自然语言处理（NLP）的合理性模型的性能。

    Jan, 2022

  • 神经逆向生成：更为丰富的数据增强方法

    本文提出了 NeuroCounterfactuals 方法，通过松散的对比事实产生更大规模的编辑，从而使得生成的文本包含语言多样性，同时与原始文档相似，使得训练数据增强在情感分类方面取得了良好的效果。

    Oct, 2022

  • 柔性文本生成用于反事实公平探究

    本文介绍了一种使用大型语言模型生成对抗样本的方法，该方法克服了现有方法的局限性，能够产生复杂的对抗样本，并在 Civil Comments 数据集上比较了各种方法的性能和价值，并展示了其在评估毒性分类器方面的价值。

    Jun, 2022

  • COSTAR：改进的自监督学习时间反事实估计

    本文介绍了 COunterfactual Self-supervised TrAnsformeR（COSTAR），这是一种集成自我监督学习以改进历史表示的新方法。该方法将时间和特征注意力与针对时间处理结果观察的分量对比损失相结合，相较于现有模型在估计准确性和推广到分布外数据方面表现出卓越性能，经过合成和真实世界数据的实证结果验证。

    Nov, 2023