ACLMay, 2023

残差注意力去偏差的强健自然语言理解

PDF
TL;DR通过提出 REsidual Attention Debiasing 方法，本研究旨在解决自然语言理解模型中存在的数据集偏见问题，并通过实验表明该方法可以显著提高 BERT 模型在三个 NLU 任务上的表现。
natural language understandingensemble-based debiasing methodsattention patternsresidual attention debiasingnlu tasks
发现论文，激发创造
  • 端到端自校准框架用于稳健的 NLU 训练

    通过引入一种简单而有效的去偏置框架，利用主模型的浅层表示来推导一个偏置模型，并同时训练两个模型，我们在三个广泛研究的自然语言理解任务中演示了该方法的有效性，尽管其简单性，但其在越界测试集上表现不俗，明显优于其他去偏执方法，并且仍然能够提供高性能的内分布结果。

    Sep, 2021

  • DeAR: 使用附加残差进行去偏见视觉语言模型

    本文提出了一种新的去偏方法 DeAR，通过学习加性残差图像表示来抵消原始表示，确保公正输出表示，并引入了 PATA 数据集来更好地评估这种方法的公平性与保持零样本性能的有效性。

    Mar, 2023

  • 自然语言理解中的去偏方法使得偏见更容易被接受

    通过提出一种基于探究的框架，研究了自然语言理解中的偏见修正方法。结果表明，推迟偏见的方法会导致更多的偏见被编码到模型的内部表示中。

    Sep, 2021

  • 知识增强注意力用于稳健的自然语言推理

    本文提出一种利用简单变换将外部知识纳入注意机制来使 NLI 模型更加稳健的方法，将其应用于 Transformer 编码器和可分解模型中，结果表明该方法可以显著提高它们的稳健性。并且，在与 BERT 预训练相结合时，在对抗 SNLI 数据集上实现了人类水平的性能。

    Aug, 2019

  • 稳健自然语言推理中的模型无关去偏策略的实证研究

    本文探索了多种方法使自然语言推理模型具有鲁棒性，包括模型去偏，数据增强等，并提供了性能较好的模型集成方法。

    Oct, 2020

  • 通过建模语料库中的偏见进行端到端偏见缓解

    本文提出了两种学习策略来训练神经模型，更加稳健，并且更能够迁移到域外的数据集。这些策略利用了数据集的偏差，通过 down-weighting 有偏差的例子，使基础模型减少对偏差的依赖。实验表明，我们的去偏差方法在所有设置中都显著提高了模型的稳健性，并且更好地迁移到其他文本蕴涵数据集上。

    Sep, 2019

  • Transformer 模型的简单有效的自我去偏见框架

    本文提出了一种基于 Current Transformer 的 NLU 的自校正框架，该框架可以减少来自数据集偏见的干扰，从而提高对 Out of Distribution 数据的处理能力。

    Jun, 2023

  • 调节注意力以实现公平：我们应该更多还是更少地参加？

    本文研究了自然语言处理中的社会偏见问题，提出了一种基于注意力机制调节权重的方法，增加模型的公平性，并提高不同规模语言模型下的分类和生成任务的表现。

    May, 2023

  • 基于熵的注意力规则使意外偏见缓解摆脱列表的限制

    本文提出一种基于信息熵的无知识先验的注意力正则化（EAR）方法来抑制自然语言处理模型在训练数据集中对某些特定词汇的过度拟合，通过将该方法应用于 BERT 模型进行微调，实现了在英语和意大利语的三个基准数据集上的恶意言论分类和公平指标上的最优表现。此外，EAR 还能够识别出最可能引起偏见的用语，从而有助于识别它们对模型、任务和预测的影响。

    Mar, 2022

  • 使用人类解释监督模型关注力以强化自然语言推理

    探究利用自然语言解释来监督模型的注意力权重，促使其更集中于解释中的关键词，从而提高模型性能，此方法的实验表明，这种改进可以适用于其它 NLI 数据集

    Apr, 2021