EMNLPSep, 2019

不走捷径：基于集成的方法避免已知数据集偏差

PDF
TL;DR本文提出了一种训练出更具有领域迁移鲁棒性的模型的方法，通过训练一个简单模型以识别数据集偏差，再与鲁棒模型结合，使其更专注于数据集中更容易推广的模式。在五个具有领域迁移测试集的数据集上实验，结果显示在所有情况下都有显著改善，包括一个变化优先视觉问答数据集上的 12 点增益和一个对抗问答测试集上的 9 点增益。
domain shiftrobustnessdataset biasesensemblegeneralization
发现论文，激发创造
  • 探索集成方法提高文本分类器模型鲁棒性

    本文通过分析一系列偏置特征并证明没有单一的模型适用于所有情况来改善模型的鲁棒性，进一步表明通过选择合适的偏置模型，我们可以获得比更复杂的模型设计基准更好的鲁棒性结果。

    Oct, 2022

  • 使用混合容量模型集成学习模型和排除数据集置偏

    本文提出了一种检测和忽略数据集特异性模式的方法，采用高低容量模型的集成训练，以自动捕捉相对浅层的相关性，并确保两个模型学习不重叠的方法，以利于更好地泛化模式。

    Nov, 2020

  • 通过建模语料库中的偏见进行端到端偏见缓解

    本文提出了两种学习策略来训练神经模型，更加稳健，并且更能够迁移到域外的数据集。这些策略利用了数据集的偏差，通过 down-weighting 有偏差的例子，使基础模型减少对偏差的依赖。实验表明，我们的去偏差方法在所有设置中都显著提高了模型的稳健性，并且更好地迁移到其他文本蕴涵数据集上。

    Sep, 2019

  • 通过同时建模多个偏差来提高问答的泛化性能

    研究了消除数据集偏见的方法，并提出了一个能更好地在域内和域外数据集上提高性能的通用框架，可用于问答任务，并与现有的消除数据集偏见的方法进行了比较。

    Oct, 2020

  • 借鉴他人的经验：避免数据集偏见的模型无关方法

    通过限制处理数据的模型容量，利用其错误来训练更加健壮的模型，从而解决自然语言处理模型对数据集偏见的问题，并且在数据分布发生变化时具有良好的可移植性。

    Dec, 2020

  • 语言引导的未知数据集偏差检测与减轻

    在这项研究中，我们提出了一种在没有先验知识的情况下通过关键词的部分出现来识别潜在偏见的框架，并进一步提出了两种去偏方法：(a) 通过指定伪标签将其传递给现有的需要先验知识的去偏方法，以及 (b) 通过文本到图像生成模型进行数据增强，使用获得的偏见关键词作为提示。实验结果表明，尽管简单，我们的框架不仅能在没有先验知识的情况下胜过现有方法，而且甚至可以与假设有先验知识的方法媲美。

    Jun, 2024

  • 通过集成学习和正则化微调解决偏差问题

    通过多种方法解决 AI 模型中的偏见问题，使用较小的数据集和可能存在偏见的预训练模型，通过数据分割、局部训练和正则化微调训练多个模型，然后使用集成学习获得不带偏见的预测结果，最后通过知识蒸馏形成单一不带偏见的神经网络模型，实验证明了我们方法的有效性。

    Feb, 2024

  • 稳健自然语言推理中的模型无关去偏策略的实证研究

    本文探索了多种方法使自然语言推理模型具有鲁棒性，包括模型去偏，数据增强等，并提供了性能较好的模型集成方法。

    Oct, 2020

  • 通过集成对抗训练避免自然语言推理中仅有假设的偏差

    采用对抗性训练和敌对对抗方法的集成来降低自然语言推理中的偏见，这种方法比先前的去偏见努力表现更好，并且在推广到 12 个其他数据集时表现良好。

    Apr, 2020

  • QAGAN：学习领域不变的语言特征的对抗方法

    探索对抗训练方法以学习领域不变特征，从而使语言模型可以对域外数据集进行良好的推广。我们还审查了各种其他方法来提高我们的模型性能，包括通过改写句子实现数据增强、将回答跨度预测的结尾词映射到开始词上以及精心设计的退火函数。我们的初步结果表明，在结合这些方法的情况下，与基线相比，在域外验证数据集上我们能够实现 EM 分数 15.2% 的提高和 F1 分数 5.6% 的提高。

    Jun, 2022