Mar, 2024

信息提取是否存在一种适用于所有模型的方法？重新审视任务定义偏见

PDF
TL;DR信息提取中的定义偏见是一种负面现象，可能会误导模型。为了系统地调查和解决信息提取中的定义偏见，我们提出了一个多阶段框架，包括定义偏见测量、偏见感知微调和任务特定的偏见缓解。实验证明了我们框架在解决定义偏见方面的有效性。
发现论文，激发创造
  • 控制偏见暴露以实现公平和可解释的预测

    本文提出了一种公平去偏算法，通过调整预测模型的信念，尽可能使用敏感信息来进行预测，并在必要性最小化的同时承受一定的惩罚，以达到去偏和任务性能之间的理想平衡，并生成经过去偏的证明。

    Oct, 2022

  • 性别去偏见对内部模型表示的影响及其重要性

    本文研究证明了在下游任务中模型性能和模型内部表示中的内在偏差之间的关系，并通过外部微调去除偏差，同时测量内在偏差，以评估其消除效果。通过两个任务和多种偏差度量的实验证明了内在偏差指标是评估去偏差效果的更佳指标，可以暴露浅表去偏差的情况，提供了一种更全面的 NLP 模型偏差研究框架和相关常用工具和资源。

    Apr, 2022

  • 利用信息控制偏差：数据探索过拟合的程度如何？

    提出了一种基于信息使用的方法来量化和限制任意探索性分析的偏差和其他误差指标，在此基础上分析和评估了过滤、排名选择和聚类等特定探索性分析方式的偏差。同时，该方法引出了随机化技术，可以证明减少了探索偏差同时保留了数据分析效用，从而帮助解决科学中的可重复性危机。

    Nov, 2015

  • 语言引导的未知数据集偏差检测与减轻

    在这项研究中，我们提出了一种在没有先验知识的情况下通过关键词的部分出现来识别潜在偏见的框架，并进一步提出了两种去偏方法：(a) 通过指定伪标签将其传递给现有的需要先验知识的去偏方法，以及 (b) 通过文本到图像生成模型进行数据增强，使用获得的偏见关键词作为提示。实验结果表明，尽管简单，我们的框架不仅能在没有先验知识的情况下胜过现有方法，而且甚至可以与假设有先验知识的方法媲美。

    Jun, 2024

  • 通过同时建模多个偏差来提高问答的泛化性能

    研究了消除数据集偏见的方法，并提出了一个能更好地在域内和域外数据集上提高性能的通用框架，可用于问答任务，并与现有的消除数据集偏见的方法进行了比较。

    Oct, 2020

  • 通过自然语言理解中的偏见专家来改进偏见缓解

    通过引入偏见专家（bias experts），我们提出了一个新的去偏框架，改善了辅助模型的偏见识别能力，并且在各种挑战性数据集上始终优于现有技术水平。

    Dec, 2023

  • 通过建模语料库中的偏见进行端到端偏见缓解

    本文提出了两种学习策略来训练神经模型，更加稳健，并且更能够迁移到域外的数据集。这些策略利用了数据集的偏差，通过 down-weighting 有偏差的例子，使基础模型减少对偏差的依赖。实验表明，我们的去偏差方法在所有设置中都显著提高了模型的稳健性，并且更好地迁移到其他文本蕴涵数据集上。

    Sep, 2019

  • 自然语言理解中的去偏方法使得偏见更容易被接受

    通过提出一种基于探究的框架，研究了自然语言理解中的偏见修正方法。结果表明，推迟偏见的方法会导致更多的偏见被编码到模型的内部表示中。

    Sep, 2021

  • 信息偏见检测中的背景

    通过探究四种不同的上下文对英语新闻文章中的信息偏误进行分类，我们发现将事件上下文整合在一起可以提高分类的性能并且可以更好地减少错误率。

    Dec, 2020

  • 关注偏差：针对上下文语言模型的偏差检测方法的关键回顾

    本文为了解决公开领域语言模型中偏见检测的问题，就语境化语言模型偏见检测方法和静态单词嵌入偏见检测方法进行了严谨的分析和比较，发现了实现上的一些决策或错误对检测结果可能产生显著的影响，并提出了未来偏见检测方法更好、更健壮、更一致的方向。

    Nov, 2022