Mar, 2019

用实际数据衡量文本分类的意外偏误的微妙度量

PDF
TL;DR该论文通过引入一套阈值不可知的度量标准，考虑分类器分数分布在指定群体中的变化，从而提供了深入了解机器学习中的未预期偏差的视角，该方法可帮助发现现有公共模型中的新的潜在微妙的偏差，并使用在线评论和众包注释展示该度量标准的运用。
发现论文，激发创造
  • 公平度量分数是否足以评估机器学习中的歧视偏见？

    论文研究了当前用于评估机器学习算法在文本数据上进行性别歧视的不足之处的度量方法，着重于 Bios 数据集上的职业预测任务，研究表明常用的性别偏差指数在训练集样本较小时具有不可靠性。

    Jun, 2023

  • 在没有基准实例的情况下，评估模型的偏差

    这篇研究提出了一种解决机器学习中偏见问题的数学方法，利用图像分类作为工作示例，通过将分类模型对给定图像的预测视为类似于单词袋的标签集合，排名模型对不同身份标签学习的偏见。作者使用（男人，女人）作为身份标签集的具体例子，并展示了最偏向一个身份或另一个身份的标签的排名。最后，作者利用 TensorBoard 提供了开源的 nPMI 可视化工具。

    Mar, 2021

  • 量化自然语言处理中的社会偏见：对外在公平度量的一般化及实证比较

    本文提出了三个广义公平度量标准，系统分析了不同的参数选择如何导致公平度量方法之间的差异，以更好地了解和处理 NLP/ML 模型中的不公平性。

    Jun, 2021

  • 消除 “偏见” 测量中的偏差

    通过数学和模拟，作者表明现有的用于测量群体间的模型性能差异的度量大多是基于统计偏差的估计量，因此提出了一种 “双校正” 方差估计器，提供了模型性能在群体间变化的无偏估计和不确定性量化，这种方法在现实数据集上的应用表明，在统计偏差的影响下，群组间的性能差异不再显著。

    May, 2022

  • 一个新的偏差度量的原则方法

    机器学习和数据驱动算法在决策制定领域的广泛应用已逐年增加，但相关负面影响也随之日益严重。负面数据偏差是其中之一，会对特定群体造成有害后果。为解决偏差带来的负面后果，必须首先认识到其存在，并找到一种能够理解和量化的方法。本文的主要贡献是：（1）提出了一个定义和高效量化数据集相对于保护群体偏差水平的通用算法框架；（2）定义了一种新的偏差度量方法。我们的实验结果在九个公开数据集上得到验证，并进行了理论分析，从而为该问题提供了新的见解。基于我们的方法，我们还推导出一种可能对政策制定者有用的偏差缓解算法。

    May, 2024

  • 大型语言模型中的偏见和公平性研究综述

    大型语言模型中的社会偏见评估和缓解技术的综述，介绍了社会偏见与公平的概念、评估指标和数据集，以及介绍了干预方法的分类和研究趋势，帮助研究人员和实践者更好地理解和防止偏见在大型语言模型中的传播。

    Sep, 2023

  • 未经筛选的图像 - 文本数据集：揭示人口特征偏见

    我们研究了在视觉和语言模型训练中使用大型未筛选数据集的不公平表现，以及如何应对这个问题，研究发现社会偏见在图像生成、图像描述和图像文本嵌入等视觉语言任务中都是一个持续而普遍的问题。

    Apr, 2023

  • 在综合描述符数据集中发现语言模型中的新偏见

    本文介绍了一种全新的包含 13 个不同人口统计学轴线近 600 个描述符的、基于 HolisticBias 的更加包容性的偏差测量数据集，结合一组偏差测量模板产生超过 45 万个独特的句子提示，用于探索、识别和减少几个生成模型中的新型偏差。

    May, 2022

  • 重新评估语言模型中的偏倚检测：隐含规范的作用

    大型语言模型的偏见在量化偏见时可能会导致模板式偏见探测的误导性影响。

    Apr, 2024

  • 社会偏见探测：语言模型的公平性基准测试

    本研究提出了一种新的框架，用于探索语言模型中的社会偏见，通过采集探索数据集和利用一种新的公平性评分方法，发现语言模型中的偏见更加复杂，并揭示不同宗教身份导致各种模型中最明显的不平等处理。

    Nov, 2023