Mar, 2024

利用原型表示消除社会偏见而不包含人口统计信息

PDF
TL;DRDAFair 是一种用于减轻语言模型中社会偏见的新方法，通过预定义的典型人口统计文本，并在微调过程中加入正则化项来纠正模型的表示中的偏见，从而在两个任务和两个模型上实证结果显示了我们方法的有效性。此外，即使在有限的人口统计注释数据下，我们的方法也优于常见的去偏方法。
发现论文，激发创造
  • 在没有民族信息的情况下进行 NLP 模型去偏见化

    本研究提出了一种去偏见的方法，利用辅助模型检测出具有偏见的数据样本并在训练过程中进行下权重处理，从而实现在没有昂贵的人口统计学注释过程的情况下缓解社会偏见。

    Dec, 2022

  • 探索并缓解语言模型中的社会偏见

    为了提高语言模型的公正性，本文提出了多项定义并给出了新的测试和度量方式，旨在减少机器学习在文本生成过程中对性别、种族、语言宗教等社会构建的刻板印象所带来的负面影响。实证结果和人工评估表明，该方法能够在文本生成中减少偏见同时保留重要的上下文信息。

    Jun, 2021

  • 社会偏见探测：语言模型的公平性基准测试

    本研究提出了一种新的框架，用于探索语言模型中的社会偏见，通过采集探索数据集和利用一种新的公平性评分方法，发现语言模型中的偏见更加复杂，并揭示不同宗教身份导致各种模型中最明显的不平等处理。

    Nov, 2023

  • 有限人口分类标记数据下的公平机器学习

    本研究提出了一种新型的公平训练算法，该算法在尽可能保护个人隐私的情况下，避免了在机器学习模型中存在不良社会偏见的问题。实验结果显示，该算法可以有效降低社会偏见问题。

    Jun, 2021

  • 公平自然语言处理的扰动增强

    本研究探讨了在人口统计方面出现的偏差对自然语言处理中的模型和数据集的影响，通过对大量的人工标注文本扰动数据的训练，得出采用人口统计扰动数据进行预训练和调优可以使语言模型更加公平，并且能在不牺牲下游任务性能的前提下减少模型的偏差。

    May, 2022

  • 少即是多：面部表情识别中的表征性与刻板性性别偏见

    利用面部表情识别 (FER) 作为领域，通过分析性别人口的代表性和刻板性两种偏见，研究了数据集中的人口偏见对机器学习模型的传播情况。结果显示，代表性偏见对模型的影响较弱，而刻板性偏见具有显著的影响，主要集中在有偏见的类别上，尽管它也会影响无偏见类别的预测。这些结果强调了需要区分不同类型偏见的偏见分析，这对于有效的偏见缓解策略的开发至关重要。

    Jun, 2024

  • 使用多任务学习进行公平普适化，无需使用人口统计信息

    本研究提出了基于多任务框架的公平性训练方法，通过对相关任务中的人口统计数据进行利用，减少目标任务中的偏差，即使在没有内部统计数据的情况下也可以提高公平性。

    May, 2023

  • 公平蒸馏：缓解语言模型的刻板印象

    本研究提出了 FairDistillation 方法，使用知识蒸馏构建较小的跨语言语言模型，控制特定偏见，成功缓解刻板印象和代表性危害。FairDistillation 方法可以以较低的成本创建更公平的语言模型。

    Jul, 2022

  • 有条件的公平表达学习

    本篇研究旨在提出一种新算法，用于学习公平的表征，以在分类环境下同时缓解不同人口统计特征子组之间的两种不平等概念。通过平衡误差率和条件对齐的表征等两个关键组件，它对确保跨组别的准确平等性和平衡假阳性和假阴性率发挥了作用。此外，我们还通过理论和两个实际实验证明，与现有的学习公平表征的算法相比，在平衡数据集上提出的算法可以在保持效用公平性的前提下得到更好的公平性。

    Oct, 2019

  • 平衡偏差：通过平衡训练实现公平

    该研究旨在解决自然语言处理中与作者人口统计信息相关的系统偏差问题，提出了一种基于数据集平衡和带保护属性的门控模型来实现公正性，证明了该方法在减少偏差方面优于其他技术。

    Sep, 2021