May, 2023

关于自然语言处理中的偏见和公平性：如何实现更公正的文本分类？

PDF
TL;DR本文系统分析了 NLP 模型中的上游偏差、样本偏差和过度放大偏差导致的不公平性，探讨了使用不同去偏技术消除这些偏差对文本分类任务公正性的影响，并发现过度放大偏差是对文本分类公正性影响最大的偏差。而通过在收集不同身份群体平衡的数据集上进行 LM 模型微调来消除过度放大偏差会导致更公正的文本分类模型，最终提出了创建公正的文本分类模型的实用指南。
发现论文，激发创造
  • 自然语言处理中偏差和公平性调查

    本次调查分析了 NLP 模型的社会影响，探讨了 NLP 算法中存在性别、种族和文化偏见的根源，定义了公平性，并说明了 NLP 各个子领域如何减少系统存在的偏见，最终讨论了未来研究如何消除 NLP 算法中的有害偏见。

    Mar, 2022

  • 足够公平：在自然语言处理领域规范评估和选择公平性研究的模型

    本研究就 NLP 系统展示的偏见和模型去偏见技术的限制做了梳理和评价，提出了实现公平学习的建议，具体包括明确不同方法之间的关系和与公平性理论的关系，以及处理模型选择问题的声明性工具，以帮助未来的工作。

    Feb, 2023

  • 公正感知的类别不平衡学习

    探索使用长尾学习方法对推特情感和职业分类中的类别不平衡和偏见进行干预，并扩展了基于边际损失的方法以实现公平性。经过受控实验，实证表明所提出的方法有助于缓解类别不平衡和人口统计学偏见。

    Sep, 2021

  • 大型语言模型中的偏见和公平性研究综述

    大型语言模型中的社会偏见评估和缓解技术的综述，介绍了社会偏见与公平的概念、评估指标和数据集，以及介绍了干预方法的分类和研究趋势，帮助研究人员和实践者更好地理解和防止偏见在大型语言模型中的传播。

    Sep, 2023

  • InterFair: 具有自然语言反馈的去偏见公平可解释预测

    该研究论文提出，自然语言处理模型中的去偏置方法应当使用敏感信息来实现公平去偏置，而不是盲目地消除它，为了实现公平平衡，研究人员建议采用能够与用户互动并提供反馈的交互式方法，从而在任务表现和偏置缓解之间实现更好和公正的平衡，并支持详尽的解释。

    Oct, 2022

  • 预训练语言模型在有毒文本分类中的公平性可能存在差异

    本研究分析了不同大小的预训练语言模型在两个有毒文本分类任务上的公平性，发现仅关注准确性度量可能会导致具有广泛公平特性变化的模型。我们发现，尽管文献中有所声称，但公平变化很少与模型大小有关。为了提高模型的公平性，该研究表明可以成功地将适用于结构化表格数据的两种后处理方法应用于各种预训练语言模型中。

    Aug, 2021

  • 公平自然语言处理的扰动增强

    本研究探讨了在人口统计方面出现的偏差对自然语言处理中的模型和数据集的影响，通过对大量的人工标注文本扰动数据的训练，得出采用人口统计扰动数据进行预训练和调优可以使语言模型更加公平，并且能在不牺牲下游任务性能的前提下减少模型的偏差。

    May, 2022

  • 大型语言模型公平性调研

    大语言模型带来了强大的性能和发展前景，并广泛应用于现实世界。然而，这些模型可能从未经处理的训练数据中捕捉到社会偏见，并将其传播到下游任务。本文全面回顾了关于大语言模型中的公平性的相关研究，介绍了中等规模的模型和大规模的模型分别从内在偏见和外在偏见的角度引入了评估指标和去偏方法，并讨论了公平性发展中的挑战和未来方向。

    Aug, 2023

  • 模型和评估：朝着多语言文本分类公平性的方向

    本文提出了一种针对多语言文本分类的去偏置框架，包括多语文本表示模块、语言融合模块、文本去偏置模块和文本分类模块，并拥有对多维度公平性评估方法。该方法无需依赖语言资源，可以拓展到其他语言。

    Mar, 2023

  • 大型语言模型中的公平性偏差和去偏差之旅

    这篇研究使用变换器语言模型研究了其训练数据所带来的偏见问题，并提出了一种去偏方法，得到的去偏模型在下游任务上保持了良好的表现。

    May, 2023