EMNLPOct, 2023

评估性别中性预训练视觉与语言模型的偏见和公平性

PDF
TL;DR在这项研究中，我们以性别偏见为案例研究，通过量化预训练和微调对三类视觉与语言模型中的偏见放大进行分析，研究了这两个学习阶段之间的联系，并评估了偏见放大对模型性能的影响。总体来说，我们发现预训练和微调中的偏见放大是相互独立的。接着，我们研究了对性别中性数据的持续预训练对 VQAv2 和检索任务的影响，发现这种方法可以减少群体间的差异并提升公平性，而不会显著影响任务性能。
pretrained machine learning modelsbiases in datagender biasbias amplificationfairness
发现论文，激发创造
  • AI 系统公平性：缓解语言视觉模型中的性别偏见

    本研究尝试减轻语言视觉模型中的性别偏见问题，通过研究现有数据集中性别偏见的影响程度，并提出一种缓解方法。

    May, 2023

  • 自动评估指标中的性别偏见：以图像字幕为例的案例研究

    本论文通过系统的调研，研究发现了预训练模型存在性别偏见的问题，探讨了预训练模型在图像字幕生成任务中的公平性影响，并提出了一种针对这种问题的解决方案：结合 n-gram 匹配和预训练模型评估度量，以减少性别偏见的影响。

    May, 2023

  • 视觉语言模型中的社会偏见调查

    近年来，机器学习模型，特别是基于 Transformer 的预训练模型，对自然语言处理和计算机视觉领域产生了革命性的进展。然而，研究人员发现这些模型可能无意中捕捉和强化其训练数据集中存在的社会偏见，导致资源分配不平等和特定社会群体的不公平代表。解决这些偏见并确保人工智能系统的公平性已成为机器学习界关注的焦点。最近介绍的预训练视觉语言模型在新兴的多模态领域引起了人们对其中的社会偏见的关注。尽管视觉语言模型易受社会偏差影响，但对比自然语言处理和计算机视觉领域中广泛讨论的偏见而言，对此了解有限。本调查旨在向研究人员提供关于 NLP、CV 和 VL 领域中预训练模型社会偏见研究的高层次见解。通过检查这些观点，本调查旨在为单模态和多模态环境下如何应对和减轻社会偏见提供有价值的指导。本文所提供的结果和建议可使机器学习界受益，并促进在各种应用和研究努力中开发更加公平和无偏的人工智能模型。

    Sep, 2023

  • 利用少量数据干预减轻性别偏见的语言模型性别改造

    本文提出了一种数据干预策略，通过在仅使用 10 个去偏见（干预）的训练样例上微调预训练模型，可显著降低优先考虑任何性别的趋势，从而减少预训练大型语言模型中的性别偏见，而且此方法的使用成本低，是一种高度可行且实用的少量训练样例去偏见方法。

    Jun, 2023

  • 消除信息检索模型中的性别偏见

    研究通过引入性别缓解技术、使用预训练模型以及适配器网络，成功地减轻了性别偏见问题，并提高了信息检索的敏感性。

    Aug, 2022

  • 性别调整：强化预训练语言模型去偏见的微调

    通过使用下游任务数据对预训练语言模型（PLMs）进行微调， Gender-tuning 方法能够消除 PLMs 中的性别偏见，同时提高 PLMs 在下游任务上的性能。

    Jul, 2023

  • 在微调预训练模型中消除偏见以提升公平性和效率

    通过引入一种有效且鲁棒的微调框架来解决在新任务上进行预训练模型微调可能导致不公平结果的问题，该框架中融合了权重重要性中和策略和矩阵因子分解技术，通过实验验证了其有效性。

    Mar, 2024

  • 掩码语言模型预训练阶段性别偏见出现意外波动

    掩蔽语言模型在预训练时会出现性别偏见。我们的研究表明，这些偏见不仅与模型架构和语料库有关，而且还与个别模板的基本层面存在严重波动，这一假设无效。此外，这些波动并不与预测的代词的确定性或预训练语料库中的职业频率相关。我们公开了代码和数据，以造福未来的研究。

    Nov, 2022

  • 去偏差化是否必然导致模型性能下降

    本文提出了一个理论框架，解释了语言模型性别偏差的三个候选机制，发现大部分现有的去偏见方法会导致性能下降，但提出了一种不会降低模型性能的方法，即因果检测微调方法。通过数值实验证明，该方法能够在部分缓解性别偏差的同时避免性能下降。

    Nov, 2022

  • 视觉和语言研究中实现更公平的神经模型的去偏置方法：一份调查报告

    在电脑视觉和自然语言处理领域中，神经网络虽然能够取得最新成果，但是其存在数据内的建模偏见，导致人工智能领域出现了公平性的研究方向，其目的为了纠正算法偏见，提出了几种基于公平性的神经网络去偏置的方法。

    Nov, 2022