本论文探讨了机器学习实践中存在的技术偏见和新出现的偏见,并提出了价值敏感设计方法来重新审视自动决策系统的设计和实施过程。
Jul, 2018
机器学习系统对不良偏差具有复制和强化的能力,本研究通过创建资源 Doc-BiasO 本体论来填补了正式描述这些偏差管道的缺口。
Jun, 2024
为了提高语言模型的公正性,本文提出了多项定义并给出了新的测试和度量方式,旨在减少机器学习在文本生成过程中对性别、种族、语言宗教等社会构建的刻板印象所带来的负面影响。实证结果和人工评估表明,该方法能够在文本生成中减少偏见同时保留重要的上下文信息。
Jun, 2021
该论文针对机器学习中的偏见问题,提出了 “权力感知视角” 的研究并分析数据质量、数据工作和数据文献等领域的因素,以反映数据设计和生产的社会背景。
Sep, 2021
本研究提出了一个新的自然语言生成平台,用于将带有主观倾向的文本转化为客观中立的文本,还提出了一个包含 180000 个句子对的重要语料库,并介绍了两种针对该任务的强大编解码器基线,同时进行了大规模人类评估,结果表明这些算法是自动识别和减少偏见的第一步。
Nov, 2019
本文针对自然语言处理技术中社会态度的反映及其中的社会偏见问题展开研究,以两个不同实验为案例,说明训练数据本身的社会偏见对模型的影响。同时,讨论了关于残疾人的话题以及在相关文本中存在的不利偏见,并展示了大量相关证据。
May, 2020
本研究尝试减轻语言视觉模型中的性别偏见问题,通过研究现有数据集中性别偏见的影响程度,并提出一种缓解方法。
May, 2023
本研究以隐马尔可夫模型为例,调查了模型选择过程中涉及的主观性,发现参与者和大型语言模型在不同的应用场景下存在选择的差异和不一致性,结果突出了在模型选择过程中制定标准化方式以记录主观选择的重要性。
Sep, 2023
本文阐述 “数据透视主义” 的概念,提出通过采取人类主体在机器学习过程中所涉及到的知识表达方法,来代替传统的黄金标准数据集。文章探讨了如何在实践中采用透视主义态度来解决主观和客观机器学习任务的问题,并提出相关建议和研究议程。
近年来,机器学习模型,特别是基于 Transformer 的预训练模型,对自然语言处理和计算机视觉领域产生了革命性的进展。然而,研究人员发现这些模型可能无意中捕捉和强化其训练数据集中存在的社会偏见,导致资源分配不平等和特定社会群体的不公平代表。解决这些偏见并确保人工智能系统的公平性已成为机器学习界关注的焦点。最近介绍的预训练视觉语言模型在新兴的多模态领域引起了人们对其中的社会偏见的关注。尽管视觉语言模型易受社会偏差影响,但对比自然语言处理和计算机视觉领域中广泛讨论的偏见而言,对此了解有限。本调查旨在向研究人员提供关于 NLP、CV 和 VL 领域中预训练模型社会偏见研究的高层次见解。通过检查这些观点,本调查旨在为单模态和多模态环境下如何应对和减轻社会偏见提供有价值的指导。本文所提供的结果和建议可使机器学习界受益,并促进在各种应用和研究努力中开发更加公平和无偏的人工智能模型。