本研究发展了 ELEVATER,作为第一个用于评估(预训练)语言增强视觉模型的基准和工具包,包括数据集、工具包和度量标准。ELEVATER是计算机视觉中的一个平台,并已公开发布。
Apr, 2022
本文为了解决公开领域语言模型中偏见检测的问题,就语境化语言模型偏见检测方法和静态单词嵌入偏见检测方法进行了严谨的分析和比较,发现了实现上的一些决策或错误对检测结果可能产生显著的影响,并提出了未来偏见检测方法更好、更健壮、更一致的方向。
Nov, 2022
本文全面评估了常用的预训练语言模型(如BERT、GPT-2等)在种族、性别、种族、年龄等方面所表现出的各种偏见,并介绍了一种工具包,提供了插入数学工具程序以识别偏见的接口,并让用户使用这些度量来测试现有的和自定义的模型。此工具还具有消除偏见的功能。
Feb, 2023
本论文通过系统的调研,研究发现了预训练模型存在性别偏见的问题,探讨了预训练模型在图像字幕生成任务中的公平性影响,并提出了一种针对这种问题的解决方案:结合n-gram匹配和预训练模型评估度量,以减少性别偏见的影响。
May, 2023
本研究介绍了VisoGender,这是一个用于基准测试视觉语言模型的性别偏见的新数据集。我们专注于与职业相关的性别偏见,并强调每个图像都与包含场景中主体和对象的代词关系的标题相关联。
Jun, 2023
通过对注意力头的偏见分析框架,发现预训练语言模型中存在有偏头部,这有助于对模型公正性进行评估和指导有效减轻策略的开发。对BERT模型和GPT模型的性别和种族偏见进行了广泛的实验研究,进一步理解了预训练语言模型中的偏见行为。
Nov, 2023
FairPair是一个评估框架,用于评估在普通使用中发生的差异对待;通过对具有相同人口群体背景的对照组进行分析,考虑了生成过程本身的变异性,表明更倾向于将家庭和爱好与女性相关联。
Apr, 2024
通过引入VLBiasBench数据集和进行广泛的评估,我们对大型视觉语言模型中的偏见进行了全面研究,并揭示了一些新的见解。
Jun, 2024
通过整合视觉解释力量,本研究提出了一个名为Visually Grounded Bias Discovery and Mitigation (ViG-Bias)的简单而高效的技术,并通过全面评估证明其对现有的DOMINO、FACTS和Bias-to-Text等技术的性能提升,在包括CelebA、Waterbirds和NICO++在内的多个具有挑战性的数据集上都取得了成功。
Jul, 2024
本研究解决了在语言模型和词嵌入中识别社会偏差的具体问题,特别关注欧洲语言的语言和地理特性。论文提出了一种新颖的偏差检测框架,旨在不断更新和扩展其方法,以应对人工智能在劳动市场中的多样性偏见。研究的主要发现是,该框架能有效识别和缓解相关偏差,从而促进更公平的人工智能应用。