面向视觉 - 语言数据集的报告偏见:通过解耦对象 - 属性关联进行双模态增强
在这项研究中,我们提出了一种在没有先验知识的情况下通过关键词的部分出现来识别潜在偏见的框架,并进一步提出了两种去偏方法:(a) 通过指定伪标签将其传递给现有的需要先验知识的去偏方法,以及 (b) 通过文本到图像生成模型进行数据增强,使用获得的偏见关键词作为提示。实验结果表明,尽管简单,我们的框架不仅能在没有先验知识的情况下胜过现有方法,而且甚至可以与假设有先验知识的方法媲美。
Jun, 2024
鉴于多模态差异,对象偏差及信息不平衡等因素,本研究通过对比视觉语言模型进行深入调查并提出了量化对象偏差的方法,揭示了信息不平衡是产生多模态差异和对象偏差的驱动因素。
Apr, 2024
本文提出了一种基于无监督学习和数据增强的方法,BiaSwap,用于学习去偏置特征的表示,通过样本排序和图像转换,能够生成包含去除偏置特征的图像,相比于现有的基线系统,在合成和真实数据集上都有更好的去偏置表现。
Aug, 2021
该论文探讨了深度神经网络中的偏见对模型性能的影响,并提出了降低其影响的方法。论文分为两个部分,第一部分关注机器学习流程中的偏见和错误,介绍了可解释人工智能的分类和方法,并提出了一种半自动数据探索方法用于发现潜在的数据偏见。第二部分重点讨论了降低偏见对机器学习模型影响的三种方法:样式迁移数据增强、针对性数据增强和归因反馈。这些方法的目标是减少偏见对机器学习模型的影响,而不是完全消除。
Aug, 2023
通过整合视觉解释力量,本研究提出了一个名为 Visually Grounded Bias Discovery and Mitigation (ViG-Bias) 的简单而高效的技术,并通过全面评估证明其对现有的 DOMINO、FACTS 和 Bias-to-Text 等技术的性能提升,在包括 CelebA、Waterbirds 和 NICO++ 在内的多个具有挑战性的数据集上都取得了成功。
Jul, 2024
本文研究了文本预训练的固有局限性,提出了报告偏差作为该限制的原因之一,并分析了多模态训练在解决该问题方面的效果。研究使用了 Color Dataset 并比较了文本中的颜色分布,语言模型捕获的分布以及人类感知中的颜色分布,结果表明文本中的 reporting bias 负面影响并固有限制了单一模态训练,而多模态模型可以减轻此类影响。
Oct, 2021
通过利用一种新颖的统计测试方法,我们发现词汇分布与文本蕴含类之间存在显著关联,强调词汇是一种明显的偏差源。为了减轻这些问题,我们提出了几种自动数据增强策略,从字符到词级别。通过对 ELECTRA 预训练语言模型进行微调,我们将有增强数据的模型与基准模型进行了比较。实验证明,所提出的方法可以有效提高模型准确性,并分别减少偏差约 0.66% 和 1.14%。
Dec, 2023
通过提出一个新颖的数据处理流程来纠正常用公平度量工具 (Bias@K) 存在偏见且不精确的问题。该流程通过提供一组性别平衡的对比集来扩充 COCO Captions 数据集,我们基于此数据集证明了在多个基于 CLIP 的模型中偏差的存在,表明了性别与图像背景之间毫无意义的相关性。最终,我们基于这些结果证明了我们的方法可以提高 Bias@K 的可靠度,从而对相关社会科学进行更准确的预测。
May, 2023
通过引入基于注意力的信息瓶颈,我们提出了一种新的去偏框架,用于学习属性的组合表示,从而改善了性能并解释了模型对属性的注意力。通过在有偏数据集上进行全面评估,并进行定量和定性分析,展示了我们方法在属性中心化表示学习方面的有效性,以及区分内在特征和偏向特征的能力。
Mar, 2024