Oct, 2023

评估计算机视觉中的判别基础模型的公平性

PDF
TL;DR我们提出了一种用于评估具有歧视性基础模型（如相互对比语言预训练模型）的偏差的新分类方法，并根据该分类方法系统评估了现有的缓解这些模型偏差的方法。我们针对 OpenAI 的 CLIP 和 OpenCLIP 模型对关键的应用进行了评估，例如零样本分类、图像检索和图像字幕等。我们根据三个方面对所需的行为进行了分类：（i）任务是否涉及人类；（ii）任务的主观性程度（即，不同背景的人们是否会同意标注）；以及（iii）任务的预期目的，是否通过公正性（即，独立于受保护属性进行决策）或代表性（即，通过最大程度地增加多样性进行决策）来更好地服务于公平性。最后，我们在十个不同的数据集上提供了二元和多值受保护属性的定量公平性评估结果。我们发现，用于公平性表示的后处理方法 “公平 PCA” 在大多数上述任务的去偏中效果非常好，同时只带来了轻微的性能损失。然而，不同的去偏方法在不同的任务中的有效性有所不同。因此，对于特定的使用情况，应选择相应的去偏方法。
bias evaluationdiscriminative foundation modelsclipmitigating biasfair pca
发现论文，激发创造
  • 利用 CLIP 进行敏感信息推断和模型公平性改进

    通过使用 CLIP 模型作为丰富的知识源来推断敏感信息，我们在图像和语言嵌入派生的相似度上进行样本聚类，并评估其与真实属性分布的一致性，然后通过重新采样和增强性能较差的聚类来训练目标模型，实验结果表明，该模型在多个基准偏见数据集上取得了明显的公平性改善，说明 CLIP 可以提取受语言触发的区分性敏感信息，用于推动模型公平性。

    Mar, 2024

  • FairCLIP: 在视觉语言学习中利用公平性

    公平性对于深度学习至关重要，尤其是在医疗领域，因为这些模型会影响诊断和治疗决策。本研究介绍了第一个公平的医学视觉语言数据集 FairVLMed，通过提供详细的人口属性、真实标签和临床笔记来深入研究视觉语言基础模型内的公平性。使用 FairVLMed，我们对两个广泛使用的视觉语言模型（CLIP 和 BLIP2）进行了全面的公平性分析，这两个模型分别在自然和医学领域进行了预训练，并跨越了四个不同的受保护属性。研究结果显示，所有视觉语言模型都存在显著偏见，其中亚洲人、男性、非西班牙裔和西班牙语为种族、性别、民族和语言方面的首选子群体。为了减轻这些偏见，我们提出了一种基于最优输运的方法 FairCLIP，通过减小整体样本分布和相应人口群体分布之间的 Sinkhorn 距离，在性能和公平性之间实现了有利的权衡。作为首个类似数据集，FairVLMed 有潜力促进开发既具有道德意识又具有临床有效性的机器学习模型的进步。

    Mar, 2024

  • 公平表征的对比学习

    本论文提出了一种采用对比学习的分类器去偏置化的方法，使得模型在保持主要任务性能的前提下，更加公平地代表输入的各种属性，并取得了在 NLP 和计算机视觉四个任务中的优异表现。

    Sep, 2021

  • 视觉和语言研究中实现更公平的神经模型的去偏置方法：一份调查报告

    在电脑视觉和自然语言处理领域中，神经网络虽然能够取得最新成果，但是其存在数据内的建模偏见，导致人工智能领域出现了公平性的研究方向，其目的为了纠正算法偏见，提出了几种基于公平性的神经网络去偏置的方法。

    Nov, 2022

  • 在数据领域探索公平性表示

    本文提出了一种数据之间的翻译方法，实现了图像或表格数据的公平性，有效避免保护特征的语义性对公平性造成的影响，并在实际数据集面对性别这一保护特征时表现出了很好的机会平等性。

    Oct, 2018

  • 自然语言处理中的人类辅助公正分类

    本研究提出了使用无监督风格转移和 GPT-3 的零 - shot 技术发现具有表达性和直观性的个体公平规范的新方法，以解决文本分类器中公平性问题。我们使用众包研究验证了所生成的具有人类直觉的公平排除敏感属性的语句对，并展示了有限数量的人类反馈如何帮助训练一种相似度规范来训练下游的公平感知模型。

    Dec, 2022

  • 利用扩散扰动衡量计算机视觉中的公平性

    通过扩散模型生成多个包含不同种族标签的职业图像集，我们发现使用非高加索标签生成的图像的职业错误分类率显著高于使用高加索标签生成的图像，且部分错误分类表明存在种族偏见。通过计算对不同身份群体预测的真实职业标签的概率标准差，我们测量了模型的公平性。使用这个公平性指标，我们发现在评估的视觉和语言模型之间存在显著差异。我们希望我们的研究展示了使用扩散方法进行公平性评估的潜在价值。

    Nov, 2023

  • 通过潜空间去偏置实现公平的属性分类

    本文介绍了一种使用 GAN 生成图像并在潜在空间中扰动以生成可以平衡每个受保护属性的训练数据的方法，以缓解由相关性所引起的偏差，通过在原始数据集上增加扰动生成的数据，实证证明训练结果准确且具有许多定量和定性上的优势。在 CelebA 数据集上进行了全面评估和分析，与现有文献进行了比较。

    Dec, 2020

  • 民主化对比语言 - 图像预训练：一个数据、模型和监督的 CLIP 基准

    本文提出 CLIP-benchmark，对 CLIP 及其变种进行评估、分析和基准测试，并发现了数据、监督和模型架构三个关键因素对性能的影响及应用更恰当的监督可以有效提高 CLIP 性能。

    Mar, 2022

  • 分散注意力即可实现公平

    本文提出使用深度学习模型的一种新方法 ——Distraction module 来控制偏见对分类结果的影响，并在不同类型的数据上进行了测试，证明了该模型在维持准确性的同时最小化了偏见。

    Mar, 2022