Mar, 2024
FairCLIP: 在视觉语言学习中利用公平性
FairCLIP: Harnessing Fairness in Vision-Language Learning
TL;DR公平性对于深度学习至关重要，尤其是在医疗领域，因为这些模型会影响诊断和治疗决策。本研究介绍了第一个公平的医学视觉语言数据集FairVLMed，通过提供详细的人口属性、真实标签和临床笔记来深入研究视觉语言基础模型内的公平性。使用FairVLMed，我们对两个广泛使用的视觉语言模型（CLIP和BLIP2）进行了全面的公平性分析，这两个模型分别在自然和医学领域进行了预训练，并跨越了四个不同的受保护属性。研究结果显示，所有视觉语言模型都存在显著偏见，其中亚洲人、男性、非西班牙裔和西班牙语为种族、性别、民族和语言方面的首选子群体。为了减轻这些偏见，我们提出了一种基于最优输运的方法FairCLIP，通过减小整体样本分布和相应人口群体分布之间的Sinkhorn距离，在性能和公平性之间实现了有利的权衡。作为首个类似数据集，FairVLMed有潜力促进开发既具有道德意识又具有临床有效性的机器学习模型的进步。