Feb, 2022

视觉特征提取器系统评估的公平性指标

PDF
TL;DR该研究提出了三个公平指标，以量化视觉系统的伤害和偏见，并定义了适用于各种计算机视觉模型的精确实验方案，以促进计算机视觉研究中的公平测评。
computer vision systemsfairnessharmbiasstandardized fairness audits
发现论文，激发创造
  • FairVis: 用于发现机器学习中交叉偏见的视觉分析

    通过交互式可视化，FairVis 帮助数据科学家和普通公众发现机器学习中的偏差，从而了解和创建更具公平性的算法系统。

    Apr, 2019

  • 计算机视觉中的下降水平：公平深度分类器中的帕累托效率失灵

    应用现有的公平性方法来增强计算机视觉中的公平性，会导致对所有组的分类器性能的降低，但本文通过扩展分类的偏差 - 方差分解来理论上解释了这一现象，并提出了一种自适应增强策略以改善这一问题。

    Mar, 2022

  • 探究医学图像分析中的标定偏差问题

    本研究探讨了医疗影像分析中的人工智能系统的公平性问题，特别是围绕判定偏见和校准偏见的研究，并展示了通常使用的多种校准指标对样本量存在系统性偏差的情况，如果未考虑到这一点，可能会导致错误的公平性分析。

    May, 2023

  • FACET：计算机视觉评估基准的公平性

    计算机视觉模型在性别和肤色等属性方面存在已知的性能差异。本论文提出了一个名为 FACET（计算机视觉公平性评估）的新基准，它是一个大型、公开可用的评估集，包括 32,000 张图片，用于图像分类、目标检测和分割等常见视觉任务。我们通过对 FACET 中的每张图像进行手动标注，包括感知肤色和发型类型等与人相关的属性，手动绘制边界框，并标记诸如唱片骑师或吉他手等精细的与人相关的类别。我们利用 FACET 对最先进的视觉模型进行基准测试，并展示潜在的性能差异和挑战。我们的研究结果显示，分类、检测、分割和视觉定位模型在人口属性和属性交叉上存在性能差异。这些伤害表明，在这些视觉任务中，并不是所有的人都能得到公平和公正的对待。我们希望使用我们的基准测试结果能够为更加公平、更加稳健的视觉模型做出贡献。FACET 在该 https URL 上公开可用。

    Aug, 2023

  • 性别倾斜：通过属性操作实现计算机视觉模型的反事实公平性

    本文提出了一种使用编码器 - 解码器网络开发的人脸图像合成方法，以测量商业计算机视觉分类器的反事实公平性，并报告了在线搜索服务中与职业相关的关键字中出现的偏向性，用以解释模型偏差的来源。

    May, 2020

  • 利用扩散扰动衡量计算机视觉中的公平性

    通过扩散模型生成多个包含不同种族标签的职业图像集，我们发现使用非高加索标签生成的图像的职业错误分类率显著高于使用高加索标签生成的图像，且部分错误分类表明存在种族偏见。通过计算对不同身份群体预测的真实职业标签的概率标准差，我们测量了模型的公平性。使用这个公平性指标，我们发现在评估的视觉和语言模型之间存在显著差异。我们希望我们的研究展示了使用扩散方法进行公平性评估的潜在价值。

    Nov, 2023

  • 医学影像公平性基准测试

    该研究介绍了 MEDFAIR 框架，可以用于医学成像机器学习模型的公平性评估和算法的基准测试，通过实验发现模型选择标准可以对公平性结果产生重要影响，并在不同的应用场景和伦理原则下提供了建议。

    Oct, 2022

  • 机器学习中促进公平的干预措施比较研究

    本篇研究通过开发公开基准来对不同的公平性增强算法进行比较，并发现许多公平性措施之间具有强烈的相关性，但这些措施也对数据集构成的波动敏感，这表明公平干预可能比以前认为的更脆弱。

    Feb, 2018

  • 生物识别中测量偏差的公平性指数

    本文提出了多个基于 biometric 系统评分的统计特征的评估指标和权重策略，通过评估数据得出生物识别系统的公平性。

    Jun, 2023

  • 大规模标签空间中问题偏见的可视化识别

    为了解决大标签空间下现代模型和数据集的公平性，我们提出了一种可视化方法来解决该领域缺乏视觉分析工具的问题，这种方法可以帮助领域专家提取和推理模型和数据集中的偏差以系统地进行比较和公平性评估。

    Jan, 2022