Jan, 2022

大规模标签空间中问题偏见的可视化识别

PDF
TL;DR为了解决大标签空间下现代模型和数据集的公平性，我们提出了一种可视化方法来解决该领域缺乏视觉分析工具的问题，这种方法可以帮助领域专家提取和推理模型和数据集中的偏差以系统地进行比较和公平性评估。
发现论文，激发创造
  • FairVis: 用于发现机器学习中交叉偏见的视觉分析

    通过交互式可视化，FairVis 帮助数据科学家和普通公众发现机器学习中的偏差，从而了解和创建更具公平性的算法系统。

    Apr, 2019

  • FAIRLABEL：修正标签偏差

    提出了 FAIRLABEL 算法，用于检测和修正标签中的偏见，以减少群体间的不平等影响，同时保持高预测准确性。在合成数据集上验证 FAIRLABEL 时，显示标签修正正确率为 86.7％，而基准模型为 71.9％。在 UCI Adult、German Credit Risk 和 Compas 数据集上应用 FAIRLABEL，显示不平等影响比增加了高达 54.2％。

    Nov, 2023

  • 公平度量分数是否足以评估机器学习中的歧视偏见？

    论文研究了当前用于评估机器学习算法在文本数据上进行性别歧视的不足之处的度量方法，着重于 Bios 数据集上的职业预测任务，研究表明常用的性别偏差指数在训练集样本较小时具有不可靠性。

    Jun, 2023

  • ViG-Bias: 视觉基础偏见发现与缓解

    通过整合视觉解释力量，本研究提出了一个名为 Visually Grounded Bias Discovery and Mitigation (ViG-Bias) 的简单而高效的技术，并通过全面评估证明其对现有的 DOMINO、FACTS 和 Bias-to-Text 等技术的性能提升，在包括 CelebA、Waterbirds 和 NICO++ 在内的多个具有挑战性的数据集上都取得了成功。

    Jul, 2024

  • 通过潜空间去偏置实现公平的属性分类

    本文介绍了一种使用 GAN 生成图像并在潜在空间中扰动以生成可以平衡每个受保护属性的训练数据的方法，以缓解由相关性所引起的偏差，通过在原始数据集上增加扰动生成的数据，实证证明训练结果准确且具有许多定量和定性上的优势。在 CelebA 数据集上进行了全面评估和分析，与现有文献进行了比较。

    Dec, 2020

  • 大型语言模型中的偏见和公平性研究综述

    大型语言模型中的社会偏见评估和缓解技术的综述，介绍了社会偏见与公平的概念、评估指标和数据集，以及介绍了干预方法的分类和研究趋势，帮助研究人员和实践者更好地理解和防止偏见在大型语言模型中的传播。

    Sep, 2023

  • 视觉特征提取器系统评估的公平性指标

    该研究提出了三个公平指标，以量化视觉系统的伤害和偏见，并定义了适用于各种计算机视觉模型的精确实验方案，以促进计算机视觉研究中的公平测评。

    Feb, 2022

  • 利用扩散扰动衡量计算机视觉中的公平性

    通过扩散模型生成多个包含不同种族标签的职业图像集，我们发现使用非高加索标签生成的图像的职业错误分类率显著高于使用高加索标签生成的图像，且部分错误分类表明存在种族偏见。通过计算对不同身份群体预测的真实职业标签的概率标准差，我们测量了模型的公平性。使用这个公平性指标，我们发现在评估的视觉和语言模型之间存在显著差异。我们希望我们的研究展示了使用扩散方法进行公平性评估的潜在价值。

    Nov, 2023

  • 评估大型视觉语言模型在多样性人口属性和提示上的公平性

    对大规模视觉 - 语言模型进行可视化公正性实证调查，揭示出现开源和闭源模型在不同指引和人口属性下存在普遍的公正性问题。

    Jun, 2024

  • 公平性遇见跨域学习：模型和度量的新视角

    本文提出了一个关于面部和医学图像的基准测试，并介绍了一个新的谐波公平（HF) 得分来综合地评估每个模型在准确性和公正性方面与参考基线相比的情况。实验结果发现，CD 方法比最先进的公平算法更能有效地解决模型公理问题。综上所述，我们的工作为计算机视觉中的公平性问题提供了更系统的分析方法。

    Mar, 2023