IJCAIOct, 2023

通过利用网络搜索和生成模型解决图像分类中的弱决策边界

PDF
TL;DR机器学习（ML）技术已知存在伦理和运营问题，但我们正见证企业在敏感应用中部署它们的增长势头。我们提出了一种利用网络搜索和生成模型来缓解判别模型缺陷的方法。我们在 ImageNet 的 People Subtree 子集上展示了我们的方法，并展示其在某些代表弱势群体的类别中增强了鲁棒性和减轻了偏见（例如，有色人种女医生）。虽然在极大程度上提高了模型的整体性能，我们在模型的性别准确性差异方面实现了显著降低（77.30%）。除了这些改进，我们观察到分类器的决策边界得到了明显的增强，它具有较少的弱点和类别之间的更大差异。虽然在本研究中我们展示了针对弱势群体的方法，但该技术可以扩展到各种问题和领域。
machine learningethical problemsoperational problemsunderrepresented groupsbias mitigation
发现论文，激发创造
  • 利用生成模型表征分类器的偏差

    使用逐步条件生成模型和贝叶斯优化的方法，通过生成对抗网络来分析分类器在种族和性别方面的偏差。

    May, 2019

  • 通过弱监督实现公平生成建模

    本文提出了一种弱监督算法来克服深度生成模型中的数据集偏差，该方法通过额外的小型未标记参考数据集作为监督信号来探测现有数据集中的偏差，并学习生成模型。实验结果表明，该方法降低了基于潜在因素的偏差达到了高达 34.6％，在同时使用基于生成对抗网络的图像生成的情况下，数据效率显著提高。

    Oct, 2019

  • 生成模型改善在分布偏移下医疗分类器的公平性

    通过使用生成模型以标签有效的方式从数据中自动学习逼真的增强，我们展示了这种方法如何通过改进领域通用性来提高医学成像数据的鲁棒性和算法公平性。

    Apr, 2023

  • 朝着更公平的数据集：在 ImageNet 层次结构中过滤和平衡 "人" 子树的分布

    本研究认为当前计算机视觉技术中存在针对某些群体的预测结果的不当行为，导致这种情况的可能因素是使用手动注释的数据集制作的模型的数据及标签分布不均。因此，我们对一个大规模的图像本体库 ImageNet 中的 “人” 类别子树中的三个关键因素进行了剖析，并试图提出建设性的缓解方案。

    Dec, 2019

  • 医学图像分割中的无监督偏差发现

    通过数值实验在合成和真实场景中展示了我们的方法能够在没有真实标签的情况下成功预测公平性问题，这在该领域中是一种新颖且有价值的工具。

    Sep, 2023

  • 图像摘要中的隐式多样性

    该研究提出了一种新的算法来缓解图像搜索结果中的偏见和缺乏多样性，通过选择一组具有多样性的可视控制图像，有效实现隐式多样性，测试结果显示，该算法在保持准确度的同时提高了图像搜索结果的可见多样性。

    Jan, 2019

  • 利用深度生成模型缓解不同性别 - 人种群体间的性别分类偏差

    使用生成式视图、结构化学习和证据学习的方法，可以有效减少面部识别算法的性别分类偏差，并提升性能。

    Aug, 2022

  • 通过生成数据集实现强健分类：让现实留给想象

    本文研究了生成数据集对图像分类器自然鲁棒性的影响，发现与标准训练和流行的数据增强策略相比，使用真实数据和生成数据相结合进行训练可以提高 Imagenet 分类器的准确性和鲁棒性，同时分析了不同因素对结果的影响，并介绍了 ImageNet-G-v1 数据集。

    Feb, 2023

  • CurriculumNet: 大规模网络图像弱监督学习

    该论文提出了一种基于课程学习的弱监督学习方法，通过对大规模网络图像数据进行无人工标注的深度神经网络训练，实现对大量噪声数据和数据分布不均等问题的有效处理和噪声标签的负面影响的显著降低，构建一种新的课程学习架构，使得使用高噪声标签的图像作为一种正则化策略可以惊人地提高模型的泛化能力，在 WebVision、ImageNet、Clothing-1M 和 Food-101 等四个基准测试中取得了最先进的性能，多模型集成的结果在 1000 种类别分类中取得了 5.2% 的 top-5 错误率，相对误差率超过 50%。

    Aug, 2018

  • 图像搜索中的性别偏差问题：性别中性查询真的是性别中性吗？

    本文研究互联网搜索中出现的性别偏见，尤其是在图像搜索中的性别失衡问题。为此，我们提出了两种消除偏见的方法：采用处理中的合理采样方法解决训练模型时的性别失衡问题，以及采用基于互信息的后处理特征裁剪方法来消除预训练模型的多模式表示中的偏见。通过在 MS-COCO 和 Flickr30K 基准测试上进行的大量实验，证明了我们的方法显著降低了图像搜索模型中的性别偏见。

    Sep, 2021