May, 2023

图像搜索中的公平性：职业定型在图片检索中的研究及其去偏见化方法

PDF
TL;DR本研究聚焦于关键词图像搜索领域中的偏见和公平性问题，评估并减轻搜索结果中的性别职业刻板印象。通过使用开源和专有的 API 来确定图像的性别，我们提出了一种考虑到与指定关键词的相关性和公平性的公平感知排序算法，并在实验中证明其显著地提高了公平性分数和相关性分数。
multi-modal search enginesimage searchbiasstereotypesfairness
发现论文，激发创造
  • 图像搜索中的性别偏差问题：性别中性查询真的是性别中性吗？

    本文研究互联网搜索中出现的性别偏见，尤其是在图像搜索中的性别失衡问题。为此，我们提出了两种消除偏见的方法：采用处理中的合理采样方法解决训练模型时的性别失衡问题，以及采用基于互信息的后处理特征裁剪方法来消除预训练模型的多模式表示中的偏见。通过在 MS-COCO 和 Flickr30K 基准测试上进行的大量实验，证明了我们的方法显著降低了图像搜索模型中的性别偏见。

    Sep, 2021

  • 图像摘要中的隐式多样性

    该研究提出了一种新的算法来缓解图像搜索结果中的偏见和缺乏多样性，通过选择一组具有多样性的可视控制图像，有效实现隐式多样性，测试结果显示，该算法在保持准确度的同时提高了图像搜索结果的可见多样性。

    Jan, 2019

  • 降低测试时间偏差以实现公平图像检索

    本篇论文针对文本查询时图像检索结果存在的性别偏见和种族偏见，提出了一种简单直接的后处理偏见缓解技术，可以在保持图像检索性能不变的情况下，实现对性别和种族的平等代表性，最终得到比其他现有同类方法更低的偏见度和令人满意的图像检索表现。

    May, 2023

  • 生物信息的偏见：高风险环境下语义表述偏见的案例研究

    本研究就机器学习在职业分类中潜在的性别歧视问题进行了大规模调研，分析了不同语义表征中包含显性性别表示（如名字和代词）对职业分类的影响，并量化了这些表示被 “擦除” 后残留的偏见，并描述了在显性性别表示缺失时出现的代理行为。同时，研究也表明，不同性别的真正正率差异与职业领域中现存的性别不平衡存在相关性，这可能加剧这些不平衡。

    Jan, 2019

  • 面向搜索和推荐系统的公正排序技术及其在领英人才搜索中的应用

    该研究提出了一种评估和降低个人排名算法偏差的框架，旨在实现公平性标准，通过 LinkedIn Talent Search 在线 A/B 测试并部署在全球 LinkedIn Recruiter 用户中，实现公平和商业指标的协调提高，有助于招聘行业和 630M 以上 LinkedIn 会员的公平和受益。

    Apr, 2019

  • 性别倾斜：通过属性操作实现计算机视觉模型的反事实公平性

    本文提出了一种使用编码器 - 解码器网络开发的人脸图像合成方法，以测量商业计算机视觉分类器的反事实公平性，并报告了在线搜索服务中与职业相关的关键字中出现的偏向性，用以解释模型偏差的来源。

    May, 2020

  • 基于搜索的公平性测试：概述

    人工智能（AI）在招聘、金融、医疗和司法等领域展示了卓越的能力，然而，AI 系统的偏见引发了伦理和社会关切，强调了有效的公平性测试方法的必要性。本文回顾了当前关于公平性测试的研究，特别是其通过基于搜索的测试的应用。我们的分析突出了在解决 AI 系统偏见方面的进展和改进领域。未来的研究应专注于利用已建立的基于搜索的测试方法学进行公平性测试。

    Nov, 2023

  • 探究医学图像分析中的标定偏差问题

    本研究探讨了医疗影像分析中的人工智能系统的公平性问题，特别是围绕判定偏见和校准偏见的研究，并展示了通常使用的多种校准指标对样本量存在系统性偏差的情况，如果未考虑到这一点，可能会导致错误的公平性分析。

    May, 2023

  • Flickr30K 数据集中的刻板印象和偏见

    本研究检验了 Flickr30K 数据集中众包图像描述假设仅关注可从图像本身获得的信息的假设，并提供偏见和未授权的推断列表，并讨论了在未来应用程序中如何处理以陈规为驱动的描述。

    May, 2016

  • 测量机器学习偏见造成的伤害：需要了解哪种错误以什么方式伤害了谁

    通过社会心理学的视角，以性别刻板印象在图像搜索中的案例研究为例，本文研究了机器学习误差对人们心理体验的影响，发现刻板印象加强型误差会引起更多主观上的伤害体验，而对认知信念、态度或行为的影响较小，这种伤害对女性的影响较大。然而，某些违背刻板印象的误差对男性而言会造成更多主观伤害，可能是因为被认为威胁到男性气概。因此，本文得出结论，公平度量不能仅以伤害为唯一指南，应根据不同受伤者的感受和原因，提出更细致的观点。

    Feb, 2024