SIGIRApr, 2021

检测社会偏见的内容：BERT 排名器的度量框架与对抗性缓解

PDF
TL;DR本研究提出了一种新的框架来度量排名模型中检索文本内容的公平性，并使用针对信息检索的对抗性公平性缓解方法提出了一种排名模型 (AdvBert)，该模型联合学习以预测相关性并删除受保护特征，为信息检索中存在的偏见问题提供了有效的解决方案。实验结果表明，与基线算法相比，所有排名模型的公平性较低，使用提出的 AdvBert 模型可以显著提高 Bert 排名器的公平性，同时在不损失实用性的情况下保持显着的公平性改善。
information retrieval systemsfairnessbias mitigationdeep ranking modelsgender attributes
发现论文，激发创造
  • 使用有偏尺度衡量公平性：对预训练语言模型中偏差量化的调查

    调查表明，对于预训练语言模型的公平度和偏见进行度量的大量指标之间的比较以及使用这些指标进行评估的工作仍然困难，如果不是完全不可能的。建议避免基于嵌入的指标，并专注于下游任务中的公平度评估，以提高未来的公平度比较和评估。

    Dec, 2021

  • 面向搜索和推荐系统的公正排序技术及其在领英人才搜索中的应用

    该研究提出了一种评估和降低个人排名算法偏差的框架，旨在实现公平性标准，通过 LinkedIn Talent Search 在线 A/B 测试并部署在全球 LinkedIn Recruiter 用户中，实现公平和商业指标的协调提高，有助于招聘行业和 630M 以上 LinkedIn 会员的公平和受益。

    Apr, 2019

  • 神经排序模型是否加剧了性别偏见？

    本研究以非性别查询为基础，根据两个度量标准，从性别偏见的角度研究了 BM25 模型和几种最近的神经排名模型，实验表明，虽然所有模型都强烈偏向男性，但神经模型，特别是基于语境嵌入模型的神经模型，显著加剧了性别偏见。而且当这些神经模型利用传递学习时，性别偏见总体上呈增加趋势。

    May, 2020

  • 信息检索中的索引偏见的测量和应对

    信息检索系统的相关性排序可能引入指示偏见，该研究引入了自动偏见审核框架（PAIR framework）和偏见度量（bias metric），通过对 8 个信息检索系统进行评估，在一系列有争议的主题中，验证了指示偏见如何影响读者意见的预测。

    Jun, 2024

  • 社会偏见探测：语言模型的公平性基准测试

    本研究提出了一种新的框架，用于探索语言模型中的社会偏见，通过采集探索数据集和利用一种新的公平性评分方法，发现语言模型中的偏见更加复杂，并揭示不同宗教身份导致各种模型中最明显的不平等处理。

    Nov, 2023

  • 通过批内平衡正则化来消除神经检索偏见

    本研究介绍了一种 In-Batch Balancing Regularization (IBBR) 方法，通过开发可微分的 normed Pairwise Ranking Fairness (nPRF) 来提高搜索排名领域子组之间的公正性，实验结果表明，相较于基准测试，该方法的 nPRF 具有更少的偏见和可接受的排名表现。

    May, 2022

  • 大型语言模型中的偏见和公平性研究综述

    大型语言模型中的社会偏见评估和缓解技术的综述，介绍了社会偏见与公平的概念、评估指标和数据集，以及介绍了干预方法的分类和研究趋势，帮助研究人员和实践者更好地理解和防止偏见在大型语言模型中的传播。

    Sep, 2023

  • 用户注意力对排名列表中公平群组表现的影响量化

    本文提出了一种用于审计排名列表中群体公平性的新度量，通过我们的度量方法，能够更好地解决人为因素对公平性评估的影响，同时考虑了用户的注意力模式以及对保护属性的支持，我们还利用度量方法对三个模拟案例进行了公平性审计。

    Jan, 2019

  • 降低测试时间偏差以实现公平图像检索

    本篇论文针对文本查询时图像检索结果存在的性别偏见和种族偏见，提出了一种简单直接的后处理偏见缓解技术，可以在保持图像检索性能不变的情况下，实现对性别和种族的平等代表性，最终得到比其他现有同类方法更低的偏见度和令人满意的图像检索表现。

    May, 2023

  • BERTScore 不公平：基于语言模型的文本生成度量中的社会偏见

    本文首次对基于预训练语言模型的度量方法中的社会偏见进行了系统研究，并发现相比传统度量方法，最受欢迎的基于预训练语言模型的度量方法在种族、性别、宗教、外貌、年龄和社会经济地位等 6 个敏感属性上显示出显著的社会偏向。此外，研究发现选择度量方法的范式比选择预训练语言模型对公平性的影响更大，我们提出了消除偏见的适配器方案，将其注入到预训练语言模型层中，从而减轻了基于预训练语言模型的度量方法的偏见，同时保持了评估文本生成的高性能。

    Oct, 2022