ACLJun, 2024

信息检索中的索引偏见的测量和应对

PDF
TL;DR信息检索系统的相关性排序可能引入指示偏见，该研究引入了自动偏见审核框架（PAIR framework）和偏见度量（bias metric），通过对 8 个信息检索系统进行评估，在一系列有争议的主题中，验证了指示偏见如何影响读者意见的预测。
information retrievalir systemsindexical biasesbias auditsbias metric
发现论文，激发创造
  • 检测社会偏见的内容：BERT 排名器的度量框架与对抗性缓解

    本研究提出了一种新的框架来度量排名模型中检索文本内容的公平性，并使用针对信息检索的对抗性公平性缓解方法提出了一种排名模型 (AdvBert)，该模型联合学习以预测相关性并删除受保护特征，为信息检索中存在的偏见问题提供了有效的解决方案。实验结果表明，与基线算法相比，所有排名模型的公平性较低，使用提出的 AdvBert 模型可以显著提高 Bert 排名器的公平性，同时在不损失实用性的情况下保持显着的公平性改善。

    Apr, 2021

  • 新闻文章中的政治偏见量化

    本文旨在建立一种自动模型，评估在线新闻文章的意识形态偏见，结果表明目前的自动模型能力不足以被用于自动注释文档，进而计算搜索结果中的偏见。

    Oct, 2022

  • 信息检索中的偏见和不公平问题统一化：对大型语言模型的挑战与机遇的调查

    该研究论文综述了大型语言模型 (LLMs) 在信息检索系统中引起的偏见和不公平性问题，以及相关的缓解策略，主要聚焦于数据收集、模型开发和结果评估三个关键阶段，并提出了未来研究中可能面临的问题和挑战。

    Apr, 2024

  • 神经排序模型是否加剧了性别偏见？

    本研究以非性别查询为基础，根据两个度量标准，从性别偏见的角度研究了 BM25 模型和几种最近的神经排名模型，实验表明，虽然所有模型都强烈偏向男性，但神经模型，特别是基于语境嵌入模型的神经模型，显著加剧了性别偏见。而且当这些神经模型利用传递学习时，性别偏见总体上呈增加趋势。

    May, 2020

  • 所以说，解释性模型在文档评分偏差中的应用

    本文介绍了一个基于 Wikipedia 文章的可解释模型来评分网络文档的偏见性，并且应用该模型研究了 Wikipedia 文章中的偏见的时间演变，新闻媒体的偏见比较和法律修正案中的偏见评分，最后发现在各个领域中，法规文件是最少有偏见的，新闻媒体是最有偏见的，Wikipedia 文章则居中。

    Jul, 2023

  • 知识图谱中自动检测偏差

    本文提出了一种基于数值偏差度量的方法，用于识别和暴露知识图谱嵌入中存在的偏见，并在职业预测任务中展示了三种不同的偏见度量，从而弥补了目前文献中手动指定偏差关系的缺陷，以支持更明智的决策。

    Sep, 2021

  • 消除信息检索模型中的性别偏见

    研究通过引入性别缓解技术、使用预训练模型以及适配器网络，成功地减轻了性别偏见问题，并提高了信息检索的敏感性。

    Aug, 2022

  • 特征中的位置偏差

    本文介绍了排名系统中模拟文档相关性的目的，并测试了几个特征的性质。将逆倾向权重方法用于文档可创建不偏的文档相关性估计特征，该特征可以准确地近似相关性，在理想情况下实现接近最佳的排名。然而，此特征具有较高的方差，且方差随着位置偏差的增加而增加。不准确的位置偏差估计导致性能下降。本文强调了准确估计位置偏差的必要性，并独特地提出了同时使用有偏和无偏位置偏差特征的建议。

    Feb, 2024

  • 超越相关性：评估和提升具备观点感知的检索模型

    信息检索任务要求系统根据用户的信息需求识别相关文档。这项研究探讨了检索系统是否能够识别和回应查询的不同视角，以及利用几何特征改善检索系统的视角意识。

    May, 2024

  • 使用基于词汇表示法来衡量排序列表中的偏差

    通过引入 TExFAIR 度量方法，该研究提供了一种新的评估框架，用于衡量文件排名中的性别偏见和公平性，通过基于术语的组表示来评估排名列表中性别偏见的公平性，与现有的评估方法 NFaiRR 有所不同。

    Mar, 2024