Mar, 2020

TREC 2019 公平排名任务综述

PDF
TL;DR该研究介绍了 TREC Fair Ranking 跟踪项目，实现了服务于不同内容提供商公平性和相关度的基准评估，发布了一个数据集，目标是要公正地呈现来自多个未知组的相关作者的重要性，重点关注能够在各种组别定义下表现出强大性能的系统的开发。
trec fair ranking trackretrieval systemsfairness metricsacademic paper abstractsrobust performance
发现论文，激发创造
  • 公平排名：一篇批判性综述、挑战和未来方向

    对在线平台中对个人、提供方或内容进行公正排序的 “公正排名” 研究文献进行了批判性概述，提出了更全面和以影响为导向的公正排名研究议程的前景，包括其他领域的方法论教训以及更广泛利益相关者社区在克服数据瓶颈和设计有效监管环境方面的作用。

    Jan, 2022

  • TREC 2019 深度学习赛道概览

    TREC 2019 新推出的 Deep Learning Track 使用大量标注数据，对包含三百万文档和五十万训练查询的 Ad Hoc 排名展开研究，结果 Deep Learning 方法在 15 组提交的 75 个运行中取得了优异的表现。

    Mar, 2020

  • TREC 2023 产品搜索赛道概述

    今年是 TREC 产品搜索跟踪的第一年。重点在于创建可重复使用集合，并评估元数据和多模态数据对检索准确性的影响。研究结果显示，在产品搜索领域，传统的检索系统效果非常好，通常优于通用的预训练嵌入模型。我们还评估了使用简化和元数据增强集合的影响，发现扩展集合的影响没有明显的趋势。我们还观察到一些令人惊讶的结果，尽管单阶段密集检索运行在其他任务上表现出色且被广泛采用，但在零 - shot 和精细调整领域中，常常不具竞争力或生成低质量结果。

    Nov, 2023

  • 排名中的公平性：综述

    本文对过去几年来有关将公平性要求纳入算法排名器的工作进行了系统概述，提供了跨学科的算法形式化和方法连接的广阔视角，并针对公平性增强干预分类架构描述了四个分类框架，并讨论了公平排序评估数据集和技术工作。我们还讨论了公平分数排序和公平学习排序的评估框架，并得出了有关公平排名方法评估的一系列建议。

    Mar, 2021

  • 2021 TREC 临床试验赛道中的 UNIMIB

    探究了不同的查询表示方法结合不同的检索模型对检索性能的影响，同时提出了一种基于关键词提取方法的检索模型，并通过实验表明，该方法结合传统或基于决策论的相关性模型，可以显著提高查询效果。

    Jul, 2022

  • TREC 2020 Podcasts 赛道概述

    本文介绍了 2020 年 Text Retrieval Conference (TREC) 的 Podcast Track，包括检索和摘要两个任务，提供了各个参与者的实验结果。此 Track 将在 2021 年 TREC 继续进行，略作修改以响应参与者的反馈意见。

    Mar, 2021

  • 大数据环境下排名模型基准测试

    通过比较 MS MARCO 和 TREC 深度学习赛道与 1990 年代的 TREC 专家检索的情况，本文探讨了评估努力的设计如何鼓励或阻碍某些结果，提出避免这些困难的最佳实践，概述了该领域的研究进展，并描述了我们对于 “健壮有用性” 的期望结束状态。

    May, 2021

  • 复杂答案检索基准

    介绍了用于填充维基百科文章的 TREC CAR 赛道，提供使用信息检索方法，查询扩展和深度神经网络等一系列系统解决这一难题的早期结果以帮助未来参与者。

    May, 2017

  • 排名和推荐中的公平性：概述

    本文旨在介绍确保排名和推荐中的公平性所使用的定义、模型和方法的工具包，提供有关这一新颖、迅速发展和有影响力的领域的坚实框架，将相关方法并置并强调未来工作的开放挑战和研究路径。

    Apr, 2021

  • 面向搜索和推荐系统的公正排序技术及其在领英人才搜索中的应用

    该研究提出了一种评估和降低个人排名算法偏差的框架，旨在实现公平性标准，通过 LinkedIn Talent Search 在线 A/B 测试并部署在全球 LinkedIn Recruiter 用户中，实现公平和商业指标的协调提高，有助于招聘行业和 630M 以上 LinkedIn 会员的公平和受益。

    Apr, 2019