Apr, 2024

无偏学习排名遇到现实：来自百度大规模搜索数据集的教训

PDF
TL;DR通过对百度搜索引擎的实时数据集开展实证研究，发现无偏学习排序技术在点击预测方面有明显的性能提升，但这并不转化为在专家相关性标注中的排名性能改进，表明结论在很大程度上取决于基准评估方法。
unbiased learning-to-rankuser clickssearch engineswsdm cupranking performance
发现论文，激发创造
  • 一个大规模的搜索数据集，用于无偏见的学习排序

    介绍了一个新的数据集 Baidu-ULTR 和基准 ULTR 算法在其上的性能，有利于长尾查询的排名和排名的预训练任务。

    Jul, 2022

  • 无偏学习排序的基础与应用的最新进展

    本教程介绍了无偏学习排序（ULTR）领域的核心概念和最新发展，包括其方法的若干应用以及在排序公平性方面的相关连接，旨在为对开发新的 ULTR 解决方案或在实际应用中利用 ULTR 方法感兴趣的研究人员和产业从业者提供帮助。

    May, 2023

  • 整页无偏学习排序

    该文提出针对搜索结果页面展示的选择偏见问题的整体无偏学习排名问题，并介绍了一个自动发现和减轻多个 SERP 功能偏见的偏见无关整页无偏排序算法 BAL。

    Oct, 2022

  • 无偏学习排序：在线或离线？

    本文通过对无偏学习进行形式化的定义，指出现有的离线无偏学习和在线排序学习算法只是同一问题的两个方面。研究人员进一步对 6 种现有的无偏学习算法进行了评估，并发现其中大部分算法都可以在离线和在线环境下使用，而且有一定的应用前景。

    Apr, 2020

  • 识别性问题：揭示偏向的学习排序中隐藏的可恢复条件

    应用无偏学习排序 (Unbiased Learning to Rank, ULTR) 于训练基于偏差点击日志的无偏排序模型，在明确用户行为生成过程并根据检验假设拟合点击数据的基础上，研究发现点击数据完美拟合时可以恢复真实潜在相关性，但实际上并非总能实现，从而导致排序性能明显降低。本研究旨在解决当数据集的图连通性被破坏时，从点击数据恢复真实相关性的问题，并提出了节点干预和节点合并两种方法来修正数据集并恢复图连通性，通过仿真数据集和两个 LTR 基准数据集的实证结果验证了我们提出的定理的有效性，同时证明了在相关性模型不可辨识时我们的方法在减轻数据偏差方面的有效性。

    Sep, 2023

  • 标量不足以描述：基于向量化的无偏学习排序

    本文提出一种基于向量的解法，用于构建与点击、偏差和排序特征等相关联的、不受限制的点击概率模型，并基于此方法提出了一种名为统计向量化的自适应学习排序模型，实验证明其表现优于现有的无偏学习方法。

    Jun, 2022

  • 具有偏差反馈的无偏学习排序

    通过对因果推断框架的提出，使用倾向权重排序支持向量机从隐式反馈学习，消除了数据偏差问题，取得了更好的结果。

    Aug, 2016

  • 无偏学习排序：反事实和在线方法

    这篇论文讨论了无偏学习排名（LTR）中的两种方法论：对联合 LTR 和在线 LTR，介绍了它们的差异和对用户体验和学习的影响，并提供了选择适当方法的实践指南。

    Jul, 2019

  • 从用户与排名的交互学习：该领域的统一

    该论文研究利用用户点击来进行学习排序的方法及其相关领域，提出了一个框架来统一在线、反事实和监督学习，并将其统一成一种通用且有效的排序学习方法。

    Dec, 2020

  • 使用无偏倾向估计的无偏学习排序

    本文提出了一种名为 DLA 的双重学习算法，该算法可以联合学习无偏好排名和无偏好倾向模型，以直接从有偏好的点击数据中学习无偏好排名模型，避免了对点击数据的特殊要求，实现了自适应学习和在线学习。实验结果表明，使用 DLA 训练的模型明显优于基于结果随机化和基于点击模型提取的相关信号的无偏好学习至排名算法。

    Apr, 2018