Oct, 2023

使用异构工人对一组对象进行排名：一个相当简单的问题

PDF
TL;DR我们研究了通过不同可靠性的工作者提供的具有噪声的成对比较，对 N 个对象进行排名的问题。我们提出了一种名为 QUITE 的非自适应排名算法，它可以同时估计工作者的可靠性和对象的质量，并在不同场景中与之前提出的算法进行了比较。最后，我们展示了 QUITE 如何自然地实现自适应。
rankingnoisy pairwise comparisonscrowd workersreliabilityadaptive algorithm
发现论文，激发创造
  • 使用成对比较的主动排名

    使用少于 $n log_2 n$ 次的自适应选择的成对比较，该算法可特征一系列对象的排序，前提条件是该对象在 $d$ 维欧几里得空间中，其排名反映了相对于 $R^d$ 中的公共参考点的相对距离。

    Sep, 2011

  • 基于配对比较的近似排名

    研究在机器学习中，基于两两比较对一组 n 个项目进行排名的问题，提出了一种基于置信区间的活跃排名算法，通过近似排序来减少比较次数。

    Jan, 2018

  • 通过稳定的排名概率寻找可复制的人类评估

    本文以机器翻译及其人类评估框架 MQM 为案例研究，旨在探讨如何建立可靠的人类评估，以获得稳定的结论，并提供设计可复制的人类评估研究的具体建议，同时发布了由多名专业翻译人员评分的最大公开可用翻译数据集。

    Apr, 2024

  • 异质 Thurstone 偏好模型在排名聚合中的应用

    提议使用异构 Thurstone 模型（HTM）聚合排名数据，并提出一种基于交替梯度下降的排名聚合算法，能够同时估计不同用户的基础物品得分和准确度水平。理论上证明该算法的收敛速度线性，且表现优于现有方法。

    Dec, 2019

  • 粗排名自适应采样

    研究了活动粗聚类排序的问题，提出了一种计算有效的 PAC 算法 LUCBRank，探讨了其样本复杂性的上限和下限，并在实验中发现 LUCBRank 比现有的基线方法表现更好。

    Feb, 2018

  • SortNet: 通过基于神经网络的排序算法学习排序

    透过使用神经网络作为比较器的排序算法 SortNet，在 LETOR 数据集上展现出与其他先进算法相比具有潜力的性能。

    Nov, 2023

  • 基于预测的大型语言模型排序

    使用统计框架，我们可以以一定的概率保证，通过人类和强大的大型语言模型的成对比较排名结果覆盖了人类偏好的真实排名。

    Feb, 2024

  • 简单有效的主动偏好学习方法：只需排序！

    通过使用自适应选择的成对比较来学习排名，我们的目标是准确地恢复排名但节省比较样本。对于使用快速排序算法等有效算法的所有比较结果一致的情况，最优解为使用有效排序算法。我们在 Bradley-Terry 模型下给出了 Quicksort 的优异保证，并通过实证证明了排序算法导致了非常简单有效的积极学习策略。

    Feb, 2015

  • 测量异构集合中人类感知的相似性

    本文提出了一种技术，可以估计对象之间的相似度，如电影或食品，其适当的表达取决于人类的感知，这种相似度函数可以捕获一些难以自动提取的人类相似度的概念，当与用户模型相结合时，我们发现每个评估者的口味变化会影响他们对相似度的感知。

    Feb, 2018

  • 不平等不确定性下的公平排名

    使用 Equal-Opportunity Ranking 算法进行排名，解决不同群体之间存在的不确定性差异所导致的不公平问题。

    Sep, 2023