SortNet: 通过基于神经网络的排序算法学习排序
本文利用一种基于神经网络的成对学习排序方法,即 DirectRanker,展示了它在 RankNet 架构上的泛化能力。经过数学证明,我们的模型具有自反性、反对称性和传递性,从而实现了简化训练和提高的性能。在 LETOR MSLR-WEB10K、MQ2007 和 MQ2008 数据集上的实验结果表明,我们的模型在结构上固有的简单性和仅使用成对方法的情况下优于许多最先进的方法。
Sep, 2019
该研究提出可微分的排序网络来训练神经网络,能够在排序约束条件下进行端到端的训练,此方法能够在不需要绝对数值监督的情况下,实现对神经网络的训练和优化,并探究多层神经网络训练时可能产生的梯度消失和模糊化等问题,证明了拟制的依次比较和比特位排序网络在大规模数据集上的优越表现。
May, 2021
级联排序在在线广告和推荐系统中被广泛应用于大规模前 k 选择问题,而学习排序是优化级联排序系统模型的重要方法;本文提出了一种新颖的适应级联排序系统的优化目标的方法,通过多任务学习框架自适应地结合放松和完整优化目标的优化;并且引入置换矩阵表示排序度量,并使用可微排序技术获得带有可控逼近误差界限的放松置换矩阵,从而在深度学习框架内直接且适当地优化放松和完整优化目标,通过提出的代理损失进行;实验证明了方法的有效性和泛化性,并且在线实验表明了方法的显著应用价值。
Oct, 2023
通过使用自适应选择的成对比较来学习排名,我们的目标是准确地恢复排名但节省比较样本。对于使用快速排序算法等有效算法的所有比较结果一致的情况,最优解为使用有效排序算法。我们在 Bradley-Terry 模型下给出了 Quicksort 的优异保证,并通过实证证明了排序算法导致了非常简单有效的积极学习策略。
Feb, 2015
研究通过优先级判定来学习如何排序实例的问题,讨论了两阶段方法并提出了一个基于 'Hedge' 算法的在线算法。在第二阶段,通过新实例的排序最大程度地与学习到的偏好函数相一致。最后,展示了如何将元搜索表述为排序问题,并提出了实验结果。
May, 2011
深度学习模型大小的增长导致在内存和计算约束下寻找最优模型变得更加重要,该论文提出了 SortedNet,一种利用深度神经网络的内在模块化性质实现高效动态推断的通用可扩展解决方案。我们的训练方法考虑了子模型的嵌套架构和共享参数,并以排序和概率的方式一起训练主模型和子模型。在推断过程中,我们无需搜索即可选择子网络,并且生成的子网络具有最小的存储要求和高效的切换能力。实验证明该方法的有效性,同时在保持模型性能的情况下,演示了我们的方法在同时训练多达 160 个不同子模型的广泛可扩展性。
Sep, 2023
本研究提出了新颖的偏好学习方法,以解决存在时间标准的多准则排序问题。这项研究介绍了一种凸二次规划模型和一个集成学习算法,同时还引入了一种新颖的单调循环神经网络 (mRNN),并对提出的模型进行了综合评估。研究结果表明,与多种基准方法相比,所提出的模型实现了显著的性能改进。
Sep, 2023
本论文提出了一个名为 SetRank 的新型神经学习排序模型,使用自我注意力机制和感知不变性来捕捉跨文档相互作用以及局部上下文信息,从而实现对任意大小文档集的置换不变性排名。与传统的学习排名模型和最先进的神经 IR 模型相比,经实验证明,SetRank 在三个大型基准测试中表现显着优于基线。
Dec, 2019