学习排名学习曲线
本文对于大规模和异构化的现代数据集中的信息排序问题提出了一种可靠性保证的机制,通过有序的信息刻画,充分利用计算资源进行高效程度排名的学习并在特定数据结构下进行了验证。
Aug, 2016
本文利用一种基于神经网络的成对学习排序方法,即DirectRanker,展示了它在RankNet架构上的泛化能力。经过数学证明,我们的模型具有自反性、反对称性和传递性,从而实现了简化训练和提高的性能。在LETOR MSLR-WEB10K、MQ2007和MQ2008数据集上的实验结果表明,我们的模型在结构上固有的简单性和仅使用成对方法的情况下优于许多最先进的方法。
Sep, 2019
提出了一种新的可微的代理损失函数PiRank,它使用基于NeuralSort的连续、温度控制放松来排序操作符,最终在公共互联网规模的学习排序基准测试中明显提高了可比较方法的性能。
Dec, 2020
本文提出一种称之为RankNAS的性能排名方法,通过配对排名是为了提高神经架构搜索(NAS)的效率,并在机器翻译和语言建模任务中进行了广泛实验,结果表明RankNAS可以设计出高性能的架构,同时速度比现有的NAS系统快几个数量级。
Sep, 2021
本研究介绍了一种将蒸馏、修剪和快速矩阵乘法相结合的方法,对于从回归树集合中学习的神经网络进行了评分时间的加速,在两个公共学习排名数据集上进行的全面实验表明,采用我们的新方法产生的神经网络在效率-效用平衡的任何点上与基于树的集合竞争对手具有相同的排名质量,并提供高达4倍的评分时间加速,而不影响排名质量。
Feb, 2022
本文提出了一种新颖的学习曲线排序模型ACTR2,特别针对在在线广告和推荐系统中常用的标准化熵(NE)学习曲线进行排序,并通过自适应曲线变换层和差分曲线排名结构实现了优于现有方法的性能表现。
Jan, 2023
通过估算模型的学习曲线,选择最佳模型进行全数据集训练,以减少培训时间。本文提出了一种框架和几种策略,并通过模拟学习曲线和图像分类任务的实验对这些策略进行了评估。
Oct, 2023
我们在深度神经网络的学习动态方面的理解仍然不完整。最近的研究开始揭示了这些网络的数学原理,包括“神经坍塌”现象,在训练的后期,DNN内的线性分类器会收敛到特定的几何结构。然而,几何约束在学习中的作用并不仅限于这个阶段。本文对DNN中的梯度秩进行了全面研究,研究了体系结构选择和数据结构对梯度秩界限的影响。我们的研究不仅有助于理解DNN中的学习动态,而且为深度学习工程师提供了实践指导,以便做出明智的设计决策。
Feb, 2024
Supernet是许多最新的神经架构搜索(NAS)方法中的核心组件,本文提出了一种改进的搜索策略——Supernet Shifting,以改善局部排序能力和实现模型的迁移学习。
Mar, 2024