本文提出了一种新的分布式广义线性模型训练算法，只需计算各工作器上的 Hessian 矩阵的对角块，然后提出了一种自适应方法以应对近似信息并展示了其在多个基准数据集上表现出的最新结果并显著优于现有算法。

Jun, 2018

该研究提出了一个用于直接优化排名度量的高效框架 ——CatBoost，并介绍了两种重要的技术：随机平滑和基于部分积分的新梯度估计，证明了经典平滑方法可能会引入偏差，并提出了一个通用解决方案进行去偏差，该算法保证全局收敛性并在多个学习排名数据集上优于现有方法。

Mar, 2020

Pairwise Differentiable Gradient Descent (PDGD) is an efficient and unbiased Online Learning to Rank approach that allows for effective optimization of non-linear models based on user interactions and preferences, providing a better user experience than previously possible.

Sep, 2018

使用信息论信任域优化算法 (arTuRO)，通过模型化网络参数为高斯分布并使用基于 Kullback-Leibler 散度的信任域，我们利用较少的一阶信息从随机梯度中近似计算 Hessian 的对角元素，构建随时间变化的期望 Hessian 模型，并在每次更新之前为最佳步长解决信任域问题，从而实现更稳定和更快的优化过程，将自适应基于动量的优化的快速收敛性与 SGD 的泛化能力结合起来。

Oct, 2023

本篇论文旨在实现一种系统评估 LTR 模型解释技术的方法，即通过决策树焕发的 ground truth 特征重要性得分，和这些解释技术产生的特征重要性得分进行直接比较，以此来比较 MQ2008 数据集上的 LTR 模型分别采用决策树和梯度提升模型时这两种解释技术的准确性，并表明这些技术的解释准确性很大程度上取决于所解释的模型和解释的数据点。

Mar, 2022

本文提出了一种利用随机排序策略来进行公平学习及考虑排序项影响的通用 LTR 框架，并通过基于政策梯度方法的 Fair-PG-Rank 算法进行优化，可在保持曝光公平性的情况下优化各种效用指标。通过实验结果验证了此方法在个人和集体公平性方面的有效性。

Feb, 2019

本文提出一种基于预训练打分函数的合成模型 FairLTR-RC, 其利用分布无关风险控制框架提供对用户指定效用的有限样本保证，并通过加入阈值 PL 模型实现效用和公平性之间的有效权衡，在多个基准数据集上证明可以显著提高广泛使用的确定性 LTR 模型的公平性同时确保指定水平的效用。

Jun, 2023

本研究介绍了一种基于贝叶斯模型选择和拉普拉斯逼近的方法，通过引入下界到边缘似然的线性化拉普拉斯逼近，用于选择深度学习的超参数优化，该方法可以使用随机梯度基于优化，并可以利用神经切向核估计。实验结果表明，该估计器可以显着加速基于梯度的超参数优化。

Jun, 2023

本篇论文旨在研究如何提高 Gradient Boosting Decision Tree 模型的准确性，同时保持差分隐私强有力的保护措施。通过改进灵敏度限制和与树之间隐私预算的分配算法，该论文提出一种更有效的差分隐私 GBDT 训练算法，以实现更高的模型准确性。

Nov, 2019

该论文研究了无监督预训练是否能提高在标注数据远远少于非标注数据情况下的 LTR 问题中的性能，并通过使用特定于排序的改进方法，在无监督预训练的深度学习模型中表现出比 GBDT 和其他非预训练模型更好的性能，并且在排名异常数据方面也通常具有显着更好的稳健性。

Jul, 2023