本文研究了在线学习算法中带有成对损失函数的泛化性能，并提出了一种数据依赖性较小的界限来衡量在线学习算法的平均风险产生的序列的模型偏差，同时针对常见的机器学习问题，如基于排名和监督度量学习提出了实际应用案例。

Jan, 2013

本文研究了基于在线学习的随机方法的泛化特性，提出了一种通用的解耦技术，可以提供基于 Rademacher 复杂度的泛化误差界限，并进一步分析了一类内存效率的在线学习算法。

May, 2013

从含有噪声标签的数据中学习良好分类器一直备受关注，我们的研究旨在设计算法，以应对多类非可分解性能度量的噪声标签，并通过实验证实了算法在处理标签噪声方面的有效性。

Feb, 2024

提出了一种新的 quicksort-flavored 算法，可以在大量训练数据集上优化非可分离损失函数。已证明，该方法适用于包括 AP 和 NDCG 基础上的损失函数，并且对于我们的方法渐近计算复杂度不能提高。我们展示了该方法在优化结构化铰链损失上的效果并且得到了比简单的可分离损失函数更好的结果，同时需要相当的训练时间。

Apr, 2016

本文提出一种自适应线性化技术，实现了基于 TPR 和 TNR 的点随机更新，通过提出 SPADE 和 STAMP 方法，可以应对实际中出现的数据标签不平衡及其他特殊要求，并获得了显着的速度优势和精准度，同时确保了收敛性。

May, 2015

本文提出了一种针对非可微和非可分解损失函数的优化方法，使用代理神经网络逐渐逼近真实损失函数，并通过联合双层优化学习预测模型和代理损失函数，实现了高效学习代理损失函数的效果。

May, 2019

本文研究任意函数类和一般损失的在线回归问题，并确定了最小极大率。结果表明，当函数类的复杂度低于某一阈值时，最小极大率取决于损失函数的曲率和序列复杂度。而当复杂度高于该阈值时，损失的曲率不再影响率。此外，对于平方损失，当顺序和独立同分布的经验熵匹配时，统计和在线学习的速率相同。我们还提供了一种通用的预测器，它具有确定的最优率，并提供了一种设计在线预测算法的方法，用于某些问题可以是计算量有效的。

Jan, 2015

图像检索中，标准评估指标依赖于分数排名，如平均精度（AP）、前 k 个结果的召回率（R@k）、归一化折现累积增益（NDCG）。本研究引入了一种用于鲁棒且可分解的排名损失优化的通用框架，解决了端到端训练深度神经网络时面临的两个主要挑战：非可微性和非可分解性。首先，我们提出了一种通用的排名操作符替代品 SupRank，它适用于随机梯度下降，提供了排名损失的上界并保证了鲁棒训练。其次，我们使用一个简单而有效的损失函数来减小排名损失的批次平均近似与整个训练集上的损失值之间的可分解性差距。我们将我们的框架应用于图像检索的两个标准指标：AP 和 R@k。此外，我们还将我们的框架应用于分层图像检索。我们引入了 AP 的扩展，即分层平均精度 H-AP，并对其以及 NDCG 进行了优化。最后，我们创建了第一个分层地标检索数据集。我们使用半自动流程创建分层标签，扩展了大规模的 Google Landmarks v2 数据集。该分层数据集可在此 URL 公开获取。代码将在此 URL 发布。

Sep, 2023

研究了使用一种新的预测算法在无需假设标签与对象的生成方式的条件下，对已知标签对象的实时预测问题，通过比较此算法与一定范围内的预测规则，证明了此算法的误差率在极限范围下可达到最佳状态，可用于无参统计学的普适预测。

Nov, 2005

我们介绍和分析了一种通用的在线算法，适用于二元、多类和多标签分类问题中的各种复杂性能指标，该算法的更新和预测规则简单且计算效率高，无需存储任何过去的数据，而且对于凹函数和平滑度函数达到了 O (ln n/n) 的遗憾，并通过实证研究验证了所提算法的效率。

Jun, 2024