批量预测器在分布内通用化
我们使用在线到批次转换范例，给出了从依赖数据源中获取的样本训练的统计学习算法的泛化界限，包括期望值和高概率。我们表明，统计学习器在依赖数据环境中的泛化误差等同于独立同分布环境中的泛化误差，除了一个依赖于底层混合随机过程的衰减速率且与统计学习器复杂性无关的项。我们的证明技巧涉及基于 Wasserstein 距离定义在线学习算法稳定性的新概念，并利用基于依赖随机变量的 “近似鞅” 浓度界限，得出了统计学习算法在依赖数据上的泛化误差的适当上界。
May, 2024
本文介绍了一种将串行渐变型在线预测算法转化为分布式算法的方法 —— 分布式 Mini-batch 算法，证明了该算法适用于平滑凸损失函数和随机输入，并明确考虑了分布式环境中节点间通信延迟，同时展示了该算法如何用于解决分布式随机优化问题，并在网络规模的在线预测问题中展示了其优点。
Dec, 2010
在结构化预测中，我们提出了一种新的 PAC-Bayesian 风险界来处理非分离因素和违反 i.i.d. 假设的情况，并按照生成模型的研究，将数据生成为基于 Knothe-Rosenblatt 排序的因子参考测量，以显式提取随机输出变量之间的结构，从而为有挑战性的结构化预测下游任务建立归纳界限提供了初步步骤。
Jun, 2023
该研究通过对各种基准套件的算法性能预测模型的泛化能力进行考察，比较问题集合的统计相似性和基于探索性景观分析特征的性能预测模型的准确性，我们发现这两个指标之间存在着正相关关系。具体来说，当训练和测试套件之间的高维特征值分布缺乏统计显著性时，模型往往能够很好地进行泛化，即测试误差与训练误差处于同一范围内。两个实验证实了这些发现：一个涉及标准基准套件 BBOB 和 CEC 集合，另一个使用了五个由 BBOB 问题实例的仿射组合构成的集合。
May, 2024
大语言模型 (LLMs) 最近因其生成类似人类的英语句子的惊人能力而受到广泛关注。为了公平地评估它们的性能，我们引入了批次遗憾的概念作为经典平均遗憾的修正，并研究了在无记忆源和一阶马尔可夫源的情况下，加常数预测器的渐近值。
Feb, 2024
本文提出了一种基于高斯模型的特征分布参数估计方法，通过估计类间条件密度之间的距离实现对于少样本分类任务中泛化误差的预测，并在实验中表明该方法优于 leave-one-out cross-validation 等传统方法。
Dec, 2022
我们提出了一种在联邦学习中训练随机预测器的新策略，其中网络的每个节点通过发布本地预测器并保密其训练数据集来保护隐私。我们构建了一个全局随机预测器，它在 PAC-Bayesian 广义界限的意义下继承了本地私有预测器的属性。我们考虑同步情况，所有节点共享相同的训练目标（来自广义界限）以及异步情况，每个节点可以拥有自己的个性化训练目标。通过一系列的数值实验，我们证明了我们的方法在预测性能方面与批处理方法相当，并且在保护每个节点隐私的同时具有数值上实质性的广义界限。我们明确计算了批处理和联邦学习设置之间的预测性能和广义界限的增量，突出了保护隐私的代价。
Oct, 2023
论文分析了通过源任务的转移学习训练的深度学习模型的新的泛化界限，使用称为大多数预测器精度的量，该量可以从数据中有效地计算。作者表明，该理论在实践中是有用的，因为它意味着大多数预测器的准确性可以用作可转移性度量，这一事实也得到了作者实验的验证。
Sep, 2022
本文探讨了使用小批量的阈值学习算法进行分类的好处及最小二乘回归模型的上限风险，同时提出了一个基于特征重叠的小批量版本的最小二乘估计器，它比最小二乘估计器更稳定
Jun, 2023