研究分布式在线学习算法在静态和非静态环境下的泛化能力，推导连通学习者网络中每个节点达到的超额风险界限并研究扩散策略相对于个体非合作处理的性能优势。通过广泛的模拟来说明结果。

Jan, 2013

使用分布式学习和最小二乘正则化方案，在再生核希尔伯特空间（RKHS）中对分块数据子集应用最小二乘正则化方案生成输出函数，以其平均值作为全局估计器或预测器，具有良好的$L^2$度量和RKHS度量误差界限。在我们的积分算子方法中，通过运算符差分的新型二阶分解实现了分析，即使对于与一般核相关联的RKHS中的经典最小二乘正则化方案，我们也可以在文献中给出最佳的学习速率。

Aug, 2016

本文通过随机矩阵理论和线性模型中的准确解，研究了使用梯度下降训练的大型神经网络的泛化动态，发现梯度下降学习的动态自然地保护了大型网络免受过度训练和过拟合的影响，当自由参数的有效数量等于样本数量时，网络过度训练最严重，大小的适当调整可以减少网络过度训练，另外，高维域下，低泛化误差需要从小的初始权重开始。此外，本文还发现了两个新的现象：在梯度下降过程中存在一个冻结的权重子空间，而高维状态的统计特性可保护免受过度训练的影响。

Oct, 2017

该研究针对联邦学习中的统计学习模型的普适性误差进行了研究，讨论了模型聚合的轮次对最终聚合模型的影响，并且提出了通过优化选择合适的聚合轮次来减少总体风险的可能性。

Apr, 2023

本文探讨了线性模型在实际数据中的泛化能力，并提出了一种在非独立同分布数据和分布变化情况下的解决方法，得到了渐近精确的理论结果，并在实际数据验证了结果的有效性。

May, 2023

本文研究了联邦学习模型的泛化误差，通过PAC-Bayes和速率失真理论对其进行了分析，发现在联邦学习中客户端和参数服务器通信的轮数会影响泛化误差，并且在应用于FSVM时，泛化误差随着轮数增加而增加，因此需要优化轮数以减小FL算法的总体风险。

Jun, 2023

我们提供了一种新的分析框架，用于分析统计学习中基于一阶优化算法的泛化误差，当只能通过一个 oracle 提供的部分观测来获取梯度。我们的分析依赖于梯度相对于数据样本的正则性，并且允许为多个学习问题，包括监督学习、迁移学习、鲁棒学习、分布式学习和使用梯度量化的通信高效学习推导出接近配对的上下界的泛化误差。这些结果适用于平滑和强凸优化问题，以及满足 Polyak-Lojasiewicz 假设的平滑非凸优化问题。我们的上下界依赖于一个新颖的量，它扩展了条件标准差的概念，并衡量了通过访问 oracle 获取梯度的程度。因此，我们的分析为优化统计学习目标的优化提供了精确的含义，即统计学习目标的优化与其梯度估计一样困难。最后，我们证明，在标准监督学习的情况下，批梯度下降法随着批次大小的增加和热启动可以达到近似最优的泛化误差，从而激励我们在实际应用中使用这种优化方案。

Jul, 2023

在实际场景中，数据的异质性通常是规范，传统的学习误差下界对于异质性数据是不准确的。本文通过引入更现实的异质性模型(G,B)-梯度差异性，展示了这一模型覆盖了比现有理论更广泛的学习问题，并且证明了分布式学习算法的学习误差存在下界。我们推导了一个强鲁棒的分布式梯度下降算法的上界，并且通过实证分析表明了我们提出的分析方法能够减小理论和实践之间的差距。

Sep, 2023

我们从分布式估计的角度研究在信号特征随时间变化的情况下的估计问题，具体而言，我们考虑在不同任务（例如具有不同分布的数据）连续到达的情况下，如何在新到达的任务上表现良好同时不降低先前任务的性能，我们研究了分布式学习算法COCOA在线性回归下的通用化错误，并在一系列情景中提供了确切的分析特征，其中特别关注了过度拟合问题。这些分析结果表明通用化错误如何取决于网络结构、任务相似性和任务数，并展示了这些依赖关系如何交织在一起。特别是，我们的结果表明通过调整网络规模可以显著降低通用化错误，而最有利的网络规模取决于任务相似性和任务数。我们还提供了数值结果来验证理论分析，并通过一个数字分类任务展示了COCOA在连续学习中的性能。

Dec, 2023

该论文提出了一个理论框架，用于评估和比较梯度下降算法在非凸环境中围绕局部极小值的行为方面的分布学习性能。它发现分散学习策略能够更快地逃离局部极小值并更有利地收敛到更平坦的极小值，从而提高了分类准确性。

Jun, 2024