本文针对分布式学习中的安全问题，提出了基于中位数和截尾均值运算的两种鲁棒性分布式梯度下降算法，并证明了这些算法在强凸、非强凸和光滑非凸损失函数下均能达到次优统计误差率，并且进一步提出了一种基于中位数的分布式算法，可在一轮通信下达到与鲁棒性分布式梯度下降算法相同的最优误差率，实现更好的通信效率。

Mar, 2018

介绍了一种并行的平均随机梯度算法，能够高效地递归处理高维空间中的大样本数据，并给出了强凸目标和局部强凸目标的平均收敛速度和渐近正态性。

Oct, 2017

本文研究了一种分布式随机逼近算法，可应用于去中心化的估算、优化、控制或计算。该算法包含本地步骤和交换步骤，通过微小的步长逼近算法和局部加权平均计算。通过研究约束子空间内平均场的 Lyapunov 函数和随机权重矩阵的收缩性质，建立估计向共识收敛的证明，并进行了二阶分析和多项式平均版本的研究。

Mar, 2012

本研究讨论了线性二时间尺度随机逼近方法的收敛速度，证明了它们的渐进协方差和建立了渐近正态性，通过本文的一般结果，证明了著名的 Polyak-Ruppert 平均技术在线性随机逼近中的最优性。

May, 2004

我们建立了基于分解的可扩展核岭回归方法的最优收敛速率。该方法通过将大小为 N 的数据集随机分为 m 个大小相等的子集，为每个子集计算独立的核岭回归估计器，然后将局部解的平均值得到全局预测器，从而在计算时间上实现了大幅度的减少。

May, 2013

本文主要介绍了一种基于近似中位数算法的算法来估算统计数据集的普适性，该算法满足差分隐私的强稳定性保证，解决了统计数据集在自适应问题上的泛化保证的新方法。

Jun, 2017

本研究探讨了差分隐私的统计估计问题，并且提出了差分隐私比较准确的估计方法，其中加入了随机噪声以提高数据的隐私保护性，同时也介绍了 Gross Error Sensitivity，将其与差分隐私紧密联系。

Jun, 2012

本研究采用分布式梯度下降来分析多智能体分散非参数回归，从精确损失函数的角度来研究学习性能，当 i.i.d 样本分配给智能体时，我们发现如果智能体拥有足够多的样本数量并且沟通延迟足够小，则分布式梯度下降在带最优统计速率的同时取得线性加速，并且其所需迭代次数与网络中所有样本一起运行的梯度下降具有相同数量级的迭代次数。

May, 2019

本文研究了分布式迭代算法在共识问题和平均问题中的收敛速度，重点是平均问题。首先考虑了固定通信拓扑的情况。证明了一种简单的共识算法适应于平均算法，并且对于各种线性、时不变和分布式共识方法的最坏情况收敛时间提供下界，并提供一种基本匹配这些下界的算法。之后，我们考虑了时变拓扑的情况，并提供了一个多项式时间的平均算法。

Dec, 2006

使用中位数估计器介绍了一种新的鲁棒机器学习估计器，能够在最小数据集假设下实现最佳收敛率，这一方法通过分析异常值而得出。该研究提出一个新的断点概念，该断点数量考虑了估计器的统计性能，同时提高了算法的可实现性。

Nov, 2017