May, 2023

随机展开联合学习

PDF
TL;DR介绍了 Stochastic UnRolled Federated learning（SURF），它是一种将算法展开（algorithm unrolling）应用于联邦学习的方法，通过在图神经网络（graph neural network）中展开分布式梯度下降（distributed gradient descent，DGD）算法以实现协作训练的目的。在理论上证明了此方法的优化器收敛于一个接近最优的区域。通过大量实验在图像分类器的协作训练中展示了该框架的有效性。
algorithm unrollingfederated learningneural-network optimizersgraph neural networkcollaborative training
发现论文，激发创造
  • 鲁棒随机下降展开网络

    深度展开是一种新兴的学习优化方法，在可训练的神经网络中展开剪枝迭代算法的层，本文提出使用随机下降约束进行训练的深度展开结构，理论上证明了输出序列的收敛性和对未知问题的泛化能力，同时展示了对扰动和干扰具有鲁棒性的优势。

    Dec, 2023

  • 大规模双层优化的内存高效梯度展开

    本文介绍了 $(ext {FG})^2 ext {U}$，一种解决大规模双层优化问题的新方法，该方法通过无偏随机近似元梯度来提供更准确的梯度估计，并且支持并行计算以提高计算效率。$(ext {FG})^2 ext {U}$ 在不同阶段的训练过程中可以更加经济高效地应用，且易于在流行的深度学习框架中实现，可适应更具挑战性的零阶双层优化场景。经过全面的理论分析和实证评价，并展示了在多样的大规模双层优化任务中其卓越的性能。

    Jun, 2024

  • 端到端基于模型学习的折叠优化

    该论文提供了对展开优化器反向传播的理论洞见，从而得到了一个系统，用于生成等效但可有效求解的分析模型，并提出了一种统一的展开和分析微分的方法。实验表明，该方法在各种结构预测和决策导向的学习任务中具有潜在的计算和增强表现能力。

    Jan, 2023

  • 逆问题的算法展开模型的统计学视角

    在已知条件分布的情况下，通过算法展开设计深度神经网络架构，分析了梯度下降网络（GDN）的统计复杂性、最佳深度和过拟合问题。

    Nov, 2023

  • 联邦条件随机优化

    这篇论文提出了第一个联邦条件随机优化算法（FCSG），它使用条件随机梯度估计器和基于动量的算法（FCSG-M）来解决联邦学习中的非凸条件随机优化问题。通过方差减少设计了一种加速算法（Acc-FCSG-M），以达到最佳样本和通信复杂度， 并在不同任务上的广泛实验结果验证了这些算法的效率。

    Oct, 2023

  • 局部 SGD：统一理论和新高效方法

    该论文提出了一种统一框架，用于在凸性和强凸性条件下分析本地 SGD 方法，适用于监督机器学习模型的分布式 / 联邦训练。作为该框架的应用，作者开发了多个新型优化器，特别是开发了第一个线性收敛的本地 SGD 方法，不需要任何数据同质性或其他强假设。

    Nov, 2020

  • 关于深度复合高斯神经网络的泛化界限

    通过边界限制 Rademacher 复杂度，我们为一类来自复合高斯先验的展开深度神经网络开发了新颖的泛化误差边界，可在信号维度和网络规模方面进行评估。

    Feb, 2024

  • 异步联邦优化

    提出了一种新的异步联邦优化算法，用于在海量边缘设备上进行培训，具有近线性收敛全局最优点的证明，可用于强凸和一类非凸问题，实验证明在各种应用中算法收敛快且容忍陈旧。

    Mar, 2019

  • 图展开网络：用于图信号去噪的可解释神经网络

    该研究提出了一个可解释的图神经网络框架，通过对图信号进行噪声去除，扩展了算法展开到图域的能力，并通过信号处理的视角提供了对架构设计的解释。通过无监督学习训练图卷积网络，自适应捕捉输入噪声图信号的适当先验知识，以获得较小的信号去噪误差。

    Jun, 2020

  • 分析与增强展开优化的反向传播收敛性

    通过算法展开的反向传播与通过迭代方法求解线性系统的解是渐进等价的，在构建更高效的反向传播规则方面提出了折叠优化系统。

    Dec, 2023