ICMLMay, 2021

FL-NTK: 一种基于神经切向核的联邦学习收敛性分析框架

PDF
TL;DR本文提出一种新的收敛分析方法 - Federated Learning Neural Tangent Kernel (FL-NTK)，旨在研究在 Federated Learning 框架下，使用逐渐逼近的方法对参数化的 ReLU 神经网络进行梯度下降训练时的收敛性分析，并证明该方法可以在线性时间内收敛到全局最优解，并可通过适当的分布假设获得良好的泛化能力。
发现论文，激发创造
  • 神经切向核强化联邦学习

    该论文提出了一种基于神经切向核的新型联邦学习范式，通过传输比传统联邦学习范式更具表现力的样本级 Jacobian 矩阵，解决了统计异质性的挑战，并进一步开发了一种改进的变体，其在保持相同准确性的情况下，将通信轮数减少了一个数量级。

    Oct, 2021

  • 深度线性神经网络联邦平均的神经切线核视角

    使用 NTK 理论进一步提供对联邦平均（FedAvg）在训练深度线性神经网络方面全局收敛的第一个理论保证，通过实验评估验证了理论发现的正确性。

    Oct, 2023

  • 神经正切核：神经网络的收敛性和泛化性

    本研究证明了在梯度下降算法中，人工神经网络的演化可以被表示为一种核函数，称为神经切向核。它在无限宽度下收敛于一个明确的极限核，并且在训练过程中保持不变，可以用函数空间而不是参数空间来研究人工神经网络的训练。我们关注最小二乘回归并表明，在无限宽度下，网络函数 $f_ heta$ 在训练期间遵循线性微分方程。最后，我们对神经切向核进行了数值研究，观察了其在宽网络中的行为，并将其与无限宽度的极限进行了比较。

    Jun, 2018

  • 面向边缘计算的个性化深度神经网络联合学习

    该研究提出了一种多任务联邦学习算法，通过添加非联邦批归一化层来允许用户训练个性化的模型，该算法支持联邦优化策略并在实验中表现出更快的收敛速度和更好的个性化精度。

    Jul, 2020

  • 使用引导神经切向核将联邦学习凸化

    提出了一种称为 Train-Convexify-Train (TCT) 的过程，以解决非凸问题中联邦优化方法失败的问题，并进一步通过 CIFAR10 和 FMNIST 数据集实现了约 37% 和 36% 的准确度改进。

    Jul, 2022

  • 基于量化的分层联邦学习：收敛分析与系统设计

    本文针对分层联邦学习问题，引入神经网络量化，提出了一种更加严格的收敛界限，优化客户端和边缘云多级聚合策略，同时借助仿真结果验证了策略的有效性。

    Mar, 2021

  • 神经切向核方法的神经网络修正

    使用神经切比洛夫核方法，获得了网络训练误差上限、网络大小不变的泛化误差上限，以及一个简单且解析的核函数，能够优于相关网络，但需要注意网络缩放因子的问题。本文对原有方法进行修正，提出了更加严格的误差上限，解决了缩放问题。

    Jul, 2020

  • 循环神经切向核

    本文介绍并研究了循环神经切线核（RNTK）的性能，证明其能够比其他内核提供更好的性能表现，尤其在处理不同长度输入的情况下表现良好。

    Jun, 2020

  • KnFu: 有效的知识融合

    分散学习、联邦知识蒸馏和模型漂移是关键词，本文提出了一种有效的知识融合算法，通过分析本地模型的知识有效性来实现个性化知识融合，实验证明在拥有大规模和高度异构的本地数据集的情况下，本地训练可能优于基于知识融合的解决方案。

    Mar, 2024

  • NTK 引导下的少样本类别增量学习

    通过对 FSCIL 中神经切向核（NTK）的基本理论研究，我们设计出一种元学习机制，用数学原理来指导扩展网络内的优化过程，确保全局最优的 NTK 收敛和与 NTK 相关的泛化误差，从而提高网络的基础泛化能力。通过自我监督的预训练、课程对齐和对卷积层和线性层定制的双重 NTK 正则化等方法的综合效果，我们的网络在主流的 FSCIL 基准数据集上优于目前最先进的方法，将最终准确率提升了 2.9% 至 8.7%。

    Mar, 2024