关键词convergence performance
搜索结果 - 12
- 通过扩散实现流形上的谱算法
该研究论文探讨了在重现核希尔伯特空间 (RKHS) 中应用的谱算法，特别关注输入特征空间的内在结构，将输入数据视为嵌入高维欧几里得空间的低维流形，使用积分算子技术导出了关于广义范数的紧密收敛上界，证明估计器在强意义下收敛于目标函数及其导数， - 去除耗时者的分散式学习中的梯度编码
在本论文中，我们考虑了分布式学习中存在滞后问题的分散化学习问题。虽然梯度编码技术已经应用于分布式学习以规避滞后问题，其中设备发送带有冗余训练数据的编码梯度，但是直接应用这些技术到分散化学习场景中比较困难。为了解决这个问题，我们提出了一种基于 - 基于进化策略的高效通信和隐私保护联邦学习
基于进化策略的联邦学习算法（FedES）通过只传输损失值而减少了通信开销，并且保护了数据隐私。实验结果表明 FedES 在保持收敛性能与反向传播方法相同的同时，能够实现上述优势。
- VFedMH: 垂直联邦学习用于训练多方异构模型
垂直联邦学习（VFL）作为一种集成样本对齐和特征汇聚的新型训练范例，受到了越来越多的关注。然而，现有的 VFL 方法在处理参与者之间的异构本地模型时面临挑战，影响了优化收敛和泛化能力。为了解决这个问题，本文提出了一种新颖的方法，称为垂直联邦 - 利用标准化梯度聚合的无线计算辅助联邦学习
通过将本地梯度归一化，改进了过程中最相关工作对于放大因子选择的假设不准确的问题，同时在平滑和强凸损失函数的情况下，提出的方法能够以次线性或线性速率收敛到稳定点，还发现了收敛速率和容差之间的权衡，并通过优化系统参数加快了收敛速度，实验结果表明 - ICLREva: 二阶优化的通用向量化近似框架
我们提出了一种记忆和时间高效的二阶算法 Eva，通过使用小批量训练数据的 Kronecker 因式分解构建二阶信息以减少内存消耗，并使用 Sherman-Morrison 公式推导出高效的更新公式，将 Eva 扩展为通用的向量化近似框架以提 - 具有差分隐私的梯度稀疏化，实现高效的无线联合学习
通过设计基于随机稀疏化算法的梯度稀疏化联邦学习框架，该框架在无线信道上进行训练，提升了训练效率且不牺牲收敛性能，同时降低了差分隐私所引起的性能下降和无线信道传输参数数量。
- 动态个性化联邦学习与激励
本文介绍了一种名为 DyPFL 的动态个性化联邦学习技术，将受训练意愿不同的客户纳入考虑，以提高收敛性能。结果表明，该算法可以在各种条件下优于替代个性化方法。
- KDDFed2：特征对齐联邦学习
本文提出了基于特征对齐 Fed2 的联邦学习框架，通过显式的特征分配和特征配对均值方案，解决了联邦学习过程中参数随机性造成的结构特征不匹配的问题，提高了模型的收敛性能。
- 分布式批量梯度计算的拜占庭鲁棒非凸 SVRG 算法
本研究考虑了在敌对环境下最小化一个期望函数的非凸分布式随机优化问题，在此基础上，提出了一种机制，通过使用一种新型的拜占庭过滤规则，可以保证算法收敛，并且能够捕捉网络中破损节点所带来的影响。
- 无线联邦学习中快速收敛的设备调度
本文以联邦学习为背景，提出一种联合带宽分配和设备调度问题的解决方案，该方案通过一个贪心算法和运行时间预算中定向分配宽带的优化模型实现，从而在模型精度和训练时间预算方面实现了最好的性能表现。
- 差分隐私联邦学习算法及性能分析
采用微分隐私概念，提出一种在模型聚合之前加入人工噪音的差分隐私框架，证明该框架可以在不同保护级别下满足差分隐私。同时，优化了聚合轮数、系统总参与用户数和随机选取的用户数，实现了在不同隐私保护和性能要求下的隐私保护联邦学习算法设计，并通过仿真