decentralized learning | BriefGPT

关键词decentralized learning

搜索结果 - 69

分布式学习的通信高效差错反馈
分散学习中受通信限制的算法依赖于局部更新以及压缩信号的交换，本文提出了一种新的分散、通信高效的学习方法，结合了差分量化和误差反馈，在满足低维子空间限制的前提下实现个体风险函数的最小化，实验证明在小步长且有限位数的情况下，可以实现与无压缩情况
PDF6 days ago
DRACO: 分布式异步连续行随机网络矩阵上的联邦学习
通过提出 DRACO 方法，利用连续通信在分布式网络中实现去中心化异步随机梯度下降，解决了分布式学习中的稳定收敛和通信计算耦合等问题，并通过收敛分析和数值实验验证了其有效性。
PDF13 days ago
不完全信息博弈中近似（粗糙）相关均衡的复杂性
我们研究了不完全信息博弈中分布式学习近似相关均衡的迭代复杂度，我们证明了在广义形式博弈中，假设 PPAD 不属于 TIME (n^polylog (n))，任何多项式时间学习算法至少需要 2^log_2^{1-o (1)}(|I|) 次迭代
PDFa month ago
CVPR优化分割点的容错分割联邦学习
研究调查了 SplitFed 在模型分割点的数据丢失健壮性，通过分析在不同点（浅分割或深分割）处分割模型对最终全局模型性能的影响，探讨了 SplitFed 的各种参数聚合策略。在人类胚胎图像分割任务上进行的实验表明，深分割点具有显著优势。
PDFa month ago
去中心化学习中的安全聚合与稀疏化相遇
分布式学习面临隐私泄露的问题，本论文引入了一种新的安全聚合协议 CESAR，通过与现有的稀疏化机制相兼容，提高了通信效率，同时对抗恶意和好奇的对手。实验证明 CESAR 在并行随机梯度下降中保持很高的准确性，而仅增加 11% 的数据开销，并
PDF2 months ago
广义和谐史塔克伯格博弈中的去中心化在线学习
我们研究了分布式和策略性在线学习问题，通过对不完全信息和附加信息两种不同情境进行研究，发现追随者在有限信息情境中按照局部最优策略响应领导者的行动，然而在附加信息情境中，追随者可以通过策略性行动操控领导者的奖励信号，以使得领导者的策略收敛到对
PDF2 months ago
针对自主驾驶联邦学习的毒化攻击
本文介绍了两种针对自动驾驶中回归任务的联邦学习 (FL) 的新型中毒攻击：FLStealth 和 Off-Track Attack (OTA)。通过实施广泛的实验，我们证明了这些攻击的有效性，并强调了针对自动驾驶中的有针对性攻击的新的防御机
PDF2 months ago
ICML去中心化学习中相关噪音的隐私保护能力
本文提出了 Decor，它是一种具有差分隐私保证的分散式 SGD 变体，通过一轮通信中安全地交换随机种子来生成成对抵消的相关高斯噪声，以保护每一轮通信中的本地模型，并在理论上和实践上证明 Decor 在任意连通图中匹配了中心化差分隐私的最佳
PDF2 months ago
具有本地更新和梯度跟踪的强健分布式学习
我们提出了一种分散的极小极大优化方法，利用局部更新和梯度跟踪两个重要模块，用于解决分布式学习中的数据异质性和对抗鲁棒性的挑战，并分析了算法 Dec-FedTrack 在非凸 - 强凹极小极大优化情况下的性能，证明其收敛于一个稳定点。同时进行
PDF2 months ago
去中心化学习中的隐私保护、抗干扰聚合
分布式学习是机器学习中一种新颖的范例，通过在客户端之间分发训练数据而不进行集中聚合来提升可扩展性和效率。本文提出了三种基于秘密共享的抗丢失模型的隐私保护方法，通过在多个数据集上进行实验评估了这些方法的效率、性能和准确性。实验结果表明，我们的
PDF2 months ago
超越噪声：带有虚拟节点的隐私保护去中心化学习
Shatter 是一种新型的分散式学习方法，通过创建虚拟节点（VNs）来增强隐私保护，防止攻击者收集完整模型并隐藏原始节点的身份。该方法在提高隐私安全性的同时，对于模型收敛性也有积极影响。
PDF3 months ago
AdaGossip：分布式深度学习中的自适应共识步长与通信压缩
AdaGossip 是一种新的技术，根据相邻代理之间的压缩模型差异自适应调整共识步长，通过大量实验证明在分布式学习中具有压缩通信时，相比于当前的最先进方法，在测试准确率上实现了卓越的性能（提高了 0-2% 的测试准确率）。
PDF3 months ago
异构数据下的分布式学习均衡速率调度器
提出了平均速率调度作为减轻分散式学习中异质性影响的一种简单有效的方法，实验证明了该方法相对于采用恒定平均速率的传统方法的优越性（测试精度提高了约 3%）
PDF4 months ago
网络拓扑对分布式联邦学习性能的影响
去中心化学习以网络结构、学习效果、中心性指标和知识传播为重点，通过研究三种网络拓扑和六种数据分布方法，发现全局中心性指标与学习效果相关，而局部聚类性影响较小；同时揭示了从外围到中心节点的知识转移的挑战，以及中心节点对知识传播的拉力效应；探讨
PDF4 months ago
去除耗时者的分散式学习中的梯度编码
在本论文中，我们考虑了分布式学习中存在滞后问题的分散化学习问题。虽然梯度编码技术已经应用于分布式学习以规避滞后问题，其中设备发送带有冗余训练数据的编码梯度，但是直接应用这些技术到分散化学习场景中比较困难。为了解决这个问题，我们提出了一种基于
PDF5 months ago
基于图稀疏化的高能效分散式学习
通过优化混合矩阵，改进分散式学习的能源效率，该研究将问题建模为双层优化，其中底层通过图稀疏化求解，针对全连接基底拓扑提出了一种拥有保证性能的解决方案，针对一般情况提出了一种贪心启发式方法，并通过基于真实拓扑和数据集的模拟验证，结果表明该方案
PDF6 months ago
DCFL：非独立同分布感知数据压缩辅助联邦学习
分散式学习模式下的联邦学习存在数据分布不同的挑战，本论文提出了使用数据压缩和核对齐方法的 DCFL 算法，以解决该挑战，并在多个基准测试中展示了竞争性性能。
PDF6 months ago
AAAIDePRL: 个性化分散学习中共享表示实现线性收敛加速
通过共享表示，DePRL 是一种新颖的个性化分布式学习算法，可以实现分布式学习的线性加速收敛，并在数据异构环境中展示出卓越的性能。
PDF6 months ago
弱可达情况下的零和马尔可夫博弈纳什均衡学习
通过利用 Tsallis 熵正则化的值迭代方法，我们提出了一种合理且收敛的算法，在弱条件下以无耦合和单时间尺度算法的方式高效地实现了近似纳什均衡。该算法在多项式时间内学习近似纳什均衡，仅需要存在一个诱导不可约和非周期性马尔可夫链的策略对，从
PDF7 months ago
半集中式网络上的通信高效联邦优化
在大规模联邦和分散式学习中，沟通效率是最具挑战性的瓶颈之一。为了解决这个折衷问题，我们在半分散式通信协议下研究了通信效率，设计了一种适应于半分散式网络的通信高效算法 PISCO，并证明了 PISCO 在非凸问题上具有收敛速度和线性加速效果，
PDF7 months ago