communication-efficient | BriefGPT

关键词communication-efficient

搜索结果 - 34

SpaFL: 带有稀疏模型和低计算开销的高效联邦学习
SpaFL 提出了一个通信高效的联邦学习框架，优化了稀疏模型结构来避免大规模通信和计算资源消耗，通过定义可训练的阈值来剪枝连接参数以实现结构化稀疏性，只通过服务器和客户端之间的阈值通信来学习如何剪枝，利用全局阈值提取聚合参数重要性来更新模型
PDFa month ago
联邦组合多智能体多臂赌博机
该论文介绍了一个用于在线组合优化和有限带反馈的联邦学习框架，该框架将任何具有复杂度为 O (psi/epsilon^beta)（其中省略了对数计算，psi 是一个函数，beta 是常数）的离线单代理（alpha-epsilon）逼近算法转化
PDF2 months ago
注意力感知的协作推理中的语义通信
提出一种在边缘推理领域内，通过有效利用视觉 Transformer（ViTs）模型的通信高效的协同推理框架。该框架运用了轻量级的 ViT 模型在边缘设备上，服务器采用复杂的 ViT 模型，以提高通信效率并实现与服务器模型相当的分类准确性，通
PDF4 months ago
联邦离线强化学习：协同单策略覆盖足够
通过将离线强化学习与联邦学习相结合，本文研究了联邦离线强化学习在有限时间段下的马尔可夫决策过程中的优势，设计了一种名为 FedLCB-Q 的变体算法，通过合作利用多个智能体的离线数据集实现了线性加速，并实现了与单智能体方法相当的样本复杂度，
PDF5 months ago
电动汽车能量需求预测学习系统的高效设计
通过跨地理分散的电动汽车充电站和联邦学习的高效变种，结合最新进展的 Transformer 架构，提出了一种通信高效的时间序列预测模型，具有与其他模型相媲美的性能，但在训练过程中消耗更低的数据速率。
PDF10 months ago
不完整多模态 MRI 重建的联合伪模态生成
在联邦多模态 MRI 重建中，我们提出了一种名为 Fed-PMG 的新型通信高效的联邦学习框架，以解决缺失模态的挑战，并通过伪模态生成机制和聚类方案降低通信成本。
PDF10 months ago
自适应分特征压缩的通信高效分担学习
本论文提出了一种新颖的通信高效的分离学习（Split Learning）框架，名为 SplitFC，它通过减少 SL 训练过程中传输中间特征向量和梯度向量所需的通信开销。SplitFC 使用两种压缩策略：自适应特征丢弃和自适应特征量化，其实
PDFa year ago
去中心化学习系统中以较少为更多
本文介绍了 JWINS，一种通信高效且完全分散的学习系统，通过稀疏化仅共享少量参数，使用小波变换和随机通信切断降低信息损失并减少传输字节数，可在非 I ID 数据集上训练出接近于全共享的 DL 准确率，且可节省多达 64% 的字节数，在低通
PDFa year ago
群体机器人网络的迷宫探索增强学习中的通信效率
本文通过使用新的通信效率高的分布式协作强化学习算法，基于局部信息交换，旨在解决迷宫探索中的协作团队任务，并根据实际的 CORE 网络模拟和实验结果证明其在通信受损环境下可以实现显著的覆盖精度和效率的提高。
PDFa year ago
ACL面向多语言神经机器翻译的适配器通信高效联邦学习
本文提出了一种新的联邦式多语言神经机器翻译框架。相比中心化训练，该框架通过模型同步，只传输轻量化的适配器模块，降低了模型同步的通信代价。作者同时探索了各种聚类策略来减少冲突，并在适配器模块上进行了修剪，成功地提出了通信效率。实验结果表明，该
PDFa year ago
风险厌恶参与反馈下的联邦学习目标导向通信
本文研究了基于联邦学习（FL）的客户端选择问题，考虑了参与者的风险规避性质，提出了一种面向目标的通信问题，用于获得具有高通信效率的性能。它可用于制定本地传输策略，从而提高传输效率，并通过处理 PS 反馈，并评估其在培训学习模型方面的贡献，从
PDFa year ago
ICQ：一种针对位限制通道的最佳臂识别量化方案
本文提出了 Inflating Confidence for Quantization (ICQ) 算法来解决分布式多臂赌博机问题中的最优臂识别问题，并证明了该算法具有与传统算法相同的最优样本复杂度。该算法使用的通信频率与其他量化方法相比指
PDFa year ago
ICLR本地 SGD 何时、为何比 SGD 泛化性更好？
本文基于随机微分方程（SDE）模型解释了为什么（和何时）局部 SGD 具有更好的泛化性能，并证实具有较小的学习率和足够长的训练时间是取得泛化性能提升的必要条件。
PDFa year ago
具有单步合成特征压缩器的通信高效联邦学习，实现更快的收敛
本论文提出一种名为 “单步合成特征压缩器” 的方法，通过直接构建基于原始梯度的微小合成数据集，来实现通信有效的联邦学习，并优化其性能和鲁棒性，从而在多个数据集和模型上展现出显著更高的收敛速率和更低的压缩率。
PDFa year ago
Where2comm: 基于空间置信度图的通信高效协作感知
提出了空间置信图概念，以实现基于多智能体协同感知的通信高效性，使智能体在信息共享时只传递关键的感知信息，优化感知性能，并可自适应调整传输空间区域以应对不同的通信带宽。在多个数据集上的 3D 物体检测任务中，Where2comm 算法分别以不
PDF2 years ago
MM一种基于区块链的带压缩通信的快速联邦学习框架
本研究提出了一种快速、基于区块链的高效通信联邦学习框架，称为 BCFL，通过压缩通信实现了 95-98% 的通信流量减少和 90-95% 的训练时间缩短，同时导出了非凸损失的收敛速度和双凸优化问题以提高训练效果。
PDF2 years ago
SlimFL：基于可减缩神经网络超定编码的联邦学习
本文提出了一种新的基于 slimmable 神经网络的联邦学习框架（SlimFL），通过同时利用超级编码（SC）进行全局模型聚合和超级训练（ST）进行本地模型更新来交换多种宽度配置的超级位置解码，从而实现在通信效率和能量效率方面都较好并且能
PDF2 years ago
完全分散化环境下，基于有序 ADMM 的通信高效联邦学习
本文提出了一种名为基于排序的交替方向乘法方法（OADMM）的通信高效算法，它能够在分布式网络中实现优化和控制，相比传统的 ADMM 算法，在保持精度的情况下显著降低通信开销，并同时引入了建立在 OADMM 之上的 SOADMM 方法加快了收
PDF2 years ago
ICLR本地学习，整体纠错：一种用于训练图神经网络的分布式算法
本研究提出了一种基于图神经网络的、名称为 $ ext {{Learn Locally, Correct Globally}}$ (LLCG) 的、分布式算法，通过本地训练减少通信和内存开销，并利用全局服务器修正减少性能退化问题。实验结果显示
PDF3 years ago
基于 ADMM 的高效联邦学习通信方案
本文提出了基于 ADMM 的联邦学习算法，具有通信高效性、收敛线性以及计算复杂度低等优点。
PDF3 years ago