model aggregation | BriefGPT

关键词model aggregation

搜索结果 - 30

能源感知的分散式学习与间歇模型训练
SkipTrain 是一种新的分散式学习算法，通过策略性地跳过一些训练轮次并用同步轮次代替，从而减少能耗，并且在能耗减少的同时，能够获得比传统的 DL 算法更高精度的模型。
PDF5 days ago
完全分散化神经网络系统中的消失方差问题
去中心化的学习方法 federated learning 和 gossip learning 之间的关键区别在于模型聚合方式；我们的研究引入了一种修正方差的模型平均算法，使 gossip learning 能够达到与 federated l
PDF3 months ago
共形在线模型聚合
这篇论文介绍了一种在在线环境中通过投票将多个算法的预测集合结合起来的方法，从而解决了在 conformal prediction 中的模型选择和 / 或聚合问题。
PDF3 months ago
Asyn2F: 异步联邦学习框架与双向模型聚合
设计并开发了一个具有双向模型聚合的异步联邦学习框架 Asyn2F，通过允许服务器异步聚合多个本地模型，得到新的全局模型，并允许训练工作者将新版本的全局模型聚合到正在训练的本地模型中，从而解决了异构训练工作者带来的延迟和过时信息问题，实验证明
PDF4 months ago
全局化学习：一种灵活的基于代理的分布式机器学习框架
提出了一种名为 Holonic Learning 的协作和隐私重视的深度学习模型训练框架，其通过利用 Holonic 概念在学习过程中建立结构化自相似层次，通过每个 Holon 的个体模型聚合方法以及它们之间的内部 Holon 承诺和通信模
PDF6 months ago
基于复制树的有限数据联邦学习
在本研究中，我们提出了一种名为 RepTreeFL 的新型联邦学习框架，通过复制参与客户端的模型架构并扰动其本地数据分布的方式，在有限的数据和少数客户端的情况下，通过聚合多个具有不同数据分布的模型来实现学习。我们利用客户端网络的分层结构以及
PDF6 months ago
FedSDD：面向联邦学习模型聚合的可扩展和多样性增强蒸馏
我们提出了一种可扩展和多样性增强的联邦蒸馏方案 FedSDD，通过将教师模型构建成由少量聚合（全局）模型组成的集合而不是所有客户模型，以增强可伸缩性，并从一组具有增强多样性的聚合模型构建集合，从而提高了整体和主要全局模型的性能，FedSDD
PDF6 months ago
AAAI通过负蒸馏实现具有极度噪声客户端的联邦学习
通过负抽取方法，利用带有噪声数据的客户端训练模型，并在知识蒸馏中使用伪标签提高模型的可信度，通过负抽取的模型聚合方法提高联邦学习系统的性能。
PDF7 months ago
基于自监督先验知识的联邦模型聚合方法用于高度不平衡的医学图像分类
在这篇论文中，我们研究了在高度不平衡数据集中利用公开可用的自监督辅助网络进行的客户端内类别间变化。根据这些发现，我们通过自监督先验（MAS）导引全局模型优化，提出了一种动态的平衡模型聚合方法。 Fed-MAS 可以与不同的本地学习方法一起使
PDFa year ago
通过空中计算的半异步联邦边缘学习机制
本文提出了一种使用 AirComp 方案的半异步聚合 FEEL 机制 (PAOTA)，以提高 FEEL 系统的训练效率，并通过模拟结果表明，相对于理想的本地 SGD 和 AirComp 的同步 FEEL 算法，PAOTA 在达到相同目标精度
PDFa year ago
云 RAN 上的竖直联邦学习：收敛分析与系统优化
本文提出了一种基于云无线接入网络 (Cloud-RAN) 的竖直联合学习系统，利用空中计算 (AirComp) 和协作模型聚合技术减少地理分布的边缘服务器之间的通信延迟，结合传输优化模型和前传量化设计优化模型，提高竖直联合学习的模型聚合准确
PDFa year ago
分层和分散的联邦学习
分层联邦学习是一种扩展传统联邦学习过程以实现更高效的模型聚合的方法，可用于智能农业和智能能源管理等应用中，以提高性能并降低成本。
PDFa year ago
联邦学习中更多的通信量不会导致更小的泛化误差
该研究针对联邦学习中的统计学习模型的普适性误差进行了研究，讨论了模型聚合的轮次对最终聚合模型的影响，并且提出了通过优化选择合适的聚合轮次来减少总体风险的可能性。
PDFa year ago
非独立同分布场景下联合学习中的规范化层实验
本文研究了使用联邦学习方法在分布式非独立同分布数据集上训练深度学习模型时，采用不同的规范化层和协同频率策略，优化模型性能的效果，研究发现，Batch Normalization 并不是最适合联邦学习的规范化策略，而 Group 与 Laye
PDFa year ago
ICLR对比表示集成下的多模态联邦学习
CreamFL 是一个支持多模态联邦学习的框架，实现了对客户侧使用异构模型结构和数据模态，从而提高了全局模型的复杂度和数据容量，同时使用公共数据集进行知识交流，并设计了全局本地交叉模态集成策略来聚合客户端表示。同时，它还提出两种模态间和模态
PDFa year ago
HiFlash: 具有自适应陈旧度控制和异构感知客户端 - 边缘关联的通信高效分层联合学习
利用 hierarchical federated learning paradigm (HiFL)，基于手机边缘计算和同步客户端 - 边缘模型聚合与异步边缘 - 云模型聚合相结合的方式，显著降低了 WAN 传输的流量，提高了 HiFlas
PDFa year ago
GTFLAT: 基于博弈论的附加模块，为联邦学习聚合技术提供支持
GTFLAT 基于博弈论，提出一种系统性的解决方案，对参与方的自我加权达成协议，使得在平均化任务中达到均衡状态，可以提高联邦学习算法的性能和训练效率。结果表明，使用 GTFLAT 可以增加 1.38％的顶级 1 测试准确性，同时需要少 21
PDF2 years ago
无线联邦学习中考虑延迟的半同步客户端选择和模型聚合
该论文提出了一种名为 LESSON 的方法，它通过选择不同频率上传模型的客户端来解决异质客户端设置下的延迟问题，加速收敛速度并避免模型过度拟合。模拟结果表明，LESSON 的收敛速度比 FedAvg 和 FedCS 更快，模型准确性比 Fe
PDF2 years ago
CDKT-FL：使用代理数据集的联邦学习跨设备知识转移
本文提出了一种基于 knowledge distillation 的方法，以实现跨设备知识传输，以改善联邦学习中模型聚合的问题，从而开发出更健壮的泛化全局和个性化模型，该方法通过模拟四个联邦数据集表明其可显著提升本地模型的个性化性能和算法的
PDF2 years ago
ECCVFedVLN: 隐私保护的联邦视觉语言导航
本研究提出了一种保护数据隐私的联邦视觉与语言导航（FedVLN）框架，通过去中心化训练策略和联邦探索方法来实现局部模型聚合，对于实现环境隐私和数据隐私的保护都起到了积极作用。在 R2R 和 RxR 数据集上的实验表明，联邦预探索方法可以显著
PDF2 years ago