decentralized deep learning | BriefGPT

关键词decentralized deep learning

搜索结果 - 4

CVPRDIMAT：分散迭代合并训练用于深度学习模型
从先进的模型合并技术中汲取灵感，我们引入了分布式迭代融合和训练（DIMAT）范式 —— 一种新颖的分布式深度学习框架，它通过使用高级模型合并技术如激活匹配，使每个代理在本地数据上训练，并定期与相邻代理合并，直到达到收敛。实证分析验证了 DI
PDF3 months ago
基于四分位数估计均值梯度聚合的联邦图像分类基准
Estimated Mean Aggregation (EMA) 是一种创新解决方案，既能够增强模型安全性，又能够处理数据异质性，从而提高去中心化深度学习在联邦学习中的效率、安全性和多样性。
PDF10 months ago
面向分布式深度学习的概念感知聚类算法（考虑时间漂移）
该研究提出了一种能够自动发现和适应网络中不断变化的概念，无需先前知识或数量估计，从而应对分散式深度学习中非独立同分布数据和动态数据的新问题。在标准数据集上的评估表明，该算法优于以前的分散式学习方法。
PDFa year ago
使用动量加速共识的去中心化深度学习
本文研究了分布式数据集下的分布式深度学习中的通信拓扑问题，提出一个基于梯度优化的 Heavy-ball 加速策略和共识协议的无中心化方法，并理论和经验上证明，在各种通信拓扑下都取得了更好的效果。
PDF4 years ago