distributed deep learning | BriefGPT

关键词distributed deep learning

搜索结果 - 34

大规模分布式深度学习的资源分配和工作负载调度研究
大规模分布式深度学习中，资源分配和工作负载调度的高效策略是实现高性能深度学习的关键。本综述调查了 2019 年至 2024 年间关于大规模分布式深度学习的资源分配和工作负载调度策略的文献，并通过探索不同类型的资源、调度粒度和性能目标，以及实
PDF22 days ago
基于联邦动态平均的高效通信分布式深度学习
由于数据的不断增长和去中心化特性，以及现代模型的不断增大，分布式深度学习 (Distributed Deep Learning, DDL) 已成为首选的训练范式。本文提出了一种名为联邦动态平均 (Federated Dynamic Aver
PDFa month ago
分布式深度学习中的前向 - 前向
通过分布式计算环境中采用 Geoffrey Hinton 的 Forward-Forward（FF）算法来增强神经网络的训练，该论文介绍了一种新的分布式深度学习方法。该方法利用双向传递策略进行前向传递，与传统的前向和后向传递方法有显著的区别
PDF3 months ago
分布式神经计算打破维度灾难
我们提出了一种理论方法，使用一种可以在多台机器上分布的神经计算算法来克服维度灾难。我们的模块化分布式深度学习范 paradigm 让我们能够在只加载少量参数到 GPU VRAM 的情况下实现任意的精度。我们从理论上证明，对于任意的错误水平
PDF5 months ago
RS-DGC: 通过探索邻域统计量对遥感影像解释的动态梯度压缩
近期，分布式深度学习在遥感应用中引起了更多的关注，其中梯度稀疏化被验证为一种有效压缩梯度的方法，以减少通信成本并加快训练速度。通过引入梯度邻域来增强梯度之间的相互依赖，并使用邻域统计指标（NSI）来定义梯度的重要性，我们提出了一种动态梯度压
PDF6 months ago
梯度压缩的收缩误差反馈
提出了一种名为收缩误差反馈（ConEF）的通信高效方法，通过利用有偏差和可全局聚合的梯度压缩实现通信效率，并在各种学习任务中对 ConEF 进行了经验证实，节省了 EFSGD 中 80％-90％的额外内存，同时实现了 1.3x-5x 的 S
PDF7 months ago
灵活通信实现不确定网络下的最优分布式学习
梯度压缩通过发送更少的值和对应的索引（通常通过 Allgather）来减轻分布式深度学习中昂贵的通信成本。本文提出了一种与 Allreduce 兼容的 Topk 压缩器，在某些网络配置中比 Allgather 表现更好。我们开发了一种灵活的
PDF7 months ago
分布式深度学习的二次同步规则
使用分布式深度学习和数据并行 ism 方法，通过提出基于理论的使用二次同步规则（QSR）来动态确定本地梯度方法中的一个超参数 H 的值，以提高泛化性能。在 ImageNet 上的实验结果表明，使用 QSR 能够持续改善测试准确性，并且相比标
PDF8 months ago
边缘 / 云计算环境中数字孪生的高效任务卸载算法
本论文提出了一种考虑到异构的移动云计算 / 移动边缘计算环境的数字孪生系统模型以及一个新的基于分布式深度学习的卸载方案，并通过实验结果证明了该算法相对于动态数字孪生系统中的基线具有较好的降低系统平均延迟和能耗的效果。
PDFa year ago
DEFT: 利用模型层之间的梯度范数差异实现可扩展梯度稀疏化
梯度稀疏化是减少分布式深度学习中过多通信流量的广泛采用解决方案，然而，大多数现有的梯度稀疏化方法由于梯度选择的计算成本较高和 / 或由于梯度累积导致的通信流量增加而具有相对较差的可扩展性。为了解决这些挑战，我们提出了一种新颖的梯度稀疏化方案
PDFa year ago
OSP：通过 2 阶段同步提高分布式模型训练效率
本研究旨在提出一种新的模型同步方法，名为 Overlapped Synchronization Parallel (OSP)，通过使用 2 级同步方法和基于局部梯度的参数校正 (LGP)，以达到有效的通信，避免丢失梯度导致的精度损失，并在测
PDFa year ago
DLRover：一种具有自动任务资源推荐的弹性深度训练扩展
系统是一个自动配置深度学习作业资源的分布式深度学习框架，具有动态调整作业资源以获得更好性能的弹性能力。
PDFa year ago
SparDL：高效稀疏通信的分布式深度学习训练
提出了 SparDL，一种灵活而高效的稀疏通信框架，使用 Spar-Reduce-Scatter 算法来解决分布式深度学习中的梯度积累问题，并使用 Spar-All-Gather 算法进一步减少通信复杂度并调整延迟和带宽成本的比例，大量实验
PDFa year ago
实用安全分布式深度学习的成员映射
本文提出一种基于模糊成员映射的数据表示能力的方法，以实现安全的分布式深度学习，并通过应用模糊属性来解决完全同态加密数据的大量计算问题，从而实现隐私保护、精确、实用和可扩展的全局模型的评估。
PDF2 years ago
基于知识蒸馏的本地差分隐私分布式深度学习
本文提出了一种隐私保护的分布式深度学习框架 LDP-DL, 通过使用本地差分隐私和知识蒸馏进行模型训练。实验结果表明，在三个常用深度学习数据集 (CIFAR10, MNIST, FashionMNIST) 上的实验中，LDP-DL 在隐私预
PDF2 years ago
3DPG: 网络化多智能体系统的分布式深度确定性策略梯度算法
本论文提出了一种基于分布式深度学习的多智能体 Actor-Critic 学习算法，应用于 Markov 博弈，能够在训练和部署中实现完全分布式，具有一定的实用价值。
PDF3 years ago
SplitGuard：在分布式学习中检测和缓解训练劫持攻击
本文提出 SplitGuard 方法来检测分布式深度学习模型中的训练劫持攻击，以保障数据私密性的同时，最大化减少敏感信息恢复的风险。
PDF3 years ago
ICMLInstaHide：用于私有分布式学习的实例隐藏方案
本文介绍了 InstaHide，一种能够同时保护隐私并运用于分布式深度学习的图像加密方法，通过一个机制使得攻击者难以破解出影像内容，从而实现对个人隐私的保护，并通过实验与理论分析证明了其对隐私的有效保护。同时，该论文还深入分析了 Pixel
PDF4 years ago
基于 SplitNN 的垂直分区
本文介绍了 SplitNN 驱动的垂直分区，是一种名为 SplitNN 的分布式深度学习方法的一种配置，以便从垂直分布的特征中进行学习。该方法可以在持有不同数据源的机构之间进行培训，而不需要复杂的加密算法或安全计算协议。该方法具有灵活性，并
PDF4 years ago
AAAIHorovodRunner 启用的 Spark 集群上卷积神经网络和图卷积网络的基准测试
本文首次展示了 Databricks 的 HorovodRunner 在 GPU 和 CPU 集群上对基于卷积神经网络（CNN）的任务具有显著的扩展效率提升，但并没有在原始 GCN 任务上实现相同的效果。此外，我们还首次在 HorovodR
PDF4 years ago