研究了数据分布、通信速度和网络连接性如何影响八无人机网络中八不可访问节点对闲聊学习收敛的影响,旨在提高效率并延长电池寿命。
Jan, 2024
本研究通过自学习、分布式学习的方法,适应环境,使物联网设备之间的通信参数最大程度优化,实现能源效率和通信可靠性的提高,并与中心化方式进行对比,结果显示本方法能显著提升物联网通信的能源效率和可靠性,在低成本和低功耗的物联网应用中具有很好的应用前景。
Jul, 2018
本研究提出了基于疏泊梯度下降算法的 GossipGraD 聊天协议,用于大规模系统的深度学习算法。通过优化 GossipGraD 的五个显著特征,最终实现对 ImageNet-1K 数据集的高效计算和分类。
Mar, 2018
GML 是一种去中心化的协作学习框架,通过使用八卦协议实现直接的点对点通信并利用相互学习从同行处获取有用信息,改善了基于全局数据特性训练的模型性能,尤其在肿瘤分割任务方面,相比于基线方法(汇集训练、FedAvg 和单独训练),在特定测试样本中的 Dice 相似系数(DSC)分别提高了 3.2%、4.6% 和 10.4%,在 78 个样本的两个样本外站点上应用时,GML 的泛化性能与汇集训练和 FedAvg 相当,同时通信开销减少了六倍,仅需总通信开销的 16.67%。
本文提出了一种基于 gossip 通信和 mutual attention 机制的 GOAT 算法,无需任何附加文本特征,仅仅通过图的结构就能提取高质量的上下文敏感节点表示。我们使用 6 个真实数据集对 GOAT 进行了比较,并与 12 个流行和最先进的基线进行了比较,发现 GOAT 在链接预测和节点聚类方面的表现均优于其他方法,相对最佳性能方法的提高率达到 12% 和 19%。
Mar, 2020
提出了基于需求量化的移动边缘网络中的按需量化能效联合扩散方法,能够显著降低系统能耗和传输模型大小,同时有效地保持生成数据的合理质量和多样性。
Mar, 2024
本文提出了一种基于模型细分的分散式联邦学习方法,并采用细分的 “流言” 方法来实现节点间对等带宽的充分利用和良好的训练收敛性,在实验中,与中心化联邦学习相比,能够大大缩短训练时间。
Aug, 2019
本研究旨在解决加速卷积神经网络训练的问题,其中使用了一种适用于随机梯度下降的分布式方法。这种并行优化设置使用多个线程,每个线程在本地变量上应用单独的梯度下降,并提出了一种具有吸取交际算法启发式的共享不同线程信息的新方法,具有良好的一致收敛性和完全异步和分散式的优势,该方法称为 GoSGD。我们在 CIFAR-10 上将此方法与最近的 EASGD 作比较,结果鼓舞人心。
Nov, 2016
本论文研究了一组学习代理在协作对等网络中,每个代理根据自己的学习目标学习个性化模型。本文介绍和分析了两种异步流言算法,以完全分散的方式运行。我们的第一种方法旨在在网络上平滑预训练的本地模型,同时考虑每个代理在其初始模型中的置信度。在我们的第二种方法中,代理共同学习和传播其模型,基于其本地数据集和邻居的行为进行迭代更新,为了优化这一具有挑战性的目标,我们的分散算法是基于 ADMM。
Oct, 2016
提出了一种基于成熟基础架构的可扩展、容错和集成训练和推理的 AGL 系统,采用图传递机制和 MapReduce 算法来训练和推理图神经网络,同时通过生成每个节点的信息完整子图以及在参数服务器上训练来解决图形结构中的数据依赖性问题。