Jan, 2024

基于图稀疏化的高能效分散式学习

PDF
TL;DR通过优化混合矩阵，改进分散式学习的能源效率，该研究将问题建模为双层优化，其中底层通过图稀疏化求解，针对全连接基底拓扑提出了一种拥有保证性能的解决方案，针对一般情况提出了一种贪心启发式方法，并通过基于真实拓扑和数据集的模拟验证，结果表明该方案可以在保持训练模型质量的前提下，将最繁忙节点的能耗降低 54%-76%。
decentralized learningenergy efficiencymixing matrixbi-level optimizationgraph sparsification
发现论文，激发创造
  • 超越谱隙：拓扑在分散式学习中的作用

    研究了具有罕见连接的分布式机器学习优化问题，提出了理论解释，解释了合作可以获得比训练单独更大的学习率，并描述了不同图形拓扑的相对优点。

    Jun, 2022

  • 分布式图聚类与稀疏化

    本文提出了一个简单的分布式算法，基于采样方案将输入的密集图转化为稀疏的子图，并在多项式对数回合内完成图的聚类，同时具有高效的实现和处理大数据集的广泛应用。

    Nov, 2017

  • 通信高效分布式优化的梯度稀疏化

    通过减少信息交换的通信成本，提出了使用凸优化公式的随机梯度编码方法，该方法可以在多台机器上有效地解决大规模机器学习中的瓶颈问题，同时经过正则化逻辑回归，支持向量机和卷积神经网络的实验验证了该方法的有效性。

    Oct, 2017

  • 面向数据异构性的分散式学习混合

    该研究探讨了分散式学习框架的收敛性与混合度之间的关系，并提出了一种定量衡量梯度混合度的指标以及优化方法，通过实验证明该方法能够在计算机视觉和 NLP 等任务中提高测试表现。

    Apr, 2022

  • 个性化模型与协作图的完全去中心化联合学习

    一种考虑了分散式机器学习和数据保护的联邦学习方式，通过构建本地图和局部连接来训练个人的、个性化的非线性模型，实现了低通讯成本和对数据的隐私保护。

    Jan, 2019

  • 边缘端的 GNN：在分布式边缘服务器上实现成本有效的图神经网络处理

    本文系统研究了多层异构边缘网络上的分布式图神经网络处理的成本优化，发现图神经网络的独特计算模式含有二次次模性质，在此基础上设计了基于图切割的迭代解法，并通过实验评估证明了其在成本降低、收敛速度等方面均具有优异性能。

    Oct, 2022

  • 联合通信与计算设计的能效联邦边缘学习

    本文研究了联邦边缘学习系统，旨在通过协调边缘设备共同训练机器学习模型，以提高系统能效。同时，利用联合通信和计算设计优化边缘设备传输协议，通过最小化边缘设备上传机器学习模型参数时的总能耗，提高系统能效。作者提出了一种有效的算法来优化能量下降问题。数值结果显示，相对于其他基准方案，作者提出的联合通信和计算设计可以显著提高联邦边缘学习系统的能效。

    Feb, 2020

  • 联合边模型稀疏学习对于图神经网络的可证明效率

    本文从样本复杂度和收敛速率的角度，首次提供了从联合边缘 - 模型稀疏学习的理论特性，证明了重要节点抽样和低幅度神经元剪枝可以减少样本复杂度，提高收敛速度，而不影响测试精度。

    Feb, 2023

  • 高效学习图形进行半监督学习

    本研究提出了一种利用多个数据集学习半监督学习图的算法，最终实现了在已知图或者未知图的情况下提高计算效率。

    Jun, 2023

  • 通过图的混合进行图稀疏化

    使用混合图 (MoG) 技术对图神经网络进行图稀疏化处理，针对每个节点的特定环境选择合适的稀疏方案，并在 Grassmann 流形上生成最优稀疏图，从而实现更高的稀疏度水平、GNN 推理速度的提升，并改善 “顶级学生” GNN 在性能上的表现。

    May, 2024