本研究提出了一种名为 Base-k Graph 的新型拓扑结构，该结构在实现快速共识率的同时，最大度数较小，从而提高了分布式学习的收敛速度和通信效率。实验表明，采用 Base-k Graph 可以比现有拓扑结构更好地提高分布式学习的精度和通信效率。

May, 2023

研究了分布式随机梯度下降算法的新方法：使用指数图作为通信拓扑，以实现高效的精确平均和较少的通信成本，进而提高训练速度和质量。

Oct, 2021

通过在边上交换信息，图神经网络对图结构化数据进行操作。然而，信息过于压缩问题限制了这种信息传递范式，可能导致信息丢失。为了解决这个问题，最新的研究探索使用低直径高连通度的稀疏图 —— 扩展图来进行信息传递。然而，现有的扩展图传播方法只考虑了两两交互，忽略了复杂数据中的高阶结构。为了探索在利用扩展图的同时捕捉这些高阶相关性的好处，我们引入了高阶扩展图传播。我们提出了两种构建二分扩展图的方法，并在合成数据集和真实世界数据集上评估了其性能。

Nov, 2023

本文介绍了去中心化优化中最近的研究进展，并概述了针对不同场景的算法和分析，强调了网络拓扑在这些方法中的作用。

Sep, 2017

该研究使用扩展图形传递信息来提出了一种名为 EGP 的图神经网络，以解决全图分类或回归任务中的挑战，同时避免病态行为和过度压缩等问题，为解决 GNN 中的过度压缩问题开辟了一条新途径。

Oct, 2022

通过优化混合矩阵，改进分散式学习的能源效率，该研究将问题建模为双层优化，其中底层通过图稀疏化求解，针对全连接基底拓扑提出了一种拥有保证性能的解决方案，针对一般情况提出了一种贪心启发式方法，并通过基于真实拓扑和数据集的模拟验证，结果表明该方案可以在保持训练模型质量的前提下，将最繁忙节点的能耗降低 54%-76%。

Jan, 2024

本文提出了一种图形连接的 CNN 结构，其中使用扩展器图以提高连接效率和层间信息传递，与现有的 ResNets 和 DenseNet 及其变体相比可以在精度和效率方面达到更好的平衡。

Nov, 2017

我们提出了一种称为 DT-GO 的新颖基于八卦的算法，它在不需要了解节点出度的情况下适用于一般的有向网络，对于拥有延迟或有限确认能力的网络。我们推导了凸和非凸目标的收敛速率，并证明我们的算法实现了与集中式随机梯度下降相同的复杂度顺序，也就是说，图的拓扑结构和延迟效应只影响高阶项。此外，我们扩展了分析以适应时变网络拓扑。通过数值仿真来支持我们的理论发现。

May, 2024

通过引入第一个实际有效的算法来计算扩展者分解及其层级，我们在大量的实验中展示了我们基于扩展者的算法在解决归一化割图聚类问题上相对于当前最先进的解决方案在解决质量上大大优于各种图类，如引用、电子邮件、社交网络或网络图，并且在运行时间上仍然具有竞争力。

Jun, 2024

本文研究了通过节点之间的交流来进行分布式优化的问题，提出了一种基于广播的算法，即 subgradient-push algorithm, 计算其收敛速率.

Mar, 2013