去中心化学习以网络结构、学习效果、中心性指标和知识传播为重点，通过研究三种网络拓扑和六种数据分布方法，发现全局中心性指标与学习效果相关，而局部聚类性影响较小；同时揭示了从外围到中心节点的知识转移的挑战，以及中心节点对知识传播的拉力效应；探讨了度分布对中心节点学习的积极影响以及从外围节点获取知识时的稀释效应；最后，展示了跨隔离社区的知识传播所面临的巨大挑战。

Feb, 2024

去中心化联邦学习，在保持训练数据本地化的同时，能够在网络上分布式设备上进行个体机器学习模型的协作训练。我们的研究强调了去中心化联邦学习的有效性受连接设备的网络拓扑结构的显著影响。通过简化的数值模型研究这些系统的早期行为，我们得出了一种改进的人工神经网络初始化策略，利用底层网络节点的特征向量中心性分布，大大提高训练效率。此外，我们的研究还探索了在我们提出的初始化策略下的可扩展行为和环境参数的选择。这项工作为在分布式和非协调环境中进行更高效、可扩展的人工神经网络训练铺平了道路，并深入了解了网络结构和学习动力之间的相互作用。

Mar, 2024

研究了具有罕见连接的分布式机器学习优化问题，提出了理论解释，解释了合作可以获得比训练单独更大的学习率，并描述了不同图形拓扑的相对优点。

Jun, 2022

该论文研究了分布式优化方法中工作通讯拓扑对收敛速度的影响，并提出通过使用稀疏拓扑来提高收敛速度的方法。

Feb, 2020

本文提出了一种基于拓扑结构优化神经网络连接性的方法，通过为边分配可学习参数并施加稀疏约束，更聚焦有关键作用的连接，并获得在图像分类和目标检测等任务中的显著改善。

Aug, 2020

去中心化学习具有鲁棒性，在节点破坏和数据可用性方面表现出非凡的稳定性和分类准确率。

May, 2024

这篇论文提出了一种从网络数据中推断出分层结构的通用技术，并证明了层次结构的存在可以同时解释和定量重现网络的许多常见的拓扑特性，同时还展示了层次结构的知识可以用于高精度地预测部分已知网络中的缺失连接，这表明分层结构是复杂网络的一个核心组织原则，能够为许多网络现象提供深刻洞察。

Nov, 2008

本研究将多智能体辩论的概念扩展到更一般的网络拓扑结构，衡量了问题回答的准确性、影响力、共识以及偏见对集体的影响。结果表明，随机网络与全连接网络效果相似，但使用的令牌数量显著较少。此外，智能体之间存在平衡，自我反思在局部互动出错时有助于解答正确，而局部互动在智能体本身出错时起到帮助作用。偏见在系统性能中起到重要作用，具有正确偏见的中心节点能提升系统性能。这些发现表明，在多智能体系统中使用随机网络或具有知识的智能体位于中心位置的无标度网络可以提高整体性能。

Jun, 2024

该研究探讨了分散式学习框架的收敛性与混合度之间的关系，并提出了一种定量衡量梯度混合度的指标以及优化方法，通过实验证明该方法能够在计算机视觉和 NLP 等任务中提高测试表现。

Apr, 2022

该研究提出了一种度量指标 TopoInf，用于衡量图的拓扑结构对下游任务的影响，并通过上下文随机块模型的解耦 GNN 进行分析，证明了该度量指标的有效性。通过大量实验证明 TopoInf 是衡量拓扑影响的有效度量，并可进一步用于增强图学习。

Apr, 2024