Aug, 2023

基于在线动态嵌入预测的减少陈旧性的分布式 GNN 训练

PDF
TL;DRSAT 是一种新颖的可扩展分布式 GNN 训练框架，通过建立包括时序图模型以预测未来嵌入的模型，有效减轻了缓存历史嵌入的陈旧问题，从而在多个大规模图数据集上实现了更好的性能和收敛速度。
graph neural networksdistributed computinghistorical value approximationsatembedding staleness
发现论文，激发创造
  • STAG：通过动态图实现 GNN-based 服务的低延迟和低陈旧度

    基于发现的结果，我们提出了 STAG，这是一个 GNN 服务框架，它能够实现 GNN 服务的低延迟和低陈旧度。它包括协作服务机制和基于可加性的增量传播策略。

    Sep, 2023

  • 基于图的时空预测中的局部效应控制

    本文旨在理解全局性和局部性在基于图的时空预测中的相互作用，并同时提出了一种方法论框架来合理化在这些结构中包含可训练节点嵌入的实践，通过在多个实验中提供强有力的经验证据和指导，我们论证了如何将图形模型专业化以适应每个时间序列的规律，展示了这个方面在获得准确预测中的关键作用。

    Feb, 2023

  • 通过动态跳过陈旧嵌入来加速推荐模型训练

    Slipstream 是一个软件框架，通过识别过时的嵌入并跳过其更新来提高性能，在真实世界的数据集和配置方面，相比 Baseline XDL、Intel-optimized DRLM、FAE 和 Hotline，SlipStream 分别展示了 2 倍、2.4 倍、1.2 倍和 1.175 倍的训练时间缩短。

    Mar, 2024

  • 知识图谱嵌入模型的扩展

    为训练图神经网络中的知识图嵌入模型提供可扩展解决方案，其中算法策略包括独立分区、基于约束的负样本采样和边缘小批量训练，以避免跨分区数据传输，具有 16 倍的加速效果，而模型性能与非分布式方法相当。

    Jan, 2022

  • 带有延迟的分布式随机梯度下降：基于随机延迟微分方程的框架

    基于随机时滞微分方程（SDDE）和概率到达梯度泊松近似，提出了统一框架来分析和优化异步分布式随机梯度下降（ASGD）的收敛性，揭示了 ASGD 的阻尼系数、延迟统计特性和收敛条件，以及调度策略的优化。同时表明增加激活的工作人员数量并不一定加速分布式随机梯度下降，而较大程度的时滞将导致其发散。通过数值实验验证了 SDDE 框架在复杂学习任务中具有的潜力。

    Jun, 2024

  • 分布式机器学习中滞后性的影响研究

    本文探讨延迟更新对各种机器学习模型和算法收敛行为的影响，并针对非凸优化中随机梯度下降算法的收敛分析，匹配最佳已知收敛率。

    Oct, 2018

  • 规模鲁棒的及时异步分散式学习

    分布式异步学习系统通过模型更新和模型混合过程实现用户模型在有限时间内的收敛，并证明了当网络规模很大时，具有对数规模的用户混合能够保证用户模型的收敛，而有界的陈旧度只能通过至少与用户数量成线性关系的分布式机会方案来保证。

    Apr, 2024

  • 基于语义增强的时间图网络用于内容流行度预测

    为降低因高清视频流服务和大型神经网络模型如 GPT 带来的流量压力，本研究提出了一种名为 “语义增强时间图网络（STGN）” 的方法，采用动态图神经网络（DGNN）模型预测最流行的内容进行缓存，该模型还引入了额外的语义信息来更好地利用用户之间的联系，以及通过多种机制完成对内容的预测，通过大量仿真实验证明了其在内容缓存方面的优越性。

    Jan, 2023

  • 可扩展的时空图神经网络

    本文提出了一种可扩展的体系结构，利用随机循环神经网络将输入时序的历史数据嵌入到高维状态表示中，并利用不同幂次的图相邻矩阵沿空间维传播以生成节点嵌入，从而实现多尺度的时空特征表示，我们的方法在保证结果竞争力的同时，大大降低了计算负担。

    Sep, 2022

  • 演化图中的时间推广估计

    图神经网络在各个领域得以广泛应用，但面对图演变时往往难以保持准确的表示。本文从信息论的角度分析表示失真，并通过自监督图重构引入了一个简单而有效的基线方法 Smart，该方法通过自适应特征提取器提供了出色的泛化估计性能，实证结果表明其在真实演化图上的估计表现出优异的准确度。

    Apr, 2024