Sep, 2022

重新思考动态图神经网络中的内存陈旧问题

PDF
TL;DR本文针对动态数据在不存在事件时导致的记忆陈旧的问题提出了更新的嵌入模块，并且通过使用邻居节点的记忆信息来解决记忆陈旧问题，同时提出将最相似的节点插入到邻居节点中。通过 fine-tuning 模型超参数，特别是时间阈值和学习可学相似度度量标准，我们的方法与 TGN 相比有 slight improvement 。
staleness problemdynamic datamemory stalenessembedding modulelearnable similarity metric
发现论文，激发创造
  • 基于在线动态嵌入预测的减少陈旧性的分布式 GNN 训练

    SAT 是一种新颖的可扩展分布式 GNN 训练框架，通过建立包括时序图模型以预测未来嵌入的模型，有效减轻了缓存历史嵌入的陈旧问题，从而在多个大规模图数据集上实现了更好的性能和收敛速度。

    Aug, 2023

  • STAG：通过动态图实现 GNN-based 服务的低延迟和低陈旧度

    基于发现的结果，我们提出了 STAG，这是一个 GNN 服务框架，它能够实现 GNN 服务的低延迟和低陈旧度。它包括协作服务机制和基于可加性的增量传播策略。

    Sep, 2023

  • 分布式机器学习中滞后性的影响研究

    本文探讨延迟更新对各种机器学习模型和算法收敛行为的影响，并针对非凸优化中随机梯度下降算法的收敛分析，匹配最佳已知收敛率。

    Oct, 2018

  • 带有延迟的分布式随机梯度下降：基于随机延迟微分方程的框架

    基于随机时滞微分方程（SDDE）和概率到达梯度泊松近似，提出了统一框架来分析和优化异步分布式随机梯度下降（ASGD）的收敛性，揭示了 ASGD 的阻尼系数、延迟统计特性和收敛条件，以及调度策略的优化。同时表明增加激活的工作人员数量并不一定加速分布式随机梯度下降，而较大程度的时滞将导致其发散。通过数值实验验证了 SDDE 框架在复杂学习任务中具有的潜力。

    Jun, 2024

  • 基于递归图神经网络的动态图解释聚类

    研究动态图中节点聚类的问题，提出一种捕捉图中节点之间连接和集群成员关系动态变化的动态随机块模型，基于加权连接的简单衰减聚类算法。该算法通过优化衰减率实现几乎完美复原真实群集，并使用该算法提出了两种新的半监督图聚类算法。

    Dec, 2020

  • 规模鲁棒的及时异步分散式学习

    分布式异步学习系统通过模型更新和模型混合过程实现用户模型在有限时间内的收敛，并证明了当网络规模很大时，具有对数规模的用户混合能够保证用户模型的收敛，而有界的陈旧度只能通过至少与用户数量成线性关系的分布式机会方案来保证。

    Apr, 2024

  • 基于拓扑感知的嵌入记忆在扩展图上的学习

    基于内存回放技术的研究已经在增量累积欧几里得数据的连续学习中取得了巨大成功。然而，直接将其应用于不断扩大的图表会导致潜在的内存爆炸问题，因为需要缓冲代表节点及其相关的拓扑邻域结构。为了解决这个问题，我们系统地分析了内存爆炸问题中的关键挑战，并提出了一种通用的框架，即参数独立的图神经网络（PDGNNs）与拓扑感知嵌入记忆（TEM），以应对这个问题。该提出的框架不仅将内存空间复杂性从 O (nd^L) 降低到 O (n)，而且还充分利用了拓扑信息进行内存回放。通过解耦可训练参数与计算自我子图之间的关系，PDGNNs 通过拓扑感知嵌入（TEs）将自我子图压缩为紧凑的向量（即 TEs），以减少内存消耗。基于这个框架，我们发现了在不断扩大的图表上连续学习中独特的伪训练效应，并由此激发了我们开发一种新的覆盖率最大化采样策略，可以在紧凑的内存预算下提高性能。深入的实证研究表明，通过解决内存爆炸问题并将拓扑信息与内存回放相结合，PDGNNs 与 TEM 明显优于最先进的技术，特别是在具有挑战性的类增量设置中。

    Jan, 2024

  • TREND: 基于时间事件和节点动态的图表示学习

    TREND 是一种基于 Hawkes 过程的图神经网络，采用渐进的模式进行节点处理，并通过模型与节点动态驱动的个体化和集体特征分析方法来捕获事件之间的激动效应。在四个真实 - world 数据集上进行的广泛实验表明了模型的有效性。

    Mar, 2022

  • 循环时序修正图网络

    用递归神经网络对时态图的邻居进行汇聚，以获取来自每个节点的完整邻居信息，从而提供具有卓越的理论表达能力和在真实应用中的最先进性能，其中在一个真实世界的电子商务数据集上，相比于现有模型的 2 层模型，平均精确度显著提高了 9.6%。

    Sep, 2023

  • 基于时间图的动态图深度学习

    本文提出了一种称为 TGN 的新型深度学习框架，可以有效地在动态图形学中学习演化特征或连接。

    Jun, 2020