SPEED:用于时间交互图嵌入的流式划分和并行加速
该研究提出了一种名为 TIGER 的时序图嵌入模型,引入了一个重启模块来生成代理表示,使模型能够从多个时间戳同时重启,从而使模型能够并行。与之前的模型不同,该模型引入了双重记忆模块以更好地利用邻域信息并减轻旧问题。
Feb, 2023
Temporal Interaction Graph Prompting (TIGPrompt) is a versatile framework that integrates with TIG models, addressing the challenges of temporal discrepancy and semantic divergence in their pre-training and downstream predictions, by using temporally-aware prompts and a 'pre-train, prompt-based fine-tune' paradigm.
Feb, 2024
本文提出了 TGL,一个适用于大规模离线图神经网络的统一框架,在多个 GPU 上进行训练,该框架包括时间采样器、邮箱、节点内存模块、内存更新器和消息传递引擎等五个主要组件,并通过随机块调度技术解决了训练大批量样本时过时的节点内存等问题。在多个小规模和两个大规模数据集上的实验结果表明,TGL 可以实现更快的训练速度和类似或更好的准确性。
Mar, 2022
采用模型并行而非图并行的分布式全局图神经网络训练方法 GNNPipe,结合基于分块的流水线训练方法以及混合并行性,以减少通信开销并加快训练时间,同时保持相当的模型准确性和收敛速度。
Aug, 2023
提出了 PiPAD,一种基于管道和并行设计的动态图神经网络 (DGNNs) 训练框架,用于在 GPU 上进行端到端性能优化。在各种数据集上的评估表明,PiPAD 在三种代表性模型上实现了 1.22 倍 - 9.57 倍的超越最先进的 DGNN 框架的加速。
Jan, 2023
TASER 是第一个针对准确性、效率和可扩展性进行优化的适用于 TGNNs 的自适应采样方法,通过根据训练动态和过去交互的上下文、结构和时间属性进行微批次选择和邻居选择来提高准确性和训练速度。在五个广受欢迎的数据集上,TASER 的平均平均倒数排名(MRR)比对应的基线高出 2.3%,同时训练时间平均加快 5.1 倍。
Feb, 2024
在这篇论文中,我们通过引入自适应邻域编码机制来增强现有的时态图神经网络 (TGNs),提出了 SEAN 模型,该模型可以无缝集成到现有的 TGNs 中,有效提升其性能。具体而言,该模型通过代表性邻居选择和时态感知邻域信息聚合两个阶段,实现自适应邻域编码的过程,从而在聚合过程中灵活利用重要的邻居信息,并适应性地选择和衰减过时信息,取得了出色的性能提升。我们在四个公共数据集和一个金融基准数据集上将 SEAN 与三种代表性 TGNs 进行了集成,并进行了大量的实验证明,SEAN 可以在所有模型上持续提高性能,达到顶级水平并具有出色的稳健性。
Jun, 2024
本文提出了 AccEPT,一种用于加速边缘协同流水线 - 并行训练的加速方案,其中包括轻量级自适应延迟预测器以准确估计不同设备上每一层的计算延迟,并通过连续学习适应未见过的设备,以实现更好的模型划分来平衡参与设备上的计算负载。此外,我们还提出了一种位级计算高效的数据压缩方案,以在训练过程中压缩需要在设备间传输的数据。我们的数值结果表明,在考虑的实验设置中,我们提出的加速方法能够使边缘流水线并行训练的速度显著提高,最高可达到原来的 3 倍速度。
Nov, 2023
本文提出了一种称为 TIGGER 的新型生成模型,该模型采用时间点过程结合自回归建模,既支持传导变体又支持归纳变体,是一种性能优越、速度快三个数量级,能够生成更真实图形的模型。
Mar, 2022
本论文提出了一种新的基于 Transformer 的方法 ——Transformer with Implicit Edges (TIE),以无边的方式捕捉粒子相互作用的丰富语义,最终在领域多样性和材料多样性方面获得卓越表现和泛化能力。
Jul, 2022