基于 Prompt 的时空图迁移学习
我们提出了一种新颖的生成式预训练框架 GPDiff,用于解决智能城市应用中由于数据稀缺导致的空间 - 时间图 (STG) 学习问题。通过将 STG 迁移学习重新视为生成式超网络的预训练,我们的方法能够在多个真实数据集上显著优于现有方法,对于交通速度预测和人群流动预测等任务具有良好的适应性。
Feb, 2024
在本文中,我们提出了 MultiGPrompt,一种新颖的多任务预训练和提示框架,用于利用多个预设任务获取更全面的预训练知识,并通过预设和全局提示指导少样本情境下的后续任务。我们进行了六个公共数据集上的大量实验来评估和分析 MultiGPrompt。
Nov, 2023
我们的研究论文提出了一种新颖的基于提示的时间域泛化方法,该方法具有参数高效、时间高效的特点,并且在训练过程中不需要访问目标域数据(即未来时间段的数据)。我们的方法通过学习全局提示、领域特定提示和感知潜在时间动态的提示,使目标预训练模型适应时间漂移。它适用于分类、回归和时间序列预测等各种任务,并在时间域泛化方面取得了新的最先进基准水平。代码仓库将公开共享。
Oct, 2023
提出了 HetGPT,一种通用的后训练提示框架,用于改善预训练的异构图神经网络(HGNNs)的预测性能,并通过多视图邻域聚合机制捕捉异构图中的复杂邻域结构。在三个基准数据集上进行的大量实验证明了 HetGPT 在半监督节点分类方面改进了最先进的 HGNNs 的性能。
Oct, 2023
帧质量下降是视频理解领域中的主要挑战之一。为了弥补由于帧质量下降而引起的信息损失,最近的方法利用基于 Transformer 的集成模块来获得时空信息。然而,这些集成模块过于复杂和繁重。在本文中,我们提出了一个简洁且统一的框架,称为时空提示网络 (STPN)。它通过动态调整骨干网络中的输入特征,可以高效地提取稳健准确的视频特征。此外,STPN 易于推广到各种视频任务,因为它不包含任务特定的模块。没有花哨的设计,STPN 在三个广泛使用的数据集上取得了最先进的性能,涵盖了不同的视频理解任务,例如用于视频对象检测的 ImageNetVID,用于视频实例分割的 YouTubeVIS 以及用于视觉目标跟踪的 GOT-10k。
Feb, 2024
Temporal Interaction Graph Prompting (TIGPrompt) is a versatile framework that integrates with TIG models, addressing the challenges of temporal discrepancy and semantic divergence in their pre-training and downstream predictions, by using temporally-aware prompts and a 'pre-train, prompt-based fine-tune' paradigm.
Feb, 2024
在信息爆炸时代,时空数据挖掘作为城市管理的关键部分,通过同时预测多个时空属性,可以减轻监管压力,推动智能城市建设。本文提出了一种针对时空多属性预测的有效解决方案,PromptST,通过时空变换器和参数共享训练机制来处理不同时空属性之间的共同知识,以及一种轻量级时空指令调优策略来适应特定属性。通过预训练和指令调优阶段,PromptST 能够增强对特定时空特征的捕捉能力,并保持已学习的共同知识。在真实数据集上进行的广泛实验证明,PromptST 达到了最先进的性能。此外,我们还证明 PromptST 在未见过的时空属性上具有很高的可迁移性,为城市计算带来了有前景的应用潜力。实现代码可用于方便的复现。
Sep, 2023
GraphPrompt 是一种基于图的新型预训练和提示框架,通过统一预训练和下游任务,并使用可学习的提示来帮助下游任务以任务特定的方式定位来自预训练模型的最相关知识,进一步提升了预训练和提示方面的性能。
Nov, 2023
本文提出了一个新的在图上进行预训练和提示的框架 GraphPrompt,可以将预训练和下游任务统一到一个通用的任务模板中,并使用可学习的提示来以一种特定于任务的方式帮助下游任务定位来自预训练模型的最相关知识。在五个公共数据集上展开了广泛的实验来评估和分析 GraphPrompt。
Feb, 2023