PromptST: 提示增强的时空多属性预测

Sep, 2023

PromptST: 提示增强的时空多属性预测

PromptST: Prompt-Enhanced Spatio-Temporal Multi-Attribute Prediction

Zijian Zhang, Xiangyu Zhao, Qidong Liu, Chunxu Zhang, Qian Ma...

TL;DR在信息爆炸时代，时空数据挖掘作为城市管理的关键部分，通过同时预测多个时空属性，可以减轻监管压力，推动智能城市建设。本文提出了一种针对时空多属性预测的有效解决方案，PromptST，通过时空变换器和参数共享训练机制来处理不同时空属性之间的共同知识，以及一种轻量级时空指令调优策略来适应特定属性。通过预训练和指令调优阶段，PromptST 能够增强对特定时空特征的捕捉能力，并保持已学习的共同知识。在真实数据集上进行的广泛实验证明，PromptST 达到了最先进的性能。此外，我们还证明 PromptST 在未见过的时空属性上具有很高的可迁移性，为城市计算带来了有前景的应用潜力。实现代码可用于方便的复现。

Abstract

In the era of information explosion, spatio-temporal data mining serves as a critical part of urban management. Considering the various fields demanding attention, e.g., traffic state, human activity, and social event, predicting multiple spatio-temporal attributes simultaneously can a

spatio-temporal data mining multi-attribute prediction smart city construction promptst urban computing

发现论文，激发创造

基于 Prompt 的时空图迁移学习

提出了一个基于提示增强的跨时空图转移学习框架，适应数据稀缺领域中的多样任务，在三个下游任务预测、克里金插值和外推中明显优于现有基线方法。

May, 2024

FlashST: 一个简单且通用的交通预测快速调整框架

本文介绍了一种简单且通用的时空提示调整框架 - FlashST，用于适应多样化下游数据集的特定特征，提高各种交通预测场景的泛化能力，并通过包含分布映射机制来实现预训练数据和下游数据的有效知识传递，通过对多样化城市数据集进行实证评估，验证了 FlashST 框架的有效性。

May, 2024

MLPST: MLP 适用于时空预测的全部需求

交通预测是一种典型的时空数据挖掘任务，对公共交通系统具有重要意义。为了实现高效、轻量和有效的时空预测方法，我们提出了一种直观而新颖的框架 MLPST，它是一个纯多层感知器架构，能够在要求仅为线性计算复杂度的同时，很好地捕捉空间和时间依赖关系。通过与先进基准模型的比较，广泛的实验证实了 MLPST 的出色效果和高效性，而在模型的准确率最优中，MLPST 实现了最好的时间和空间效率。

Sep, 2023

稳健视频特征提取的时空提示网络

帧质量下降是视频理解领域中的主要挑战之一。为了弥补由于帧质量下降而引起的信息损失，最近的方法利用基于 Transformer 的集成模块来获得时空信息。然而，这些集成模块过于复杂和繁重。在本文中，我们提出了一个简洁且统一的框架，称为时空提示网络 (STPN)。它通过动态调整骨干网络中的输入特征，可以高效地提取稳健准确的视频特征。此外，STPN 易于推广到各种视频任务，因为它不包含任务特定的模块。没有花哨的设计，STPN 在三个广泛使用的数据集上取得了最先进的性能，涵盖了不同的视频理解任务，例如用于视频对象检测的 ImageNetVID，用于视频实例分割的 YouTubeVIS 以及用于视觉目标跟踪的 GOT-10k。

Feb, 2024

TemPrompt: 基于 RAG 的众包系统中的多任务提示学习用于时间关系抽取

基于预训练语言模型的多任务提示学习框架（TemPrompt）结合了提示调整和对比学习来解决事件的演变以及任务请求的问题，实验结果表明在标准和少样本情况下，TemPrompt 在多个指标下优于其他基准模型，并通过案例研究验证了在众包场景中的有效性。

Jun, 2024

SPT：多任务提示学习的半参数提示调整

SPT 是一种半参数化的提示微调方法，其包含一个内存库，可以根据离散提示检索记忆提示，并通过 Fine-Tuning GLUE 数据集以及在五个自然语言处理任务类别下评估零 - shot 泛化以及在 SuperGLUE 数据集上预训练，众多实验证明了其有效性。

Dec, 2022

UniST：用于城市时空预测的提示增强通用模型

UniST 是一个通用模型，通过对多样的时空数据特征的灵活性、精心设计的掩模策略以及时空知识引导的提示，实现对城市时空预测的强大泛化能力，15 个城市和 6 个领域的广泛实验证明了 UniST 在提升最先进预测性能方面的普适性，特别是在少样本和零样本情况下。

Feb, 2024

STF：空间时间融合的轨迹预测

本研究提出了一种集成的三维图形方法，将空间和时间信息融合在一起，并考虑跨时间的交互信息，以更准确地预测车辆轨迹。实验证明，该方法在长时间范围的轨迹预测中表现优于其他基线方法。

Nov, 2023

时空和语义结合的城市异常预测

该研究提出了一个名为 STS 的多任务预测模型，可以联合三维空间、时间和语义方面的异常模式与影响因素间的内部和互间关系，并使用定制的损失函数解决由于稀疏零膨胀数据引起的问题，从而有效预测城市安全和维护方面的多种异常情况。通过四个实际数据集上的实验验证，该模型在平均绝对误差和均方根误差方面比现有方法表现更优秀。

Apr, 2023

时空预测学习的三元注意力变换器

基于历史序列预测未来序列的时空预测学习提供了一种自监督学习范式，主流方法利用循环单元进行建模，但循环单元的并行性不足，常常在现实场景中表现欠佳。为了在保持计算效率的同时提高预测质量，我们提出了一种创新的三元注意力变换器，在设计上捕捉了帧间动态与帧内静态特征。通过将 Triplet Attention Module (TAM) 整合到模型中，我们取代了传统的循环单元，并对时空和通道维度中的自注意力机制进行了深入探索。在这种配置下：(i) 时序标记包含了帧间的抽象表示，有助于捕捉固有的时序依赖性；(ii) 空间和通道的注意力结合，通过在空间和通道维度上进行细粒度交互来改进帧内表示。交替运用时序、空间和通道级别的注意力使得我们的方法能够学习更复杂的短程和长程时空依赖关系。广泛的实验表明，我们的方法在移动物体轨迹预测、交通流预测、驾驶场景预测和人体动作捕捉等多种场景下性能超过了现有的基于循环和非循环方法，达到了最先进水平。

Oct, 2023