Nov, 2023

GATGPT：基于图注意力网络的预训练大型语言模型用于时空填补

PDF
TL;DR在本研究中，我们提出了一种创新方法 GATGPT，它将已训练好的大型语言模型（LLM）与图注意机制相结合，用于时空插补。我们保持大部分 LLM 参数不变，以利用现有知识学习时间模式，并针对不同应用程序调整上层的微调。图注意组件增强了 LLM 理解空间关系的能力。通过对三个真实世界数据集的测试，我们的方法表现与已建立的深度学习基准相当。
spatiotemporal dataimputationlarge language modelsgraph attention mechanismdeep learning benchmarks
发现论文，激发创造
  • UrbanGPT：时空大型语言模型

    基于大型语言模型和空间 - 时间依赖编码器的 UrbanGPT 在数据稀缺情况下实现了更全面、准确的空间 - 时间预测任务，显示了在零样本场景中建立大型语言模型的潜力。

    Feb, 2024

  • ImputeFormer: 用于可推广的时空插补的图变换器

    这篇论文研究了使用深度神经网络架构解决多元时间序列插补问题。通过利用低秩插补方法的经验和专长，我们为传统的 Transformer 模型添加了三项知识驱动的增强，包括投影时间注意力、全局自适应图卷积和 Fourier 插补损失。这些面向任务的归纳偏置利用了不完整时间序列的内在结构，使得我们的模型适用于多种插补问题。我们通过在包括交通速度、交通流量、太阳能、智能电表和空气质量等异构数据集上进行全面的案例研究来进一步加强其可解释性，并通过有希望的实证结果有力地证明了将低秩属性等时间序列原始特征纳入模型可以大幅促进通用化模型的开发，从而解决广泛的时空插补问题。

    Dec, 2023

  • ST-GIN：基于时空图注意力和双向循环联合神经网络的交通数据填充不确定性量化方法

    本文提出一种创新的深度学习方法来填充交通数据中的缺失值，采用图形关注架构和双向神经网络来捕捉交通数据中的空间和时间相关性，实验结果表明该方法优于所有基准技术，展示了其有效性。

    May, 2023

  • GPT-ST：时空图神经网络的生成式预训练

    该研究提出了一个融入下游基线模型并提升其性能的时空预训练框架，其中包括一个时空蒙版自编码器和一个自适应蒙版策略，通过学习时空依赖关系和不同关系的建模，在交通管理和旅行规划方面取得了显著的效果。

    Nov, 2023

  • 时间机器 GPT

    大型语言模型（LLMs）通常在广泛的、时间不加区分的文本语料库上进行训练，反映了缺乏带有时间元数据的数据集。本文提出了一种新的方法：一系列时间点的 LLMs，称为 Time Machine GPT（TiMaGPT），专门设计为非预测性的。这确保它们对未来的事实信息和语言变化保持不知情，这种策略对于理解语言的演化以及在动态环境下应用模型（如时间序列预测）尤为重要。我们提供模型和训练数据集的访问权限。

    Apr, 2024

  • 用图神经网络填补 G_ap_s：多元时间序列插值

    本研究使用图神经网络架构 GRIN 来处理多变量时间序列的缺失值，通过信息传递学习时空表示，实现修复缺失数据，并在真实基准测试中表现出超过 20% 的平均绝对误差改善。

    Jul, 2021

  • 大型语言模型如何理解时空数据？

    通过提出 STG-LLM 方法，本文解决了序列文本与复杂空间 - 时间数据之间的不匹配问题，通过 STG-Tokenizer 和 STG-Adapter，将大型语言模型的能力应用于空间 - 时间预测，取得了与专用方法相媲美的竞争性性能。

    Jan, 2024

  • LinkGPT: 教授大型语言模型预测丢失链接

    本研究提出了 LinkGPT，首个用于链接预测任务的端到端训练的大型语言模型 (LLM)，通过有效整合结构信息和解决效率问题，在真实世界的图和零样本学习中取得了领先水平的性能。

    Jun, 2024

  • 时空大型语言模型用于交通预测

    提出了一种基于空间 - 时间大型语言模型（ST-LLM）的交通预测方法，通过重新定义位置上的时间步长作为标记，并结合空间 - 时间嵌入模块来学习标记的空间位置和全局时间表示，在提供统一的空间和时间信息的基础上，进一步提出了一种部分冻结的 LLM 关注策略，用于捕捉交通预测的空间 - 时间依赖关系。综合实验表明 ST-LLM 在真实交通数据集上优于最先进的模型，同时在少样本和零样本预测场景中也表现出鲁棒性。

    Jan, 2024

  • VisualGPT：预训练语言模型数据有效适配图像字幕生成

    本研究提出了 VisualGPT，一种数据高效的图像字幕模型，它利用了预先训练的语言模型中获得的语言知识，使用自重生编码器 - 解码器注意机制在少量领域训练数据上快速适应预训练的语言模型，并通过稀疏激活单元减少了零梯度的影响，我们在 MSCOCO 和 Conceptual Captions 数据集上进行 0.1％，0.5％和 1％的训练，结果表明，我们在 MS COCO 上的 CIDEr 得分最好的基线模型高达 10.8％，在 Conceptual Captions 上高达 5.4％，并在医学报告生成数据集 IU X-ray 上取得了最新的结果。

    Feb, 2021