提出了一种基于空间 - 时间大型语言模型（ST-LLM）的交通预测方法，通过重新定义位置上的时间步长作为标记，并结合空间 - 时间嵌入模块来学习标记的空间位置和全局时间表示，在提供统一的空间和时间信息的基础上，进一步提出了一种部分冻结的 LLM 关注策略，用于捕捉交通预测的空间 - 时间依赖关系。综合实验表明 ST-LLM 在真实交通数据集上优于最先进的模型，同时在少样本和零样本预测场景中也表现出鲁棒性。

Jan, 2024

通过在 Large Language Models（LLMs）中添加 Spatial-Temporal 序列建模，提高视频理解能力，并通过动态掩蔽策略和全局 - 局部输入模块提升效率和稳定性，从而在 VideoChatGPT-Bench 和 MVBench 上建立了新的最优结果。

Mar, 2024

该论文通过评估大型语言模型的时空数据理解能力，将其能力分解为知识理解、时空推理、准确计算和下游应用四个维度，并通过构建基准数据集 STBench 以及对 13 个语言模型的评估实验，揭示现有语言模型在知识理解和时空推理任务上表现出色，且通过在上下文学习、思维链提示和微调方面有进一步优化的潜力。

Jun, 2024

基于大型语言模型和空间 - 时间依赖编码器的 UrbanGPT 在数据稀缺情况下实现了更全面、准确的空间 - 时间预测任务，显示了在零样本场景中建立大型语言模型的潜力。

Feb, 2024

我们提出了一种新的基于文本的时间推理模型 TempGraph-LLM，通过将上下文翻译成时间图，教导大型语言模型 (LLMs) 学习时间概念。我们证明了在其他任务上的预训练对 LLMs 的效益，并通过思路链的引导和特殊数据增强引导 LLMs 进行符号推理，观察到符号推理带来更一致可靠的结果。

Jan, 2024

在本文中，我们通过提出评估大型语言模型在动态图中的时空理解能力的 LLM4DyG 基准，第一次系统地评估了 LLMs 在动态图中的时空信息理解能力，并通过广泛的实验分析了不同的数据生成器、数据统计、提示技术和 LLMs 对模型性能的影响。我们提出了一种名为 Disentangled Spatial-Temporal Thoughts (DST2) 的方法，用于增强 LLMs 在动态图中的时空理解能力。我们的主要观察是：1）LLMs 在动态图中具有初步的时空理解能力，2）随着图大小和密度的增加，动态图任务对 LLMs 的难度增加，但对时间跨度和数据生成机制不敏感，3）我们提出的 DST2 提示方法可以帮助提高 LLMs 在动态图中的时空理解能力。此外，数据和代码将在发布时开源。

Oct, 2023

我们提出了一个新颖的检索增强生成框架 GenTKG，结合了时间逻辑规则检索策略和轻量级参数效率指导，用于在时间知识图上进行生成性预测，证实了大语言模型在时间知识图领域具有巨大潜力，并开辟了时间知识图生成性预测的新领域。

Oct, 2023

大型语言模型（LLMs）展现出在各种任务中的卓越能力。我们探索 LLMs 对于一种特别显著的基于实际距离的知识，即空间关系的表示。通过设计自然语言导航任务，我们评估了 LLMs（特别是 GPT-3.5-turbo，GPT-4 和 Llama2 系列模型）在表示和推理空间结构方面的能力，并将这些能力与人类在相同任务上的表现进行比较。这些任务揭示了 LLMs 在不同空间结构（包括正方形、六边形和三角形网格、环和树形结构）中的表现变异性。我们还发现，类似于人类，LLMs 利用对象名称作为地标来维护空间地图。最后，在广泛的错误分析中，我们发现 LLMs 的错误反映了空间和非空间因素。这些发现表明，LLMs 似乎能够隐含地捕捉到空间结构的某些方面，但仍有改进空间。

Oct, 2023

在这篇论文中，我们探讨了机器学习在地理空间预测任务中的应用，提出了一种名为 GeoLLM 的新方法，利用大型语言模型中的地理空间信息和开放街道地图的辅助数据，有效地提取地理空间知识，用于测量人口密度等中心问题，相较于最近邻和直接使用提示信息的基准方法，在多个任务上展现了 70% 的性能提升，并且与卫星数据的基准结果相当甚至超出，证明了大型语言模型在地理空间任务上的可行性和潜力。

Oct, 2023

该研究通过探测具备预训练能力的大型语言模型对地理数据的理解程度和与此相关的促进地理空间决策的能力，通过三个实验验证结论，表明合成地理空间知识需要更大规模和更复杂的语言模型，并且对于处理地理空间信息，大型语言模型的潜力和局限性值得研究。

Oct, 2023