Nov, 2023

朝着轨迹智能的基础模型

PDF
TL;DR我们通过使用真实世界的用户签到数据培训了一个大规模的轨迹模型，通过预训练和微调范式的方法，我们提出了一种新颖的空间标记化块来应对嘈杂数据和大量空间词汇。通过对三个下游任务的微调，我们展示了基本模型已经有效地学习了原始数据中有价值的潜在模式，从而实现了有意义的轨迹智能任务的应用。尽管存在一些局限性，我们认为这项工作对于实现轨迹智能的基础模型是一个重要的进步。
trajectory modelpre-train and fine-tune paradigmspatial tokenization blockdownstream taskstrajectory intelligence
发现论文，激发创造
  • 通用地理空间人工智能的基础模型

    基于深度学习的 Prithvi 地球观测模型通过高效前期训练和微调，成功实现地球观测领域多个任务的优化，证明了预训练模型在加速微调过程以及在性能上优于随机初始化权重的作用，并表明可显著减少可用标注数据的数量而不影响模型准确性。

    Oct, 2023

  • 交通中轨迹预测的快速无地图模型

    该研究提出了一种高效的轨迹预测模型，不依赖于交通地图，通过在两个阶段中综合应用注意机制、LSTM、图卷积网络和时间变换器等技术，编码了单一代理的时空信息，并探索了多个代理之间的时空交互信息，实现了比现有无地图方法更高的性能，并超过了 Argoverse 数据集上大多数基于地图的最先进方法，同时也具有比基准方法更快的推理速度。

    Jul, 2023

  • 利用具有空间感知的深度关注模型进行人类轨迹预测

    提出了一种端到端的基于深度学习的模型，该模型使用来自不同导航模式的数据直接学习人类的运动模式，包括一个软关注机制和一种新颖的方法来预测动态轨迹，同时还考虑了场景中的静态物体存在，通过在行人轨迹数据集上的测试结果显示，可以显著优于现有的最新技术水平，也可以自然地扩展到同时处理多个移动模式。

    May, 2017

  • TrTr：一种基于 Transformer 的多功能预训练大型交通模型，用于捕捉车辆群体中的轨迹多样性

    使用 Transformer 技术，通过分析其注意机制并设计特定的预训练任务，可以学习车辆群体内轨迹的多样性，同时预训练模型在捕捉车辆群体的空间分布方面表现出色，并能准确预测时间序列中的轨迹速度。

    Sep, 2023

  • GEO-Bench：地球监测基础模型

    本研究针对遥感任务的基础模型研究进行了探讨，提出了一种包括六项分类任务和六项分割任务的基准测试以及可靠的评估方法，并报告了二十种基线模型的结果，旨在推动地球监测领域的模型进展。

    Jun, 2023

  • 利用语言基础模型进行人类移动预测

    本文提出了一种新的基于语言基础模型的时间序列模式挖掘流程，以用于人类移动预测任务，该模型通过引入特定提示将数值时间序列转换为句子，以便直接应用于现有语言模型，设计了一个 AuxMobLCast 流程用于预测每个 POI 的访客数量，结合了辅助 POI 分类和编码器 - 解码器架构，实证证明了该流程在移动性预测任务中发现序列模式的有效性，并在三个真实数据集上进行了评估，表现良好。

    Sep, 2022

  • 基于合成驾驶数据的轨迹预测预训练

    在有限的数据可用性下，我们提出了利用高精度地图和轨迹的图表示以及预训练策略相结合的方法来学习通用的轨迹预测表示，进而对轨迹预测模型进行改进，从而在数据扩展和预训练策略方面取得了显著的效果。

    Sep, 2023

  • 使用迭代式注意力块的受条件控制的人类轨迹预测

    本文通过利用神经网络的注意力机制和迭代逐步学习的方式，结合环境因素预测市区环境下行人位置的运动，成功构建了一个简单、高效的行人轨迹预测模型，并证明了该模型在不需要引入实体掩码、动态模型、社交池层或类似图形结构方面，也能够与 SoTA 模型相媲美地达到相似的性能水平。

    Jun, 2022

  • 基础模型在地理空间人工智能中的机遇与挑战

    通过在多个地理空间子领域进行测试，发现在某些文本模态的地理任务中，基于任务不可知的大型语言模型可以在零样本或少样本学习设置中胜过基于任务特定的全监督模型，但是在其他涉及多种数据模态的地理任务上，现有的基础模型仍然不如基于任务特定的模型表现。因此，通过处理不同的地理数据模态，建议可能性使用能够通过地理对齐来推理各种类型的地理数据的多模态基础模型来应对地理人工智能挑战的多模态特征。

    Apr, 2023

  • TVTSv2：学习开箱即用的大规模时空视觉表示

    本论文分析了导致视频模型性能下降的因素 —— 语言监督失真，提出了一种去除降级的预训练策略，并采用排序任务同时使用掩蔽技术进行可扩展的训练，得到了一系列新的模型。

    May, 2023