Sep, 2023

TrTr：一种基于 Transformer 的多功能预训练大型交通模型，用于捕捉车辆群体中的轨迹多样性

PDF
TL;DR使用 Transformer 技术，通过分析其注意机制并设计特定的预训练任务，可以学习车辆群体内轨迹的多样性，同时预训练模型在捕捉车辆群体的空间分布方面表现出色，并能准确预测时间序列中的轨迹速度。
trajectory diversitytransformer technologyattention mechanismpre-training modeltime series prediction
发现论文，激发创造
  • 使用 Transformer 学习动态和分层交通时空特征

    本研究提出了 Traffic Transformer 模型，通过多头和掩码多头机制，动态地从数据中抽取时空特征，提高了交通预测性能，比现有技术表现更好。

    Apr, 2021

  • 融合 Transformer 和时空自监督学习的长期交通预测

    利用混合 Transformer 和时空自监督学习的模型来提高长期交通预测的鲁棒性，该模型通过在交通数据的序列级和图级应用自适应数据增强技术来增强其鲁棒性，利用 Transformer 克服了循环神经网络在捕捉长期序列方面的局限性，并采用 Chebyshev 多项式图卷积来捕捉复杂的空间依赖关系。此外，考虑到时空异质性对交通速度的影响，我们设计了两个自监督学习任务来建模时空异质性，从而提高模型的准确性和泛化能力。在两个真实数据集 PeMS04 和 PeMS08 上进行了实验评估，结果进行了可视化和分析，证明了所提模型的卓越性能。

    Jan, 2024

  • 基于注意力的社交图变换网络用于随机轨迹预测

    提出了一种关注社交图转换网络的多模态轨迹预测方法，它结合了图卷积网络和 Transformer 网络，并通过生成稳定分辨率的伪图像来处理空时图，还设计了关注社交交互信息的模块。实验证明该模型在多个度量指标上最大限度地降低了位移误差，并显著减少碰撞的可能性，同时具备长时间预测的能力。

    Dec, 2023

  • 基于合成驾驶数据的轨迹预测预训练

    在有限的数据可用性下，我们提出了利用高精度地图和轨迹的图表示以及预训练策略相结合的方法来学习通用的轨迹预测表示，进而对轨迹预测模型进行改进，从而在数据扩展和预训练策略方面取得了显著的效果。

    Sep, 2023

  • NetGPT：面向网络流量的生成式预训练 Transformer

    本文提出了一种用于网络流量理解和生成任务的生成预训练模型，优化了适应预训练模型到多样化任务的效果，并在一系列流量理解和生成任务中展现了其显著的有效性，显著优于现有技术方案。

    Apr, 2023

  • 基于运动变压器的轨迹预测的迁移学习研究

    基于变压器模型的模拟研究进行了转移学习技术的研究，旨在为在现实世界中实现有效的转移提供性能与计算时间之间可能的权衡的见解。

    Apr, 2024

  • 基于知识感知的图形转换器用于行人轨迹预测

    该论文提出了一个图变换器结构来改进预测性能，捕捉数据集中不同场所和情景之间的差异，并设计了一种自注意机制和域适应模块来提高模型的泛化能力。此外，还引入了一种考虑跨数据集序列的额外指标用于训练和性能评估目的。使用 ETH 和 UCY 等流行的公共数据集验证和比较了所提出的框架，实验结果表明了我们提出的方案的改进性能。

    Jan, 2024

  • 多模态变压器下的上下文感知行人轨迹预测

    我们提出了一种新颖的解决方案，用于预测行人的未来轨迹。我们的方法使用多模态编码 - 解码变换器架构，以行人位置和自车速度作为输入。值得注意的是，我们的解码器一次性预测整个未来轨迹，而不进行一步预测，这使得该方法适用于嵌入式边缘部署。我们在两个流行数据集 PIE 和 JAAD 上进行了详细实验和评估，定量结果证明我们所提出的模型在 0.5、1.0 和 1.5 秒三个时间范围内始终具有最低误差，并且相对于现有最先进技术的速度更快。此外，消融实验证明了我们方法的关键多模态配置的影响。

    Jul, 2023

  • 基于 Transformer 的多模式神经网络用于自动驾驶的运动预测

    本文介绍了一种基于 Transformer 结构的神经预测框架来模拟车辆之间的社交关系和预测可能的轨迹，其中采用了多模态注意机制来解决运动预测的多模态问题，并在 Argoverse 运动预测数据集上得到了最佳预测精度。

    Sep, 2021

  • 基于 Transformer 序列到序列模型的城市道路网络中使用 NLP 实现的轨迹映射匹配

    使用基于变压器的编码器 - 解码器模型，将噪声 GPS 数据转化为城市道路网络上的导航路线，大规模地理定位遥测数据对于增强智能城市的移动基础设施和操作系统具有巨大潜力。

    Apr, 2024