May, 2022

DouFu：双融合联合学习方法用于驾驶轨迹表示

PDF
TL;DR本文提出一种新的轨迹表示联合学习的多模态融合模型 DouFu，它使用多模态学习和注意力融合模块来捕捉轨迹的内部特征，通过设计运动、路线和全局特征并分别使用注意力编码器或前馈网络，结合路线特征和运动特征创建更好的时空嵌入，最终生成每个轨迹的全面嵌入。实验结果表明，DouFu 在大多数学习算法中优于其他模型超过 10%。
driving trajectoryrepresentation learningmultimodal fusionattention fusion moduleroute selection preferences
发现论文，激发创造
  • 多模态融合 Transformer 用于端到端自动驾驶

    本文提出使用多模态融合转换器 TransFuser 对图像和 LiDAR 传感器的信息进行整合以实现先进的自动驾驶技术，在 CARLA 城市驾驶模拟器中实验验证证明该方法在处理复杂场景时比传统基于几何的融合方法有更好的效果，并且在减少碰撞方面表现出色。

    Apr, 2021

  • 超越路径规划：联合 GPS 和路线建模用于精化轨迹表示学习

    通过使用自我监督技术，提出了一种基于联合 GPS 和路线建模的新型表示学习框架 JGRM，该框架考虑了 GPS 轨迹和路线作为单个运动观察的两种模式，并通过跨模态的信息交互来融合信息。通过构建两个编码器来捕捉路线和 GPS 轨迹的表征，并将两种模式的表征输入到共享的 Transformer 进行交互。通过三个自我监督任务来训练模型，实验证明 JGRM 在道路段表示和轨迹表示任务中优于现有方法。

    Feb, 2024

  • 具有注意融合的城市区域表示学习

    提出了一种名为 HAFusion 的新型模型，通过融合不同区域特征的嵌入来学习区域之间和不同类型区域特征之间的高阶相关性，实现了对城市区域表征的学习， 在三种不同的预测任务中，HAFusion 模型优于现有方法，利用学习得到的区域嵌入可以使预测准确率提高至多 31%。

    Dec, 2023

  • 基于多模态深度学习的交通流量预测的混合方法

    本文提出了一种混合多模态深度学习方法用于短期交通流量预测，可以通过注意力辅助的多模态深度学习架构联合自适应地学习多模态交通数据的空间 - 时间相关特征和长期时间依赖关系，通过多个 CNN-GRU-attention 模块将不同模态交通数据的共享表示特征融合。实验结果表明，该模型能够有效地处理复杂的非线性城市交通流预测问题。

    Mar, 2018

  • 自动驾驶车辆的多模态轨迹预测：基于语义地图与动态图注意力网络

    本文研究自动驾驶汽车预测未来路障轨迹的问题，提出了一种基于动态图注意力网络的方法，针对交通规则、社交互动、多类交通运动等方面的挑战，能够使用单一模型对多模态轨迹进行概率预测，并经过多个数据集的验证，证明该方法具有实际应用潜力且优于现有技术。

    Mar, 2021

  • MaskFuser: 联合多模态符号化的遮罩融合用于端到端自动驾驶

    提出了一种名为 MaskFuser 的多模态驾驶框架，在统一的语义特征空间中将各种模态标记化，并为进一步行为克隆提供联合表示。通过引入跨模态的掩蔽自编码器训练，增强了融合表示。MaskFuser 在伤害感知输入下提高了驾驶稳定性，并在驾驶得分方面表现优于以往的基线模型。

    May, 2024

  • 道路网络和轨迹上的联合对比表示学习

    本文提出了一个统一的框架，终端联合学习道路网络和路径表示。通过为道路对比和路径对比设计领域特定的增强算法，以及介绍道路 - 路径跨尺度对比来建立两个尺度之间的联系，实现了相互信息的最大化。实验表明，这种方法能够提高道路网络和路径表示的总体性能和效果。

    Sep, 2022

  • 城市区域嵌入的多图融合网络

    本文提出了一种名为多图融合网络（MGFN）的模型，通过人类移动数据的地理位置相似性融合模块，将人类移动数据的多种模式嵌入到该模型中，这有助于进行交叉领域的预测任务，如犯罪预测，并在实际城市数据集上进行了广泛的实验，结果表明，MGFN 模型优于现有技术方法，最大提高了 12.35％。

    Jan, 2022

  • TransFuser：基于 Transformer 传感器融合的自动驾驶模仿

    该研究介绍了 TransFuser - 一种使用自我注意力机制将图像和雷达的信息进行融合，以提高自动驾驶中辨识物体和行驶路径的性能，实验证明该方法的表现在 CARLA 排行榜上优于以往所有的算法。

    May, 2022

  • STF：空间时间融合的轨迹预测

    本研究提出了一种集成的三维图形方法，将空间和时间信息融合在一起，并考虑跨时间的交互信息，以更准确地预测车辆轨迹。实验证明，该方法在长时间范围的轨迹预测中表现优于其他基线方法。

    Nov, 2023