Road Barlow Twins:道路环境描述和运动预测中的冗余降维
本文提出了一个 Motion TRansformer (MTR) 框架,将运动预测看作全局意向定位和局部运动细化的联合优化问题,通过可学习的少量运动查询对来引入空间意向先验,实现了更好的多模态预测。实验表明,该方法在多个运动预测挑战上均达到了最先进的水平,并在 Waymo 开放式运动数据集的排行榜上排名第一。
Sep, 2022
在有限的数据可用性下,我们提出了利用高精度地图和轨迹的图表示以及预训练策略相结合的方法来学习通用的轨迹预测表示,进而对轨迹预测模型进行改进,从而在数据扩展和预训练策略方面取得了显著的效果。
Sep, 2023
本文介绍了一种名为 VA-RED^2 的新型冗余特征减少框架,可用于深度学习模型的视频推断,通过输入依赖的策略来减少时间和通道维度的计算量,实现了 20%-40%的计算(FLOPs)减少而无需牺牲性能。
Feb, 2021
本文介绍了一种基于 Transformer 结构的神经预测框架来模拟车辆之间的社交关系和预测可能的轨迹,其中采用了多模态注意机制来解决运动预测的多模态问题,并在 Argoverse 运动预测数据集上得到了最佳预测精度。
Sep, 2021
该论文提出了一种新的基于 transformer 的系统 ——mmTransformer,它使用独立提案集生成和选择提案,并使用基于区域的训练策略诱导所生成提案的多样性。实验表明,该模型在运动预测方面具有最先进的性能,大大提高了预测轨迹的多样性和准确性。
Mar, 2021
我们提出了一种新颖的解决方案,用于预测行人的未来轨迹。我们的方法使用多模态编码 - 解码变换器架构,以行人位置和自车速度作为输入。值得注意的是,我们的解码器一次性预测整个未来轨迹,而不进行一步预测,这使得该方法适用于嵌入式边缘部署。我们在两个流行数据集 PIE 和 JAAD 上进行了详细实验和评估,定量结果证明我们所提出的模型在 0.5、1.0 和 1.5 秒三个时间范围内始终具有最低误差,并且相对于现有最先进技术的速度更快。此外,消融实验证明了我们方法的关键多模态配置的影响。
Jul, 2023
我们提出了 JointMotion,一种用于自动驾驶中联合运动预测的自我监督学习方法。该方法包括一个连接运动和环境的场景级目标和一个细化学习表示的实例级目标。我们的评估结果表明,这些目标相辅相成,并且在联合运动预测的预训练中胜过最近的对比和自编码方法。此外,JointMotion 适应所有常用的用于运动预测的环境表示类型(即以代理为中心、场景为中心和成对的相对位置),并在 Waymo Open Motion 和 Argoverse 2 Forecasting 数据集之间实现了有效的迁移学习。值得注意的是,我们的方法将 Wayformer、Scene Transformer 和 HPTR 的联合最终位移误差分别提高了 3%、7% 和 11%。
Mar, 2024
本报告提出了一种用于自主驾驶的有效的运动预测方法,采用基于 Transformer 的输入编码和轨迹预测,引入了 Temporal Flow Header 以增强轨迹编码,最后使用高效的 K-means 集成方法,在 Argoverse 2 Motion Forecasting Challenge 赢得了第一名,最小 brier-FDE 评分达到 1.90,表现优于现有技术。
Jun, 2022
该研究呈现了 SEPT,一个利用自我监督学习来开发复杂交通场景的强大时空理解能力的建模框架,其通过三个遮蔽 - 重构建模任务对包括车辆轨迹和道路网络在内的场景输入进行预训练,然后在下游预测任务上微调,实验证明 SEPT 在 Argoverse 1 和 Argoverse 2 运动预测基准测试中无需繁琐的架构设计或手动特征工程,在所有主要指标上都显著优于以前的方法。
Sep, 2023
这篇论文提出了 RTD-Net 框架,利用 Transformer 类似的架构直接生成动作建议,通过在时间范围内更好地捕捉长程时间信息的边界注意模块来应对视频中的缓慢先前,通过松弛匹配方案来缓解对每个真实值的单一分配的限制,并使用三分支头明确地预测其完整性来进一步提高提案置信度,从而在 THUMOS14 和 ActivityNet-1.3 基准测试中具有很好的效果,同时比以前的提案生成方法更有效率。
Feb, 2021