使用共享的 3D 查询（XVTP3D）进行交叉视图轨迹预测，通过随机蒙版方法和粗到细的跨视图注意力捕捉稳健的跨视图特征，提高了自动驾驶中的多模态轨迹预测表现。

Aug, 2023

为了实现机器人的自主技能获取，本文提出了一种基于转化的 3D 视频预测（T3VIP）方法，通过将场景分解为其对象部件并预测其相应的刚性变换，从自身的过去经验中明确地模拟 3D 运动，预测未来的可行结果，并具备自适应超参数优化技术，是首个提供固定摄像头的 RGB-D 视频预测的生成模型。

Sep, 2022

自动驾驶中，多目标检测、跟踪和轨迹预测是关键任务，本文介绍了一种名为 ODTP 的端到端框架，采用了先进的在线多目标跟踪模型 QD-3DT 进行感知，并根据检测结果直接训练轨迹预测器 DCENet++，实验表明 ODTP 在轨迹预测方面取得了高性能，DCENet++ 相较于其他噪声检测结果训练的生成式和确定性轨迹预测模型更为准确和鲁棒。

Aug, 2023

由于视觉自主驾驶应用需要同时处理语义、3D 几何和时间信息以进行联合感知、预测和规划，因此我们提出了一种名为 “ViDAR” 的预训练模型，用于预训练下游视觉编码器，并通过新颖的隐变换操作将历史嵌入式表示转换为 3D 几何空间，以实现未来点云的预测。实验结果表明，在下游任务中取得了显著的增益，如在 3D 检测上的 NDS 提高了 3.1％，运动预测的错误率减少了约 10％，规划中碰撞率减少了约 15％。

Dec, 2023

本文提出了一种新颖的端到端架构，该架构接受原始视频输入并输出未来车辆运动轨迹预测，以解决自主驾驶中的邻近车辆运动预测问题。该架构通过多头注意力回归网络和非线性优化提取和跟踪附近车辆的三维位置，然后使用基于注意力的 LSTM 编码器 - 解码器算法对车辆之间的相互依赖关系建模，从而达到了高精度的未来车辆轨迹预测，实验结果表明，该算法优于目前各种先进模型。

Apr, 2023

ViP-DeepLab 是一种联合模型，尝试解决视觉中长期存在且具有挑战性的逆投影问题。该模型通过联合执行单眼深度估计和视频全景分割来处理该问题，并提供每个点的实例级语义解释。在子任务中，ViP-DeepLab 也取得了最先进的结果，在 Cityscapes-VPS 中超越以前的方法 5.1％ VPQ，在 KITTI 单眼深度估计基准测试中排名第一，在 KITTI MOTS 中排名第一。

Dec, 2020

提出了一种基于单目视觉的 3D 车辆检测和跟踪的在线框架，并利用 3D 车辆坐标信息和深度匹配对数据进行关联，并设计了一个基于 LSTM 的动作学习模块，以进行更准确的长期运动外推。实验结果表明，该跟踪系统可以提供抗干扰性更强的数据关联和跟踪能力，并且在跟踪 30 米内的行驶车辆方面比基于激光雷达的方法表现更好。

Nov, 2018

该研究提出了一种基于端到端视觉的自主驾驶轨迹规划方法，使用生成的鸟瞰图中的未来语义地图进行路径规划，增强了自动驾驶的安全性和解释性。

Apr, 2021

本研究提出了一种深度学习框架，同时进行视觉表示的深度特征学习以及时空上下文建模，以实现准确的视觉路径预测，并构建了基准数据集进行综合性评估，得到了优于现有方法更好的泛化能力和性能表现。

Jan, 2016

通过视觉粒子动力学以及端到端学习的方式，我们提出了一种从观测数据中直接学习模拟器的方法，避免了对特殊的信息的依赖，从而实现更加真实可信的仿真。这一方法的 3D 结构使得场景编辑和长期预测成为可能，为视频编辑和机器人规划等应用提供了新的路径。

Dec, 2023