Apr, 2024

FipTR：一种简单而有效的自动驾驶中未来实例预测的 Transformer 框架

PDF
TL;DR本文提出了一种名为 FipTR 的简单而有效的全面端到端框架，它将任务视为 BEV 实例分割和未来帧预测，并采用表示特定交通参与者的实例查询来直接估计相应的未来占用掩码，从而摆脱了复杂的后处理过程。此外，我们设计了一种适用于未来 BEV 特征预测的流感知 BEV 预测器，其由一个以反向流为指导进行偏移采样的流感知可变形关注组成。还提出了一种新颖的未来实例匹配策略，进一步改善了时间上的一致性。大量实验证明了 FipTR 的优越性以及其在不同时间 BEV 编码器下的有效性。
发现论文，激发创造
  • PowerBEV: 高效却轻量的鸟瞰图目标实例预测框架

    该论文提出了名为 POWERBEV 的高效新型端到端框架，该框架依赖于平行的多尺度模块，通过流变换的后处理方法提高了 BEV 实例预测的稳定性，并在 NuScenes 数据集上表现出比现有方法更好的性能，为 BEV 实例预测提出了一种替代理念。

    Jun, 2023

  • TBP-Former: 学习视觉中心自动驾驶联合感知和预测的时间视角金字塔

    通过提出基于时间的俯视图金字塔变换器 (TBP-Former)，实现了自动驾驶中多个摄像头视图和时间戳的特征同步以及对空间 - 时间特征的优化，从而在 nuScenes 数据集上表现优于所有最先进的基于视觉的预测方法。

    Mar, 2023

  • VPTR 视频预测的高效 Transformer

    本文提出了一个基于局部时空分离的有效空间 - 时间注意机制的 Transformer 块，用于视频未来帧预测，并构建了一个全自回归视频未来帧预测 Transformer 框架，另外还提出了一个非自回归视频预测 Transformer 框架，并引入对比特征损失来监督模型预测过程。本文是第一个在不同场景下对这两种基于注意力的视频未来帧预测模型进行正式比较的工作，所提出的模型在性能上与更复杂的现有模型竞争力相当。

    Mar, 2022

  • 基于多模态融合变换器的瓷砖分类视口预测

    提出了一种基于瓷砖分类的视口预测方法，使用多模态融合变压器提取每种模态的长距离依赖关系，从而捕捉用户历史输入和视频内容对未来视口选择的综合影响，并根据瓷砖的二分类结果选择未来视口，具有更好的鲁棒性和解释性。在两个常用的 PVS-HM 和 Xu-Gaze 数据集上进行了广泛实验，MFTR 表现出卓越的性能，包括平均预测准确率和重叠率，同时展现出有竞争力的计算效率。

    Sep, 2023

  • TENET: 用于有效时序流的 Transformer 编码网络，用于运动预测

    本报告提出了一种用于自主驾驶的有效的运动预测方法，采用基于 Transformer 的输入编码和轨迹预测，引入了 Temporal Flow Header 以增强轨迹编码，最后使用高效的 K-means 集成方法，在 Argoverse 2 Motion Forecasting Challenge 赢得了第一名，最小 brier-FDE 评分达到 1.90，表现优于现有技术。

    Jun, 2022

  • BiTraP: 双向行人轨迹预测与多模态目标估计

    本论文介绍了一种基于条件变分自编码器的双向多模态轨迹预测方法 BiTraP，该方法采用目标条件化方法和双向编 / 解码器结构以提高长期轨迹预测准确性，其在第一人称视角和鸟瞰视角均表现良好，比最先进的轨迹预测方法提高了约 10-50%。研究还发现，CVAE 中的目标模型对预测的多模态轨迹分布产生直接影响，这为碰撞回避和导航系统等机器人应用的轨迹预测器设计提供了指导。

    Jul, 2020

  • 基于 Transformer 的端到端视频实例分割

    VisTR 是一种基于 Transformers 的视频实例分割框架，提出了一种新的实例序列匹配和分割策略实现对序列的监督，从相似性学习的角度框架实例分割和跟踪，大大简化了整个流程，并在 YouTube-VIS 数据集上取得了最佳结果和最高速度，这激励了未来更多的视频理解任务的研究。

    Nov, 2020

  • 基于环视摄像头鸟瞰的联合车辆分割和自车轨迹预测

    基于多个深度学习技术的视觉感知线路预测系统可用于自动驾驶车辆，通过管辖车辆分割和自车轨迹预测的联合任务，综合表示周围车辆的鸟瞰视角并使用时空概率网络进行轨迹预测。

    Dec, 2023

  • 一种端到端的汽车轨迹预测框架

    本文提出了一种新颖的端到端架构，该架构接受原始视频输入并输出未来车辆运动轨迹预测，以解决自主驾驶中的邻近车辆运动预测问题。该架构通过多头注意力回归网络和非线性优化提取和跟踪附近车辆的三维位置，然后使用基于注意力的 LSTM 编码器 - 解码器算法对车辆之间的相互依赖关系建模，从而达到了高精度的未来车辆轨迹预测，实验结果表明，该算法优于目前各种先进模型。

    Apr, 2023

  • BiFNet: 道路分割的双向融合网络

    该研究提出了一种基于双向融合网络的多传感器融合道路分割方法，该方法利用摄像机成像空间和点云鸟瞰图空间之间的密集空间变换模块以及基于场景的特征融合模块，有效地解决了道路远景损失等问题，并在 KITTI 数据集上取得了有竞争力的结果。

    Apr, 2020