Mar, 2024

2023 ICCV 第一届感知测试挑战赛点追踪任务解决方案

PDF
TL;DR本文提出了一种改进的 TAP 方法，通过跟踪视频中的任何物理表面，旨在解决现有方法在处理累积误差问题时的不足，并介绍了 TAPIR + 方法，其中包含多粒度摄像机运动检测和基于 CMR 的点轨迹预测等关键组件。该方法在最终测试中得分 0.46，取得了第一名的成绩。
发现论文，激发创造
  • TAPIR: 使用逐帧初始化和时间细化技术追踪任意点

    本研究提出了一种名为 TAP 的新型模型，能在视频序列中高效地跟踪任何查询点，包含匹配阶段和细化阶段，且比基准方法表现更优，可快速适用于长且高分辨率的视频序列，具有实时的跟踪速度。

    Jun, 2023

  • BootsTAP：跟踪的引导式训练

    通过自我监督的师生设置，使用大规模无标签、无筛选的真实世界数据，以最小的架构改变改进 Tracking-Any-Point (TAP) 模型，实现了在 TAP-Vid 基准测试中的最新性能，超过先前研究结果很大幅度：例如、TAP-Vid-DAVIS 性能从 61.3% 提高到 66.4%，TAP-Vid-Kinetics 从 57.2% 提高到 61.5%。

    Feb, 2024

  • RoboTAP：用于少样本视觉模仿的任意点追踪

    我们探讨了密集跟踪作为一种表征工具，使机器人能够更快、更通用地从示教中学习，并展示了通过密集跟踪生成的稳健机器人策略能够解决复杂的物体排列任务，如形状匹配、堆叠，甚至全路径跟踪任务，如涂胶并粘合物体，这些示教仅需数分钟即可收集。

    Aug, 2023

  • Context-TAP：跟踪任何点并使用空间上下文特征

    该研究提出了一种新的视频点追踪框架 Context-TAP，通过聚合空间上下文特征，有效地提高了点轨迹的准确性。

    Jun, 2023

  • TAPTR：使用 Transformers 作为检测器的任意点跟踪

    基于对点追踪与目标检测的相似性的观察，本文提出了一种简单而强大的使用 TRansformers 进行 Tracking Any Point（TAPTR）的框架。

    Mar, 2024

  • TapLab：利用压缩领域知识进行语义视频分割的快速框架

    本文提出了一个名为 TapLab 的简单有效的框架，通过利用压缩视频中的知识来加速实时语义视频分割。通过使用运动矢量进行快速特征变形，以及使用残差解决因运动矢量引入的噪声，TapLab 将现有技术的冗余计算量减少了 3 到 10 倍，并在可控的精度下降的条件下实现了 99.8 FPS。

    Mar, 2020

  • LiDAR 点云中的小物体追踪：学习目标感知原型和细粒度搜索区域

    提出了一种基于 Siamese 网络的 LiDAR 点云中小目标跟踪方法，该方法通过目标感知原型挖掘模块和区域网格划分模块组成。通过学习特征空间中的原型，强调前景点的存在，以便在后续对小目标进行定位。同时，通过恢复搜索区域的细粒度特征，提高了跟踪性能，对小目标具有良好的鲁棒性。在 KITTI 和 nuScenes 数据集上的广泛实验证明了该方法的有效性。

    Jan, 2024

  • 时间无关预测：预测可预见的视频帧

    本文提出了一种时间不可知的预测模型 TAP，可以用于机器人控制，通过发现可预测的 “瓶颈” 帧来解决未来和中间帧的预测问题，并实现了在视觉质量和语义子目标方面的提高。

    Aug, 2018

  • 神经打包：从视觉感知到强化学习

    我们提出了一个新的学习框架来解决 3D 中的运输和装箱问题，其中的技术核心是使用强化学习训练的神经网络，通过 RGBD 感知和识别，机器人运动规划，来实现在目标容器中进行紧密的装箱。

    Oct, 2023

  • 带有背景约束的时间行为提议生成

    该论文提出了一个新的背景约束思想，通过利用背景预测分数来限制提议的置信度，从而进一步压制低质量的提议，详细介绍了该方法在行动定位任务上的成果.

    Dec, 2021