Feb, 2024

BootsTAP：跟踪的引导式训练

PDF
TL;DR通过自我监督的师生设置，使用大规模无标签、无筛选的真实世界数据，以最小的架构改变改进 Tracking-Any-Point (TAP) 模型，实现了在 TAP-Vid 基准测试中的最新性能，超过先前研究结果很大幅度：例如、TAP-Vid-DAVIS 性能从 61.3% 提高到 66.4%，TAP-Vid-Kinetics 从 57.2% 提高到 61.5%。
physicsmotionsolid surfacestracking-any-point (tap)large-scale ground-truth training data
发现论文，激发创造
  • RoboTAP：用于少样本视觉模仿的任意点追踪

    我们探讨了密集跟踪作为一种表征工具，使机器人能够更快、更通用地从示教中学习，并展示了通过密集跟踪生成的稳健机器人策略能够解决复杂的物体排列任务，如形状匹配、堆叠，甚至全路径跟踪任务，如涂胶并粘合物体，这些示教仅需数分钟即可收集。

    Aug, 2023

  • TAPIR: 使用逐帧初始化和时间细化技术追踪任意点

    本研究提出了一种名为 TAP 的新型模型，能在视频序列中高效地跟踪任何查询点，包含匹配阶段和细化阶段，且比基准方法表现更优，可快速适用于长且高分辨率的视频序列，具有实时的跟踪速度。

    Jun, 2023

  • 2023 ICCV 第一届感知测试挑战赛点追踪任务解决方案

    本文提出了一种改进的 TAP 方法，通过跟踪视频中的任何物理表面，旨在解决现有方法在处理累积误差问题时的不足，并介绍了 TAPIR + 方法，其中包含多粒度摄像机运动检测和基于 CMR 的点轨迹预测等关键组件。该方法在最终测试中得分 0.46，取得了第一名的成绩。

    Mar, 2024

  • Context-TAP：跟踪任何点并使用空间上下文特征

    该研究提出了一种新的视频点追踪框架 Context-TAP，通过聚合空间上下文特征，有效地提高了点轨迹的准确性。

    Jun, 2023

  • TAPTR：使用 Transformers 作为检测器的任意点跟踪

    基于对点追踪与目标检测的相似性的观察，本文提出了一种简单而强大的使用 TRansformers 进行 Tracking Any Point（TAPTR）的框架。

    Mar, 2024

  • TapLab：利用压缩领域知识进行语义视频分割的快速框架

    本文提出了一个名为 TapLab 的简单有效的框架，通过利用压缩视频中的知识来加速实时语义视频分割。通过使用运动矢量进行快速特征变形，以及使用残差解决因运动矢量引入的噪声，TapLab 将现有技术的冗余计算量减少了 3 到 10 倍，并在可控的精度下降的条件下实现了 99.8 FPS。

    Mar, 2020

  • 神经打包：从视觉感知到强化学习

    我们提出了一个新的学习框架来解决 3D 中的运输和装箱问题，其中的技术核心是使用强化学习训练的神经网络，通过 RGBD 感知和识别，机器人运动规划，来实现在目标容器中进行紧密的装箱。

    Oct, 2023

  • 策略学习的全点轨迹建模

    通过使用预训练的轨迹模型，提出了一种利用视频演示来预测视频帧内任意点的未来轨迹，从而实现对机器人进行精确控制指导，使其能够在最少的动作标记数据下学习到鲁棒的视觉运动策略。

    Dec, 2023

  • 抓取一切：将教师增强的策略梯度学习与实例分割相结合，抓取任意物体

    交互抓取从杂乱环境中非常类似于人类灵巧度的问题中，是机器人学习中最久远的问题之一。我们提出了一种新颖的两阶段学习框架 —— 师傅增益策略梯度（TAPG），将强化学习和策略蒸馏相结合。通过训练一位师傅策略以掌握基于物体姿态信息的运动控制，TAPG 能够在基于物体分割的感觉运动策略上实现引导且适应性的学习。我们通过使用面向特定物体分割的 “Segment Anything Model” 从仿真环境零迁移到真实机器人环境。根据人类可理解的提示，我们训练出的策略能够在仿真和现实世界中熟练地从杂乱环境中抓取各种物体。此外，我们展示了对新物体的鲁棒零迁移。我们的实验视频可以在 https://maltemosbach.github.io/grasp_anything 上找到。

    Mar, 2024

  • TAPS：连接认证和对抗性训练

    本文提出了一种结合 IBP 和 PGD 训练的（不精确）认证训练方法 TAPS，通过减少过度正则化和提高准确度来实现精确但不一定可靠的最坏情况损失逼近，在很多方面取得了新的最好结果。

    May, 2023