通过自我监督的师生设置，使用大规模无标签、无筛选的真实世界数据，以最小的架构改变改进 Tracking-Any-Point (TAP) 模型，实现了在 TAP-Vid 基准测试中的最新性能，超过先前研究结果很大幅度：例如、TAP-Vid-DAVIS 性能从 61.3% 提高到 66.4%，TAP-Vid-Kinetics 从 57.2% 提高到 61.5%。

Feb, 2024

本文提出了一种改进的 TAP 方法，通过跟踪视频中的任何物理表面，旨在解决现有方法在处理累积误差问题时的不足，并介绍了 TAPIR + 方法，其中包含多粒度摄像机运动检测和基于 CMR 的点轨迹预测等关键组件。该方法在最终测试中得分 0.46，取得了第一名的成绩。

Mar, 2024

本研究提出了一种名为 TAP 的新型模型，能在视频序列中高效地跟踪任何查询点，包含匹配阶段和细化阶段，且比基准方法表现更优，可快速适用于长且高分辨率的视频序列，具有实时的跟踪速度。

Jun, 2023

通过使用预训练的轨迹模型，提出了一种利用视频演示来预测视频帧内任意点的未来轨迹，从而实现对机器人进行精确控制指导，使其能够在最少的动作标记数据下学习到鲁棒的视觉运动策略。

Dec, 2023

我们提出了一个新的学习框架来解决 3D 中的运输和装箱问题，其中的技术核心是使用强化学习训练的神经网络，通过 RGBD 感知和识别，机器人运动规划，来实现在目标容器中进行紧密的装箱。

Oct, 2023

基于对点追踪与目标检测的相似性的观察，本文提出了一种简单而强大的使用 TRansformers 进行 Tracking Any Point（TAPTR）的框架。

Mar, 2024

该研究提出了一种新的视频点追踪框架 Context-TAP，通过聚合空间上下文特征，有效地提高了点轨迹的准确性。

Jun, 2023

交互抓取从杂乱环境中非常类似于人类灵巧度的问题中，是机器人学习中最久远的问题之一。我们提出了一种新颖的两阶段学习框架 —— 师傅增益策略梯度（TAPG），将强化学习和策略蒸馏相结合。通过训练一位师傅策略以掌握基于物体姿态信息的运动控制，TAPG 能够在基于物体分割的感觉运动策略上实现引导且适应性的学习。我们通过使用面向特定物体分割的 “Segment Anything Model” 从仿真环境零迁移到真实机器人环境。根据人类可理解的提示，我们训练出的策略能够在仿真和现实世界中熟练地从杂乱环境中抓取各种物体。此外，我们展示了对新物体的鲁棒零迁移。我们的实验视频可以在 https://maltemosbach.github.io/grasp_anything 上找到。

Mar, 2024

通过使用网络视频进行预测性互动计划的学习，结合机器人在真实世界中的任务无关转换，以及通过少量具体示范进行训练的闭环策略预测残余动作，我们提出了一种可扩展学习的路径预测方法，实现了任务零 - shot 机器人操作，并在未见任务、对象和场景上呈现了大量真实世界机器人操作结果。

May, 2024

该研究论文探讨了使用粗略轨迹草图作为任务表示的方法，称为 RT-Trajectory，该方法通过有效地执行新任务，克服了现有语言条件和目标条件策略的局限性，具有广泛的泛化能力。

Nov, 2023