TrackAgent: 通过强化学习进行 6D 物体追踪

Jul, 2023

TrackAgent: 通过强化学习进行 6D 物体追踪

TrackAgent: 6D Object Tracking via Reinforcement Learning

Konstantin Röhrl, Dominik Bauer, Timothy Patten, Markus Vincze

TL;DR追踪物体的六维姿态，在物体本身或观察相机移动时，对许多机器人学和增强现实应用非常重要。在跟踪任务的严格时间限制下，我们提出了将物体追踪简化为加强点云（仅深度）对齐任务的方法。

Abstract

Tracking an object's 6d pose, while either the object itself or the observing camera is moving, is important for many robotics and augmented reality applications. While exploiting temporal priors eases this problem, object-specific knowledge is required to recover when tracking is lost

6d pose object tracking reinforced point cloud alignment temporal frame-to-frame registration reinforcement learning

发现论文，激发创造

深度 6 - 自由度跟踪

利用深度学习，我们提出了一种基于时间的 6 自由度跟踪方法，可在具有挑战性的真实世界数据集中实现最先进的性能，具有比现有最佳方法更准确、更鲁棒的抗遮挡性能，同时保持实时性能。在评估其效力时，我们在几个具有挑战性的 RGBD 序列上进行了评估，并通过一系列对象逐渐被遮挡的序列系统地评估了对遮挡的鲁棒性。最后，我们的方法完全是数据驱动的，不需要任何手动设计的特征：鲁棒跟踪是自动从数据中学习的。

Mar, 2017

视频视觉目标跟踪的深度强化学习

本文提出一种全面的端到端视频视觉跟踪方法，利用循环卷积神经网络代理与视频进行交互，并结合强化学习算法来学习不断的关注连续帧相关性和最大化在长期内的跟踪性能，实现了比现有跟踪基准更快速的状态 - of-the-art 性能。是第一个将卷积和循环网络与强化学习算法相结合的神经网络跟踪器。

Jan, 2017

基于强化学习的端到端主动目标跟踪

本研究采用深度强化学习的端到端方法，结合 ConvNet-LSTM 函数的预测能力，提出了一种针对活动物体追踪的解决方案，并通过环境增强技术和定制的奖励函数进行训练。结果表明，在模拟器中训练的跟踪器能够在未知的物体移动路径、外观、背景和干扰物的情况下表现良好。实验还表明，单独在模拟器中训练的跟踪能力具有潜在的适用性和推广性，可以在真实情况下进行。

May, 2017

PFRL: 无需姿态信息的强化学习在 6D 姿态估计中的应用

通过强化学习，使用 2D 图像注释作为微弱监督的 6D 姿态信息，我们构建了一个无需真实世界 6D 标签的 6D 姿态微调模型，从而实现了优化姿态模型的有效方法。

Feb, 2021

使用 RGB-D 序列在多个对象跟踪中看到物体背后

本文提出了一种基于 RGB-D 视频序列的多目标跟踪方法，通过联合推断目标的完整几何形状和跟踪它们来提高跟踪的稳健性，通过人工构建目标的视状图像，得到相同实例之间的额外对应关系，从而提高了跟踪的鲁棒性。实验结果表明该方法在动态目标跟踪方面取得了 state-of-the-art 的性能。

Dec, 2020

端到端主动物体追踪及其通过强化学习实际部署

本研究通过深度强化学习解决了目标跟踪和摄像头控制任务难以共同调整的问题，并在模拟器上训练的跟踪器表现出良好的泛化能力，且具备潜在的真实场景应用价值。

Aug, 2018

PoseAgent: 基于强化学习的受预算限制的 6D 物体位姿估计

本研究提出使用强化学习优化参数的方法，将计算机视觉中姿态估计系统转化为使用卷积神经网络表示的策略，经过训练得到的姿态估计方法在资源利用方面较传统方法有所提升。