视频视觉目标跟踪的深度强化学习

Jan, 2017

视频视觉目标跟踪的深度强化学习

Deep Reinforcement Learning for Visual Object Tracking in Videos

Da Zhang, Hamid Maei, Xin Wang, Yuan-Fang Wang

TL;DR本文提出一种全面的端到端视频视觉跟踪方法，利用循环卷积神经网络代理与视频进行交互，并结合强化学习算法来学习不断的关注连续帧相关性和最大化在长期内的跟踪性能，实现了比现有跟踪基准更快速的状态 - of-the-art 性能。是第一个将卷积和循环网络与强化学习算法相结合的神经网络跟踪器。

Abstract

In this paper we introduce a fully end-to-end approach for visual tracking in videos that learns to predict the bounding box locations of a target object at every frame. An important insight is that the tracking

visual tracking bounding box recurrent convolutional neural network reinforcement learning state-of-the-art performance

发现论文，激发创造

基于强化学习的端到端主动目标跟踪

本研究采用深度强化学习的端到端方法，结合 ConvNet-LSTM 函数的预测能力，提出了一种针对活动物体追踪的解决方案，并通过环境增强技术和定制的奖励函数进行训练。结果表明，在模拟器中训练的跟踪器能够在未知的物体移动路径、外观、背景和干扰物的情况下表现良好。实验还表明，单独在模拟器中训练的跟踪能力具有潜在的适用性和推广性，可以在真实情况下进行。

May, 2017

端到端主动物体追踪及其通过强化学习实际部署

本研究通过深度强化学习解决了目标跟踪和摄像头控制任务难以共同调整的问题，并在模拟器上训练的跟踪器表现出良好的泛化能力，且具备潜在的真实场景应用价值。

Aug, 2018

基于深度强化决策的实时视觉跟踪

该研究提出了一种基于深度强化学习方法构建的模板选择策略的实时视觉追踪算法，该算法可有效应对模型更新导致的跟踪偏移问题，可在实时速度下以 43fps 跑动。

Feb, 2017

面向视觉物体跟踪的空间监督循环卷积神经网络

本文提出了一种新的空间监督递归卷积神经网络，用于视觉对象跟踪，通过研究长短期记忆和区域信息的回归能力，结合卷积网络产生的高层视觉特征直接预测跟踪位置，相较于现有的深度学习跟踪器，我们的跟踪器在保持低计算成本的同时更加准确和鲁棒，实验结果表明在多个数据集上均表现优异，常常优于排名第二的跟踪器。

Jul, 2016

深度追踪：使用循环神经网络看到超越视野

本文提出了一种新的端到端的物体跟踪方法，它直接从原始传感器输入到物体的轨迹映射，而无需任何特征工程或系统识别模型。该方法基于深度学习和循环神经网络的序列建模，通过一种输入丢弃的学习方法，能够在无监督的情况下处理包括遮挡物在内的传感器数据，学习跟踪许多动态物体，适用于机器人类应用中常见的 2D 激光数据跟踪任务。

Feb, 2016

多阶段强化学习用于目标检测

采用强化学习方法进行对象检测，采用预定义区域候选树、缩放操作和优化奖励函数等技术手段，实现更精准的物体边框配置。

Oct, 2018

利用循环神经网络进行端到端跟踪和语义分割

该论文介绍了一个基于循环神经网络的新型端到端框架，用于在复杂、动态且仅部分可观测的现实环境中跟踪和分类机器人的周围环境，并通过少量标记的数据使网络精通语义分类任务。

Apr, 2016

TrackAgent: 通过强化学习进行 6D 物体追踪

追踪物体的六维姿态，在物体本身或观察相机移动时，对许多机器人学和增强现实应用非常重要。在跟踪任务的严格时间限制下，我们提出了将物体追踪简化为加强点云（仅深度）对齐任务的方法。

Jul, 2023

在线目标跟踪的外观模型深度学习

本文提出了一种基于深度学习的新方法，用于基于视觉的单目标跟踪，该方法结合了卷积神经网络和贝叶斯损失层，提出了一种直接计算候选目标位置跟踪得分的网络架构。在标准跟踪基准上，该跟踪器达到了最先进的跟踪结果。

Jul, 2016

通过深度强化学习和专家演示实现的视觉追踪

通过应用强化学习的最新趋势并借鉴专家代理的演示，提出了两种新型跟踪器：A3CT 和 A3CTD，均利用现有的跟踪器进行有效的跟踪，并在多个基准测试中取得了最新的成果。

Sep, 2019