Sep, 2023

视而不见，仍在脑海中：基于视频追踪启用记忆模型的未被观察到的物体的推理与规划

PDF
TL;DR通过将变形器关系动力学用于部分视图点云和物体发现和跟踪引擎，我们提出了 DOOM 和 LOOM，旨在将面向对象的记忆编码到多物体操纵推理和规划框架中，以实现机器人在真实环境中可靠地处理先前观察但当前被遮挡的物体的问题，并成功实现了包括处理遮挡物体、新物体出现和物体再出现在内的多个具有挑战性的任务。通过大量的仿真和真实世界实验，我们发现我们的方法在不同数量的物体和干扰动作数量方面表现良好，并且超过了隐式记忆基准。
发现论文，激发创造
  • 来自以自我为中心的视频的空间认知：视力范围之外，心灵之内

    通过使用自我中心相机捕获的观测，本研究旨在模仿人类空间认知能力，从而实现在物体超出视野范围时的 3D 跟踪活动物体的任务。利用 Lift, Match and Keep (LMK) 方法，将部分二维观测提升到三维世界坐标，通过视觉外观、三维位置与物体交互来匹配物体轨迹，并在相机视野之外保留这些物体轨迹，从而记住所看不见的物体。在来自 EPIC-KITCHENS 的 100 段长视频上测试 LMK，结果表明空间认知对于正确定位物体在短时间和长时间尺度上至关重要。例如，在一个长时间的自我中心视角视频中，我们估计了 50 个活动物体的三维位置，其中 60% 在离开相机视野 2 分钟后仍能正确定位到三维空间中。

    Apr, 2024

  • 学习目标不变的物体跟踪

    该论文提出了一种端到端可训练的方法，结合物体检测和跟踪，并引入了序列记忆模块，使其更好地处理多物体跟踪，尤其是遮挡的情况。经过大规模的合成数据和实际测试，在 KITTI 和 MOT17 数据集上取得了最先进的性能表现。

    Mar, 2021

  • 利用 4D 神经场揭示遮挡物

    这篇论文介绍了一种从单目 RGB-D 学习 4D 视觉表示估计的框架，通过将点云编码成连续表示，该模型能够在时空上跨越上下文从而解决遮挡问题，实验证明这种方法可以成功地处理遮挡问题，并自动学习跟随遮挡物体的注意机制，可以用于许多视频理解任务。

    Apr, 2022

  • 视频的推理增强的物体中心学习

    通过设计一种名为 STATM 的新型推理模块，可以显著增强基于插槽的视频模型的物体中心学习能力。

    Mar, 2024

  • 基于轨迹辅助的事件摄像头物体检测

    在这篇论文中，我们考虑将不可见的物体视为伪遮挡物体，并旨在揭示它们的特征。我们提出了可视属性和自动标注算法来处理现有事件相机数据集，并利用跟踪策略来保持伪遮挡物体的永久性和边界框，同时引入了时空特征聚合模块和一致性损失以提高整体流程的稳健性。实验证明，额外的可见性标签可以辅助有监督训练，并且我们的方法在绝对 mAP 上比最先进的方法表现出显著的改进，提高了 7.9%。

    Mar, 2024

  • 面向通用机器人学习的深度目标中心表示

    本文提出了一种方法来解决复杂开放环境下机器人操作的问题，该方法基于先前训练的通用视觉模型作为感知系统的对象先验，并引入了一个基于对象的注意机制来确定相关对象，通过少数轨迹或演示将这些对象纳入学习策略，使用强化学习可以学习多种操作任务。

    Aug, 2017

  • 利用增强学习实现遮挡情况下操纵物体的主动视觉学习

    该研究探讨了人工智能代理在存在物体干扰的情况下，学习协同控制夹持器和相机，以强化学习策略来完成目标。其中，手 / 眼控制器通过物体中心化注意力结构进行处理，学习如何移动相机来保证物体始终在视野内，并与夹持器协同完成任务。此外，环境难度的课程设计，对最终的动态视野 / 夹持策略影响显著。实验结果表明，该方法在多样化的杂乱环境中胜过静态相机设置。

    Nov, 2018

  • MAVOT: 基于内存增强的视频物体跟踪

    该论文提出了一种基于外部记忆的一次学习方法来解决视频物体跟踪问题，可以处理多种复杂情况，并且在 VOT-2016 基准测试中表现良好。

    Nov, 2017

  • 高效室外物体导航中的隐形推理

    在室内、室外甚至未详细规划的环境中，机器人应存在。然而，最近在物体目标导航（OGN）方面的进展主要集中在室内环境中，利用空间和语义线索进行导航，这些线索在室外环境中并不具有普适性。本文介绍了一项新的任务 “OUTDOOR”，提出了一种新的机制，使大型语言模型（LLM）能够准确地幻想可能的未来，并提出了一种在这个更复杂领域中推动研究的计算感知成功度量。此外，我们还展示了在模拟无人机和实际四足机器人在户外环境中取得的令人印象深刻的结果。我们的代理机器人不需要预先地图，并且我们的形式化方法优于朴素的基于 LLM 的方法。

    Sep, 2023

  • 神经体积记忆用于视觉行动控制

    利用单目深度相机、神经体积记忆和几何先验知识，提出了一种新的方法来解决多种恶劣地形条件下的机器人步态规划问题。

    Apr, 2023