提出了一种利用单个 RGB 图像来检索机器人手臂的关节角度的新方法，该方法基于运动规划和控制算法所需的准确联合角度数据的收集，将机器人运动与物理空间中的距离几何表示联系起来，利用机器人的运动学模型训练一个浅层神经网络来预测结构关键点间的距离，并通过多维缩小和简单的逆运动学过程来恢复关节角度。本文在 Franka Emika Panda 手臂的真实 RGB 图像上展示了该方法的高效性和稳健的泛化能力，以及该方法可以轻松地与密集的细化技术相结合以获得更好的结果。

Jan, 2023

基于图像的机器人操纵系统，利用多个视角捕捉目标物体，推断深度信息以补充其几何信息，采用几何一致性融合视角，实现精确操纵决策。

Oct, 2023

本文提出了一种基于语言根据分割掩模的新型范例，来应对日常情况下一系列的抓取和放置机器人操作任务，通过将从掩模中传达的精确语义和几何形状与我们的多视点策略模型相结合，使我们的方法能够感知准确的物体姿态并实现样本高效学习。

Jun, 2023

本研究提出了一种基于神经网络的场景表示方法，可以直接从 RGB-D 视频中学习物体级别的神经表示，并具有显式的对象运动编码和 / 或变形编码，该方法评估后表明具有高效性，可解释性和可编辑性。

Apr, 2023

本文提出一种名为语义几何表征（SGR）的感知模块，旨在整合 RGB 和深度相机的信息，以更好地学习机器人感知和控制的表征，实验结果表明，SGR 在单任务和多任务设置下的表现均显著优于其他方法，并具有到新语义属性的泛化能力。

Jun, 2023

本文提出了一种从 2D 视觉观察中学习动态 3D 场景模型的方法，结合神经放射场、时间对比学习和自动编码框架，可以学习到视点不变的 3D 感知场景表示，进而实现包括刚体和流体在内的具有挑战性的操作任务的视觉运动控制和未来预测，并支持摄影机视点外训练分布的目标规定，此外，还对不同系统设计进行了详细的改变研究和学习的表示的定性分析。

Jul, 2021

本文针对如何从单个 RGB 图像中在给定的 3D 环境中预测 6D 相机姿态这一问题，通过设计并使用一个名为完全卷积神经网络的组件实现了高效、高精度和鲁棒性训练的端到端可训练的管道。令人惊奇的是，网络仅依靠单一视角的约束条件即可自动发现 3D 场景几何，甚至在没有利用场景 3D 模型的情况下，也能比现有技术更优秀。

Nov, 2017

使用深度神经网络处理机器人 RGB 图像，实现不需要离线校准的单帧相机位姿估计

Nov, 2019

最近大规模预训练的进步提供了具有强大功能的视觉基础模型。我们分析了视觉基础模型的三维感知能力，并通过一系列实验揭示了当前模型的几个局限性。

Apr, 2024

通过使用隐式的场景元素特征表征来区分合理和不合理的人体和物体对齐，在机器人感知中提出了一个以图形为基础的整体三维人体场景重建的方法，该学习方法实现了与现有基于优化的方法相当的三维重建质量，且不需要推理时间优化，适用于机器人导航等潜在应用中。

Jul, 2023