本文探讨机器人行动的基本局限性和现有的视觉表征学习方法存在的问题，并提出利用语义三维关键点作为视觉表征的方法，通过半监督训练，使其精度达到毫米级别，能够帮助定义强化学习的奖励函数并作为代理训练的有效表征。

Sep, 2020

本文提出了一种新颖的类别级别的机器人操作方法，使用基于语义三维关键点的物体表示方法，并使用该表示法将操纵策略分解为实例分割、三维关键点检测、基于优化的机器人动作规划和本地密集几何学操作执行，从而提高了操纵泛化能力和鲁棒性。

Mar, 2019

提出了一个基于 Keypoints + Instructions to Execution (KITE) 的两步框架用于实现语义操作，首先通过 2D 图像关键点将输入指令与视觉场景关联，然后通过学习到的关键点条件技能执行指令，其中 keypoints 和参数化技能的组合使得对场景和物体变化的细粒度操控具有泛化能力。

Jun, 2023

本文提出了一种基于贝叶斯方法的算法来跟踪图像中的尺度不变的关键点，对于机器人的多目标操作任务，该算法较其他方法更加高效且具备鲁棒性。

May, 2023

本研究采用新颖的隐式表示方法解决了通用物体的 3D 关键点估计问题，通过使用球来表示 3D 关键点，以此实现对应的带符号距离场的可学习性，并基于 Hough 变换后提取出显式的关键点。实验结果表明，该表示方法在预测精度方面具有优越性。

Jun, 2023

该文介绍了一种学习 3D 几何结构的算法，可用于从高维图像中学习感觉运动控制策略，其发现的 3D 关键点能够在时间和 3D 空间上一致地捕获机器人关节和物体移动，成果在强化学习基准测试中优于之前的最佳方法。

Jun, 2021

该论文研究了在存在大量形状差异的物体类别中，如何使用高效的物体表示方式和机器学习方法，实现基于感知输入的机器人运动规划，来完成任务。

Sep, 2019

本文探讨了如何通过自主机器人与环境进行交互，获得适用于机器人操纵任务的有效物体中心表示，无需人为标注。基于对象持久性的表示学习方法能够随着机器人收集更多经验，不断改进表示，从而可以在无需人为干预的情况下扩展规模。我们的实验表明，这种自我监督方法显着优于直接从图像进行强化学习和先前的表示学习方法。

Nov, 2018

本研究旨在学习控制和强化学习（RL）有用的对象表示。我们介绍了 Transporter，这是一种神经网络体系结构，用于以关键点或图像空间坐标的形式发现简明的几何对象表示。

Jun, 2019

通过学习基于隐式表征的对象重建的最新进展，借鉴其思想，提出了一种高效且易于与深度神经网络集成的人体抓握模型表示，通过手、对象和接触区隐式表面的 3D to 2D 映射，生成高质量、物理合理的人体抓握姿态，实验结果表明，与现有方法相比，该方法取得了可比拟的性能。

Aug, 2020