该文介绍了一种学习 3D 几何结构的算法，可用于从高维图像中学习感觉运动控制策略，其发现的 3D 关键点能够在时间和 3D 空间上一致地捕获机器人关节和物体移动，成果在强化学习基准测试中优于之前的最佳方法。

Jun, 2021

采用关键点为基础的表征在各种视觉和机器人任务中证明了优势。然而，现有的二维和三维关键点检测方法主要依赖几何一致性实现空间对齐，忽视了时间一致性。为了解决这个问题，介绍了用于二维数据的传输器方法，从源帧重构目标帧以包含空间和时间信息。然而，将传输器直接应用于三维点云由于其与二维图像的结构差异而不可行。因此，我们提出了第一个三维版本的传输器，它利用混合三维表示、交叉关注和隐式重构。我们将这个新的学习系统应用于三维关节对象和非刚性动物（人类和啮齿动物），并展示了学到的关键点在时空上的一致性。此外，我们提出了一种闭环控制策略，利用学到的关键点进行三维物体操作，并展示了其卓越性能。代码可在此 https URL 获取。

Sep, 2023

本研究针对无监督的视频对象结构和动态提取及预测的挑战，采用基于关键点的图像表示方法，并在关键点的动力学模型上进行学习，以实现像素空间中的稳定学习和错误复合的避免。该方法在像素级视频预测和需要物体级运动动态理解的下游任务方面均优于非结构化表示，并在多个数据集和任务中进行了评估和验证。

Jun, 2019

本文提出了 Transporter Network，一种简单的模型体系结构，它可以重新排列深层特征以从视觉输入中推断出空间位移，使得机器人的行动具有参数化，是一种可以表示复杂的多模式策略分布并推广到多步顺序任务的方法，并且采样效率比基准方法快数个数量级。

Oct, 2020

提出一种基于物体关键点的表示学习方法 PermaKey，可用于 Atari 游戏中的强化学习任务，学习到对应于最显著物体部分的关键点，并且在一定程度上能够抵御视觉干扰。

Nov, 2020

通过用图形结构表示可变形物体的配置空间，使用图卷积网络对图进行编码并采用基于全卷积网络的体系结构，只从视觉输入中输出逐像素的采取和放置动作，以实现目标条件下的可变形物体重新排列任务。

Feb, 2023

本文提出了 KeypointGAN 方法，通过从未标注的视频和基于弱领域先验知识的学习，仅使用单个图像就可以识别物体的姿态，利用一个新的物体的双重表示方法，并且这种方法可以在不使用标注图像的情况下获得最新的成果。

Jul, 2019

本文提出一种以单个图像和动作类别为条件的深度视频预测模型，通过检测物体关键点并将关键点序列预测为未来运动，然后通过平移输入图像来生成未来帧。该方法通过无监督方式训练来检测任意对象的关键点，并使用原始视频的检测关键点作为伪标签学习物体运动，实验结果表明，我们的方法可以应用于各种数据集，而不需要对视频中的关键点进行标注，检测到的关键点类似于人工标注的标签，并且与以前的方法相比，预测结果更加真实。

Oct, 2019

介绍一种新的无监督方法 KeypointDeformer，通过自动发现的 3D 关键点进行形状控制，并通过比较两个对象的潜在表示来分析其形状差异，并通过 3D 关键点和形状变形算法将源对象变形为目标对象。

Apr, 2021

本文探讨机器人行动的基本局限性和现有的视觉表征学习方法存在的问题，并提出利用语义三维关键点作为视觉表征的方法，通过半监督训练，使其精度达到毫米级别，能够帮助定义强化学习的奖励函数并作为代理训练的有效表征。

Sep, 2020