本论文提出了一种基于自监督学习的方法，仅仅通过一组彩色图像就能够学习到一个关节物体类的几何、外表和动作的表示，从而实现这些语义维度的独立控制，该方法不需要形态学的注释，相对于现有的采用 3D 直接监督的各种方法，使用本方法只需 2D 观测即可恢复更精准的几何和外观，并且具有少样本重建、新关节生成和新视角综合生成等众多应用。
May, 2022
通过视觉反馈操纵不可见的关节对象对于实际机器人而言是一项关键但具有挑战性的任务。本文提出了一个新颖的部件导向的 3D RL 框架，可以在没有示范的情况下学习操纵关节对象。实验结果在仿真环境和真实世界环境中证明了我们框架的有效性。
Apr, 2024
使用隐式物体中心表示法和编码器 / 解码器，提出了一种重建多个关节物体的方法，该方法可以在单个观察中推断多个未知物体的 3D 形状，6D 姿态，类型和状态，并且在虚拟和现实世界中都得到了很好的表现。
Mar, 2023
从单一视频中重构一般关节式 3D 物体的挑战已被克服，引入了新的变形模型，通过优化部件建模、加强刚性以及精确运动和无缝变形，提高了一般关节式物体的 3D 重建质量。
我们通过两个不同关节状态的物体的两个 RGBD 扫描构建未知关节物体的数字孪生问题，通过分解成两个阶段并采用显式建模，我们的方法能够重建物体形状并恢复关节模型，通过利用图像、3D 重建和运动学信息，我们的方法相比之前的工作具有更高的准确性和稳定性，并且能够处理多个活动部件并不依赖于任何物体形状或结构的先验知识。
该研究提出了一种使用深度数据构建可追踪的关节对象完整绑定形式建模的方法，该方法包括 deformable mesh tracking，motion segmentation，spectral clustering，嵌入式骨架和蒙皮权重。
Sep, 2016
通过使用一种新的能量最小化框架，从点云视频中识别出由任意数量部分组成的任意日用物品的不同部分，这与其他先前的研究相比，我们的方法在各种度量方面表现更好，并能使模型重新定位到新的姿势上。
Jun, 2023
文章提出了 i-Code V2，这是第一个能够从任何视觉、语言和语音数据组合中生成自然语言的模型，它通过利用最先进的单模态编码器将各类模态组合并映射到一个共享表征空间，并使用自回归解码器从这些表征中生成语言词汇。i-Code V2 在大量数据集上进行端到端预训练，通过文本补全目标实现泛化在任意模态组合上，展示出了多模态预训练在各种任务和信号方面的强大性能。
May, 2023
本文提出了一种实时动态场景重构方法，能够在给定单个 RGB-D 相机的实时深度流情况下同时再现运动、几何和分割。我们的方法通过融合几何逐帧进行处理，并使用分割增强的节点图结构来驱动几何变形。我们提出了一种二级节点运动优化方法，并通过利用关节运动先验知识来大大减少节点运动的优化空间和物理合理的变形范围。与之前基于融合的动态场景重构方法相比，我们的实验表明，我们的方法对于切向运动和遮挡的运动都具有鲁棒性和改进的重建结果。
Jul, 2018
提出了 CenterArt，一种用于同时进行 3D 形状重建和关节体 GRASP 估计的新方法。通过 RGB-D 图像进行输入，利用编码器预测形状和关节代码，再通过解码器重建 3D 形状和估计物体的 6 个自由度的 GRASP 姿势。使用包含多个具有随机设计、纹理、照明条件和逼真深度的关节对象的逼真场景进行培训，并通过进行广泛的实验表明，CenterArt 在准确性和鲁棒性方面优于现有方法。