学习可变形物体的对应关系

May, 2024

Learning Correspondence for Deformable Objects

Priya Sundaresan, Aditya Ganapathi, Harry Zhang, Shivin Devgon

TL;DR我们研究了可变形物体（布料和绳索）的像素级对应问题，比较了传统方法和基于学习的方法。我们选择布料和绳索，因为它们在解析建模方面是最难的可变形物体之一，而且在机器人任务（如布料折叠、绳结打结、T 恤折叠、窗帘合拢等）中具有意义。我们提出了对于通过特征匹配进行对应的现有传统方法进行全面调查，包括 SIFT、SURF 和 ORB，以及两种最近发布的基于学习的方法，包括 TimeCycle 和 Dense Object Nets。我们的提出方法为学习非刚性（和刚性）物体的连续时间和空间对应提供了灵活、通用的公式。我们报告了所有方法的均方根误差统计结果，并发现 Dense Object Nets 在对应方面优于基准传统方法，我们提出的 Dense Object Nets 扩展方法表现类似。

Abstract

We investigate the problem of pixelwise correspondence for deformable objects, namely cloth and rope, by comparing both classical and learning-based methods. We choose cloth and rope because they are traditionally some of the most difficult →

deformable objects correspondence classical methods learning-based methods dense object nets

发现论文，激发创造

利用 Contrastive Estimation 学习变形物体的预测表示

本研究提出了一种新的学习框架，使用对比估计来同时优化可视化表达模型和动态模型，在随机扰动变形对象并收集了模拟数据后，离线学习这些对象的潜在动态模型，随后使用简单的模型规划来解决具有挑战性的变形对象操纵任务，实验结果表明其性能优于传统模型学习技术，并通过域随机化将其可视化操纵策略从模拟数据成功地迁移到现实中的 PR2 机器人中。

Mar, 2020

通用对应网络

本文提出了一种深度学习框架，用于准确的视觉对应，并证明了其在几何和语义匹配中的有效性，提出了一种卷积空间变换器来模仿传统特征（如 SIFT）中的补丁归一化，广泛的 KITTI，PASCAL 和 CUB-2011 数据集的实验表明，与使用手工构建或学习特征的先前作品相比，我们的特征具有显着优势。

Jun, 2016

密集形状对应的自监督学习

介绍了第一种完全无监督的对变形三维图形进行对应学习的方法，通过理解自然变形的形态变化近似保持曲面的度量结构，提出了一种驱动学习过程的自然准则，从而克服了对带注释数据的需求，并取而代之的是一种纯几何标准，学习模型不分含义类别，能够利用任何类型的可变形几何数据进行训练，相对于现有的专门针对训练期间观察到的类别的监督方法，我们展示出更强的泛化能力和应用于各种具有挑战性设置的能力，在广泛的对应基准测试中展示了我们的方法，在精度、泛化能力和效率方面均超过了其他方法。

Dec, 2018

连续表面嵌入

提出一种学习图像密集对应的新模型，能对几何形状不同的物体进行自动化且简单的密集姿态估计，适用于人类和动物类的各种变形物体。

Nov, 2020

场景间密集对应的无监督特征学习

通过无监督学习从大量未标记图像路径中学习特征，对像素进行编码，并进行空间池化以获得补丁层特征，然后将学习到的特征顺畅地嵌入到多层匹配框架中，得到了与最先进的方法相比在准确性和计算效率方面均优于 SIFT flow 等的匹配模型，并分析了字典学习和特征编码对最终匹配性能的影响。

Jan, 2015

使用合成深度数据训练的稠密物体描述符学习绳索操作策略

研究使用 DDODs 学习点对对应来操作可变形物体，并使用可读性和可迁移性的几何策略来控制机器人，成功解决了物理模型不够准确以及机器人长时间训练和泛化能力不足的问题。

Mar, 2020

通过稠密对应实现可变形物体的隐式形状表示的自监督学习

使用自监督学习方法为可变形物体学习神经隐含形状表示法，无需特定语义领域的额外注释和大量变形约束，可用于纹理转移和形状编辑应用。

Aug, 2023

利用卷积网络实现密集的人体对应

本研究提出了一种深度学习方法，用于在人体的 3D 扫描之间寻找密集的对应关系，深度卷积神经网络用于训练特征描述符，通过区域分类问题解决多种问题，并验证我们的方法在真实数据和合成数据上都表现出了优异的稳定性和准确性。

Nov, 2015

在非受限图像中学习密集的面部对应关系

本文提出了一种使用神经网络在高度自由的 RGB 图像中计算面部对应关系的最简单有效的方法，使用渲染可变姿势、表情、照明和遮挡的多样化三维面部模型生成大量人工数据集，结合真实照片培训表现在精度和速度上优于现有方法，并可以成功地处理极端姿势变化、遮挡和光照条件。

Sep, 2017

神经对应场用于物体姿态估计

本文提出一种方法，通过单个 RGB 图像估计刚性物体的六自由度姿态，其中通过 3D 模型在摄像机视锥中采样三维查询点预测三维物体坐标，并借助全连接神经网络来实现神经对应场，最终使用 Kabsch-RANSAC 算法实现姿态估计，该方法在三个 BOP 数据集中都取得了最优结果。

Jul, 2022