多样化可变形形状集合的无监督表示学习

Oct, 2023

多样化可变形形状集合的无监督表示学习

Unsupervised Representation Learning for Diverse Deformable Shape Collections

Sara Hahner, Souhaib Attaiki, Jochen Garcke, Maks Ovsjanikov

TL;DR我们介绍了一种新颖的基于学习的方法，用于编码和操作 3D 表面网格。我们的方法专门设计用于创建可解释的可变形形状集合的嵌入空间。与以前需要网格处于一对一对应关系的 3D 网格自编码器不同，我们的方法是以无监督的方式训练的，可以处理各种各样的网格。我们方法的核心是一种谱池化技术，它建立了一个通用的潜空间，摆脱了网格连通性和形状类别的传统限制。整个过程包括两个阶段。在第一阶段，我们采用函数映射范例以无监督的方式提取一组形状之间的点对点映射。然后利用这些点对点映射构建一个公共的潜空间，以确保直观解释和独立于网格连通性和形状类别。通过大量实验证明，我们的方法实现了优秀的重建，并产生了比基准方法更真实、更平滑的插值。

Abstract

We introduce a novel learning-based method for encoding and manipulating 3D surface meshes. Our method is specifically designed to create an interpretable embedding space for deformable shape collections. Unlike previous 3D mesh autoencoders that require meshes to be in a 1-to-1 corres

learning-based method 3d surface meshes interpretable embedding space spectral pooling technique functional map paradigm

发现论文，激发创造

非结构化三维网格内在对应关系学习的简单方法

本研究探索如何用更简单、直接的编码方法来表示 3D 几何形状，以提高几何处理效率并避免数据保真度损失。实验结果表明，该方法能在非刚性形状一致性估算方面取得竞争优势。

Sep, 2018

3D 网格形状和姿态的无监督分离

本文提出了一种简单但有效的无监督学习方法，结合自一致性和交叉一致性约束，并将尽可能刚性形变集成到训练循环中，以学习体态模型中的形状和姿态空间，并演示了学习表示的实用性，包括姿势转移和形状检索，实验证明了该方法的通用性。

Jul, 2020

从图像集合学习类别特定的网格重建

本文提出一种学习框架，可以从单个图像中恢复物体的 3D 形状、相机、和纹理，使用一个可变形的 3D 网格模型来表示形状，在不依赖于地面真值 3D 或多视图监督的情况下，利用注释的图像集进行训练并学习 3D 预测机制与可变形模型。作者还展示了可以轻松将语义关键点与预测的形状相关联，并在 CUB 和 PASCAL3D 数据集上展示了我们的方法的定性和定量结果。

Mar, 2018

密集形状对应的自监督学习

介绍了第一种完全无监督的对变形三维图形进行对应学习的方法，通过理解自然变形的形态变化近似保持曲面的度量结构，提出了一种驱动学习过程的自然准则，从而克服了对带注释数据的需求，并取而代之的是一种纯几何标准，学习模型不分含义类别，能够利用任何类型的可变形几何数据进行训练，相对于现有的专门针对训练期间观察到的类别的监督方法，我们展示出更强的泛化能力和应用于各种具有挑战性设置的能力，在广泛的对应基准测试中展示了我们的方法，在精度、泛化能力和效率方面均超过了其他方法。

Dec, 2018

生成式潜在形状模型的几何分离

本文提出了一种无监督的方法来将三维点云的变分自编码器的潜空间进行划分，结果展现出直观可解释的行为，在姿态转换和姿态感知形状检索等任务上表现出色，为人工智能中 3D 形状表示问题提供重要思路。

Aug, 2019

无监督学习内在结构表示点

本文中提出了一种简单且可解释的无监督学习方法，可以生成具有内在结构的三维结构点，这些点在类似结构的所有形状实例中表现出语义的一致性，并且通过采用 PCA 嵌入技术，本方法在保留形状结构方面表现出良好的性能。

Mar, 2020

通用场景下基于图像的 3D 非刚性对称物体无监督学习

本文提出了一种无需外部监督学习从单视角图像中学习三维可变形物体类别的方法，该方法基于自编码器，将每个输入图像分解为深度、漫反射、观察角度和光照，通过利用物体对称结构来分解这些组件，推理光照使我们能够利用底层的物体对称性，即使外观不对称，而是由于阴影造成的。此外，我们通过预测对称概率地图来建模可能但不一定对称的对象，该地图与模型的其他组件一起端到端地学习。我们的实验表明，这种方法可以从单视角图像中非常准确地恢复人类脸部、猫脸和汽车的三维形状，而不需要任何监督或先前的形状模型。与使用 2D 图像对应的监督方法相比，在基准测试中，我们表现出优越的准确性。

Nov, 2019

通过稠密对应实现可变形物体的隐式形状表示的自监督学习

使用自监督学习方法为可变形物体学习神经隐含形状表示法，无需特定语义领域的额外注释和大量变形约束，可用于纹理转移和形状编辑应用。

Aug, 2023

无监督学习使用深度非刚性运动结构的全解缕的三维可塑模型的抬升自编码器

介绍了一种新的 3D 表面基础的物体类别生成模型 - Lifting Autoencoders，该模型结合了非刚性结构运动、图像形成和形态模型等的思想，能完全无监督地从非结构化的图像集中学习可控、几何的 3D 类别生成模型，并使用可微渲染器生成 RGB 图像和对抗性训练的细化网络实现清晰逼真的图像重建结果。其生成模型可以通过可识别的几何和外观因素进行控制，从而进行身份、表达、3D 姿势和光照属性的逼真图像操作。

Apr, 2019

变分自编码器用于形变三维网格模型

本文介绍了一种基于神经网络和自动编码器的新型框架 —— 网格变分自编码器来研究分析具有形变的 3D 网格，通过在概率潜空间中探索 3D 表面，既可以代表 3D 动画序列，也可以代表同一类别的对象集合，具有大规模非线性形变的多样形状，广泛的实验表明我们的方法可以实现不同的形状性能，如形状生成、形状内插，形状空间嵌入和形状探索，取得了超越最先进方法的结果。

Sep, 2017