学习推断和执行三维形状程序

ICLRJan, 2019

Learning to Infer and Execute 3D Shape Programs

Yonglong Tian, Andrew Luo, Xingyuan Sun, Kevin Ellis, William T. Freeman...

TL;DR该研究提出了一种基于自下而上的识别系统和结构符号化程序的 3D 形状程序，通过自监督方式对 3D 形状程序进行学习，具有在不同领域中高精度的 3D 形状重建能力，结合图像到 3D 形状模块，能够实现从 RGB 图像直接推断出 3D 形状程序并重建出更加准确和真实的 3D 形状。

Abstract

Human perception of 3D shapes goes beyond reconstructing them as a set of points or a composition of geometric primitives: we also effortlessly understand higher-level shape structure such as the repetition and reflective symmetry of object parts. In contrast, recent advances in 3D shape sensing focus more on low-level geometry but less on these higher-level

3d shape programs symbolic program structure shape reconstruction neural modules image-to-shape module

发现论文，激发创造

使用可微渲染器学习推断 3D 形状程序

本研究提出了一种更符合人类感知理解与合理推理的可分析且可微分的执行器，用以辅助 3D 形状图程序的生成，并在无人知道真实程序的情况下达到更高的样本效率。初步实验表明，该研究为构建能够学习和推理人类认知知识的机器提供了有益的探索。

Jun, 2022

三维形状感知结合直觉物理与分析综合

提出了一个 3D 形状感知的框架，它在分析综合或图像形成的生成模型中解释了典型和非典型情况下的感知，分析和计算研究表明这种方法最符合人类观察者的准确性和响应时间，在困难判别方面与人类表现相关性显著，并提示深度神经网络等机器视觉系统如何实现更具有人类特色的稳健性。

Jan, 2023

ShapeAssembly: 学习生成三维形状结构合成程序

本文提出了一种面向领域的 3D 形状结构的组装语言 ShapeAssembly，并训练一个层次顺序 VAE，以从现有形状结构中提取 ShapeAssembly 程序，从而生成可解释和可编辑的 3D 形状。

Sep, 2020

ShapeCoder: 从非结构化基元中发现视觉程序的抽象

ShapeCoder 是第一个可以自动发现并使用抽象化函数来解释给定形状的系统，它使用了形状到程序识别网络和增强的 E 图来发现更好的抽象化函数，并在多个数据集上实现了更好的数据压缩。

May, 2023

PyTorchGeoNodes：用于三维形状重建的可微分形状程序

我们提出了 PyTorchGeoNodes，一种可解释的形状程序，用于从图像中重建 3D 对象。我们的实验表明，我们的重建结果与输入场景很好地匹配，并能对重建对象进行语义推理。

Apr, 2024

神经元件：使用可逆神经网络学习表达性三维形状抽象

本研究介绍了一种新的三维基元表示方法 Neural Parts，该方法使用可逆神经网络定义基元，并通过学习将三维对象解析为语义一致的部件排列，有效地抽象了三维形状并实现了精确的重建。

Mar, 2021

学习三维物体的形状和布局，无需三维监督

本研究提出了一种基于多视图图像的方法，用于识别三维场景的对象形状和布局，通过在大型数据集上的实验，证明该方法可扩展应用于现实图像，并与依赖三维信息的方法相比，表现得更好。

Jun, 2022

PLAD: 学习使用伪标签和近似分布推断形状程序

本研究提出了一种基于最大似然估计和伪标签或近似分布的培训策略 PLAD，用于训练模型进行程序推断，达到更准确，更简单的结果。

Nov, 2020

学习从未见过的类别重建形状

本研究提出一种通用重建算法（GenRe），利用深度和轮廓等 2.5D 表示方法和球形和体素表示方法，旨在捕捉更通用，不受特定类别约束的形状先验知识，实验结果表明该算法可以很好地解决从单张图像还原 3D 形状，并且能够泛化到未在训练中见过的多种不同类别的新物体。

Dec, 2018

PlankAssembly：基于三个正交视图和学习形状程序的鲁棒三维重构

该论文介绍了一种新的方法，可以自动将来自三个正交视图的 2D 线条图转换为 3D CAD 模型。该方法利用基于 Transformer 的序列生成模型中的注意机制，学习输入到输出之间的灵活映射，通过设计适用于生成感兴趣对象的形状程序来提高重建精度并促进 CAD 建模应用。在一个新的基准数据集上的实验证明，当输入有噪声或不完整时，我们的方法明显优于现有方法。

Aug, 2023