Apr, 2024

PyTorchGeoNodes：用于三维形状重建的可微分形状程序

PDF
TL;DR我们提出了 PyTorchGeoNodes，一种可解释的形状程序，用于从图像中重建 3D 对象。我们的实验表明，我们的重建结果与输入场景很好地匹配，并能对重建对象进行语义推理。
发现论文，激发创造
  • 学习推断和执行三维形状程序

    该研究提出了一种基于自下而上的识别系统和结构符号化程序的 3D 形状程序，通过自监督方式对 3D 形状程序进行学习，具有在不同领域中高精度的 3D 形状重建能力，结合图像到 3D 形状模块，能够实现从 RGB 图像直接推断出 3D 形状程序并重建出更加准确和真实的 3D 形状。

    Jan, 2019

  • 使用可微渲染器学习推断 3D 形状程序

    本研究提出了一种更符合人类感知理解与合理推理的可分析且可微分的执行器，用以辅助 3D 形状图程序的生成，并在无人知道真实程序的情况下达到更高的样本效率。初步实验表明，该研究为构建能够学习和推理人类认知知识的机器提供了有益的探索。

    Jun, 2022

  • 使用可微分蒙特卡罗渲染技术进行统一形状和 SVBRDF 恢复

    本文介绍了一种新的分析合成技术，通过鲁棒的粗到细优化和基于物理的可微分渲染，能够重新构建现实世界对象的形状和外观，统一处理几何和反射的优化，利用图像梯度获得物理精度的梯度估计。

    Mar, 2021

  • 神经网络构造实体几何形状解析器

    该研究提出了一种基于深度学习的几何建模技术 CSGNe，旨在将 2D 或 3D 形状转化为构建程序以生成一个简单的，可解释性的生成模型，并通过 policy gradient technique 实现对无程序标注的数据集的训练。

    Dec, 2019

  • CSGNet: 基于神经网络的构造实体几何形状解析器

    提出神经架构，输入 2D 或 3D 形状并输出生成形状的程序。程序基于构造实体几何原理，采用循环神经网络以一种自下而上的方式解析输入形状，显著提高了速度和精确性，使用强化学习技术进行训练。

    Dec, 2017

  • 一种用于可精细化形状匹配和生成的端到端深度学习生成框架

    基于几何深度学习的形状生成模型在计算医学中的应用可通过比较分析，验证了其适用于以真实 3D 网格形状为基础的合成解剖形状，并且可以进一步增加变异性并保留更多生成形状的细节。

    Mar, 2024

  • ShapeAssembly: 学习生成三维形状结构合成程序

    本文提出了一种面向领域的 3D 形状结构的组装语言 ShapeAssembly， 并训练一个层次顺序 VAE，以从现有形状结构中提取 ShapeAssembly 程序，从而生成可解释和可编辑的 3D 形状。

    Sep, 2020

  • 3D 高斯差分渲染的灵活技术

    快速可靠的形状重建是许多计算机视觉应用的关键要素。神经辐射场证明了逼真的新视角合成是可行的，但在对实景和物体进行快速重建方面要求表现。最近的几种方法基于其他形状表示，特别是 3D 高斯函数。我们对这些渲染器进行扩展，例如集成可微分光流、导出满封闭网格和按射线渲染法线。此外，我们展示了两种最近方法之间的互操作性。这些重建速度快、鲁棒，并且可以在 GPU 或 CPU 上轻松执行。详细的代码和可视化示例请参见网址：https:// 此处为网址

    Aug, 2023

  • 使用 PyTorch3D 加速 3D 深度学习

    本文介绍了 PyTorch3D，一个用于 3D 深度学习的模块化、高效且可微分的操作库，包括一个快速、模块化和可微分的渲染器，通过合成分析方法来预测出优秀的 3D 网格和点云，它比其他可微渲染器更加模块化和高效，在大型网格和图像方面也更具优势，能在提高速度和内存性能的同时扩展性更灵活。

    Jul, 2020

  • ShapeCoder: 从非结构化基元中发现视觉程序的抽象

    ShapeCoder 是第一个可以自动发现并使用抽象化函数来解释给定形状的系统，它使用了形状到程序识别网络和增强的 E 图来发现更好的抽象化函数，并在多个数据集上实现了更好的数据压缩。

    May, 2023