Feb, 2024

推动自回归模型的 3D 形状生成能力与可扩展性

PDF
TL;DR通过扩展自回归模型到三维领域并改进其容量和可扩展性，本文提出了一种名为 Argus3D 的新框架，利用离散表示学习基于潜在向量的三维形状生成，大大降低计算成本并保留几何细节，同时通过简单地连接各种条件输入来实现条件生成能力。经过广泛实验验证，Argus3D 在多个类别上能够合成多样化和真实的三维形状，并取得了显著的性能提升。
auto-regressive models3d shape generation3d auto-regressionargus3dconditional generation
发现论文，激发创造
  • 大规模三维形状生成的极限挑战

    我们开发了一个名为 Argus-3D 的模型，通过采用自回归模型和大型语言模型的适应性，以及使用 36 亿可训练参数，在 3D 形状生成方面取得了重大突破，通过增强生成的 3D 形状的质量和多样性，解决了现有方法的局限性。

    Jun, 2023

  • AutoSDF: 用于 3D 完善、重建和生成的形状先验

    该研究提出了一种基于自回归先验的方法来解决三维形状完形、重建和生成等多模态三维任务，该方法可以在一个任意集合的空间查询位置上对三维形状建模，从而在不同的条件下执行形状补齐。

    Mar, 2022

  • 3D 表征的深度生成模型：一项调查

    本文概述了 3D 生成方法和 3D 感知图像合成的算法和表示方法的发展，并探讨了面临的困难和挑战。

    Oct, 2022

  • 3D 点云的生成模型

    本研究的目的是通过实验转换编码器、潜空间流模型和自回归解码器等方法来改进点云潜空间生成模型的性能，并对这些模型在不同物体类型上的生成和重构性能进行分析和比较。

    Feb, 2023

  • 自回归不确定性建模：3D 边界框预测

    本研究针对计算机视觉应用中对三维边界框的预测挑战，提出了自回归预测方法来改进输出分布的建模，并采用自身数据集 COB-3D，并探索实际机器人应用中新的模糊不确定性，最终在 SUN-RGBD、Scannet、KITTI 和本文提出的数据集上取得了良好的预测效果和意义明确的不确定度测量。

    Oct, 2022

  • 通过三维生成对抗建模学习物体形状概率潜空间

    本文提出了一种新颖的框架，即 3D 生成对抗网络（3D-GAN），通过利用体积卷积网络和生成对抗网络的最新进展，从概率空间生成 3D 对象，并具有生成高质量 3D 对象、无先验 CAD 模型或图像依赖性、生成器从低维概率空间到 3D 空间的映射以及训练出的无监督深度学习的 3D 描述符等优点，在 3D 对象生成及识别等方面取得了令人印象深刻的性能。

    Oct, 2016

  • PolyGen: 一个三维网格的自回归生成模型

    该研究论文介绍了一种基于 Transformer 的方法来直接建模多边形网格，并通过输入不同的对象类别、体素和图像等信息，生成可用的高质量网格，同时在表面重建指标上表现出很好的性能。

    Feb, 2020

  • 视觉自回归建模：通过下一尺度预测实现可扩展图像生成

    Visual AutoRegressive modeling (VAR) improves autoregressive image generation surpassing diffusion transformers, exhibiting power-law scaling laws and zero-shot task generalization.

    Apr, 2024

  • GLASS: 几何潜空间增强形状空间

    使用基于几何的能量来增强几何模型的数据集，通过构建变分自动编码器的潜空间并逐步增强数据集，训练出具有几何和语义有效性的生成模型，验证了该方法的有效性和能力。

    Aug, 2021

  • 面向无监督学习的生成模型，用于三维可控图像合成

    该研究探索了使用生成对抗网络在三维空间中进行图像合成的可能性，并提出了一种无监督的方法，可从原始图像中解开简单场景的隐含三维因素。与纯二维基线相比，该方法允许合成与视角或物体姿势变化一致的场景，可用于实现 3D 可控图像合成，生成具有可解释性的表示形式。

    Dec, 2019