Dec, 2023

快速训练极端掩码的扩散变压器用于三维点云生成

HTML
PDF
TL;DRFastDiT-3D is a novel masked diffusion transformer designed for efficient generation of high-quality 3D point clouds, achieving state-of-the-art performance with reduced training costs and improving multi-category 3D generation using a Mixture-of-Expert approach.
发现论文，激发创造
  • 通过点 - 体素扩散生成和补全 3D 形状

    本文提出了一种新颖的概率生成建模方法，称为Point-Voxel Diffusion（PVD），它是一个统一的、概率的公式，用于无条件的形状生成和多模态形状完成。PVD将降噪扩散模型与3D形状的混合点-体素表示相结合，并通过优化变分下界来训练（条件）似然函数。实验证明了PVD的高保真度合成能力，以及从单视角深度扫描的真实对象中生成多个完成结果的能力。

    Apr, 2021

  • RenderDiffusion：用于3D重建、修补与生成的图像扩散

    本文提出了RenderDiffusion，这是第一个用于3D生成和推断的扩散模型，使用仅有的单眼2D监督进行训练，并采用新颖的图像去噪架构进行中间的三维表示，以提供强烈归纳结构，同时仅需要2D监督。我们在FFHQ、AFHQ、ShapeNet和CLEVR数据集上评估了RenderDiffusion，展示了生成3D场景和从2D图像中推理3D场景的竞争性表现。此外，我们的扩散型方法还使我们能够使用2D修复来编辑3D场景。

    Nov, 2022

  • 掩蔽变换器应用于扩散模型快速训练

    本论文提出了一种使用掩码Transformer训练大型扩散模型的高效方法，实现了在不牺牲生成性能的情况下，仅使用31％的训练时间达到与最先进的扩散变压器模型相同性能的效果。

    Jun, 2023

  • 探索纯扩散变压器与三维形状生成

    提出一种用于三维形状生成的新型扩散Transformer——DiT-3D，直接利用普通Transformer对点云数据进行去噪处理；相较于现有U-Net方法，该模型规模更具可扩展性且生成体现更高质量的形状。

    Jul, 2023

  • 基于图像渲染的去噪传播

    通过引入第一种能够快速进行真实世界三维场景的详细重建和生成的推广模型，我们在本研究中提出了三个贡献：首先，引入了一种新的神经场景表示方法IB-planes，能够有效准确地表示大型三维场景，并在需要时动态分配更多容量以捕捉每张图像中可见的细节；其次，我们提出了一种去噪扩散框架，通过仅使用二维图像而不需要额外的监督信号（如掩码或深度）学习对这种新型三维场景表示的先验知识，从而支持三维重建和生成；第三，我们开发了一种避免将基于图像渲染与扩散模型集成时产生平凡三维解决方案的原则性方法，即通过丢弃某些图像的表示。我们在几个具有挑战性的真实和合成图像数据集上评估了该模型，并在生成、新视图合成和三维重建方面展示了优越的结果。

    Feb, 2024

  • 基于双向 SSM 的扩散曼巴高效三维形状生成

    为了解决传统attention机制在高分辨率三维形状生成中的可扩展性问题，我们引入了一种新颖的基于Mamba架构的扩散生成模型（DiM-3D），通过利用Mamba架构的高效性和线性复杂度，DiM-3D在维持线性复杂度的同时实现了快速推理时间和大大降低的计算需求，并在ShapeNet基准测试上实验结果证明其在生成高保真度和多样性的三维形状方面表现出卓越性能。

    Jun, 2024

  • 高效且可扩展的稀疏点体素扩散模型点云生成

    本研究针对点云生成中的效率和多样性问题，提出了一种新颖的点云U-Net扩散架构。该模型结合了高分辨率点表示和稀疏体素的计算效率，显著提高了生成速度并在多个任务中表现出色，展示了在大规模数据集上的可扩展性和高质量生成的潜力。

    Aug, 2024

  • MeshFormer：利用3D引导重建模型生成高质量网格

    本研究针对现有开世界3D重建模型在生成高质量网格时的不足之处，提出了一种新颖的MeshFormer模型。该模型通过结合3D稀疏体素、变换器和3D卷积，显著提升了三维结构的学习效率，最终能够高效生成具有精细几何细节的高质量网格。

    Aug, 2024

  • Diff-PCC：基于扩散的3D点云神经压缩

    本研究解决了传统点云压缩方法在质量和压缩性能上的不足，提出了一种新颖的基于扩散的点云压缩方法Diff-PCC。该方法利用双空间潜在表示，通过独立编码骨干提取形状潜在信息，并通过扩散生成器实现高质量重建，实验结果显示其在超低比特率下实现了领先的压缩性能和优越的主观质量。

    Aug, 2024

  • 扩散-占用：通过占用扩散进行三维点云补全

    本研究解决了三维点云因分辨率和遮挡等限制导致的不完整性问题。我们提出的Diffusion-Occ框架采用两阶段粗细结合的方法，通过精确的体素预测和条件占用扩散模型，全面整合全局与局部特征，实现高效的点云补全。实验结果显示，该方法在性能上优于现有的判别和生成方法。

    Aug, 2024