Dec, 2023

快速训练极端掩码的扩散变压器用于三维点云生成

PDF
TL;DRFastDiT-3D is a novel masked diffusion transformer designed for efficient generation of high-quality 3D point clouds, achieving state-of-the-art performance with reduced training costs and improving multi-category 3D generation using a Mixture-of-Expert approach.
diffusion transformers3d point cloudsfastdit-3dvoxel-based diffusion modelsmixture-of-expert (moe)
发现论文，激发创造
  • 探索纯扩散变压器与三维形状生成

    提出一种用于三维形状生成的新型扩散 Transformer——DiT-3D，直接利用普通 Transformer 对点云数据进行去噪处理；相较于现有 U-Net 方法，该模型规模更具可扩展性且生成体现更高质量的形状。

    Jul, 2023

  • 掩蔽变换器应用于扩散模型快速训练

    本论文提出了一种使用掩码 Transformer 训练大型扩散模型的高效方法，实现了在不牺牲生成性能的情况下，仅使用 31％的训练时间达到与最先进的扩散变压器模型相同性能的效果。

    Jun, 2023

  • 快速点变换器

    本文介绍了一种基于 Fast Point Transformer 的新型轻量级自我关注层的方法，用于对大型 3D 场景进行处理和提高计算效率，并应用于 3D 语义分割和 3D 检测，具有与基于体素的最佳方法相竞争的准确性和比 Point Transformer 更快的推理时间。

    Dec, 2021

  • 掩码扩散模型学习速度快

    我们提出了一种基于先验的去噪训练框架，并将先训练和微调范式纳入扩散模型的训练过程，从而显着提高了训练效率和生成的图像质量。

    Jun, 2023

  • DiffTF++：大词汇量三维生成的三维感知扩散变换器

    通过引入一种基于扩散的前馈框架，以及使用改进的三面平面和 3D-aware 转换器、编码器 / 解码器来处理大规模的 3D 资源生成任务，该研究提出了一个更强的 3D 生成模型，以增强多样性、语义和质量。

    May, 2024

  • 跨视角掩蔽扩散变压器用于人物图像合成

    X-MDPT 是一种新颖的扩散模型，用于姿势引导的人体图像生成，采用了基于掩模的扩散变换器，通过对潜在补丁的操作，与现有作品中常用的 Unet 结构有所不同。该模型包括三个关键模块：去噪扩散变换器，将条件整合成单一向量进行扩散过程的聚合网络，以及通过参考图像中的语义信息增强表示学习的掩模交叉预测模块。X-MDPT 在更大模型下展示了可扩展性，在 DeepFashion 数据集上优于现有方法，并在训练参数、训练时间和推理速度方面表现出高效性。我们的 33MB 紧凑模型在 FID 为 7.42 时超过了使用 11 倍少参数的先前 Unet 潜在扩散方法（FID 8.07）。我们的最佳模型相比像素级扩散使用了 2/3 的参数，并实现了 5.43 倍的更快推理。

    Feb, 2024

  • DiffPoint: 用基于 ViT 的扩散模型进行单视点云和多视点云重建

    本文提出了一种将 ViT 和扩散模型结合的 DiffPoint 架构，用于 2D 到 3D 重建的任务，通过将嘈杂的点云分割成不规则块，在每个扩散步骤中利用 ViT 模型训练以预测目标点，实现了在单视图和多视图重建任务中的最先进结果，并且引入了一种统一且灵活的特征融合模块用于聚合来自不同输入图像的特征，进一步证明了应用统一架构于语言和图像之间以提升 3D 重建任务的可行性。

    Feb, 2024

  • SD-DiT：释放扩散变换器中自监督辨别的力量

    通过引入自监督区分知识来增强扩散变压器 (Diffusion Transformer, DiT) 的训练效果，并在 ImageNet 数据集上进行了广泛实验，实现了训练成本和生成能力之间的竞争平衡。

    Mar, 2024

  • 大词汇量三维扩散模型与变压器

    使用三平面的三维感知扩散模型与 Transformer 架构，通过改善三维表示、处理几何和纹理的巨大变化、增强复杂对象的三维知识，提出一个能生成大量多样性、丰富语义以及高质量的真实世界三维对象的单一 DiffTF 模型，该模型在 ShapeNet 和 OmniObject3D 的广泛实验中表现出最先进的大量词汇三维对象生成性能。

    Sep, 2023

  • 点云自监督学习的遮掩式判别

    本研究提出了一种基于 Transformer 的具有区分性的掩码预训练框架 MaskPoint，该框架使用离散的占用值表示点云，通过简单的二元分类来代理掩盖的对象点和采样的噪声点，从而使其具有鲁棒性。该预训练模型在多个下游任务中表现优异，包括 3D 形状分类、分割和真实世界物体检测。

    Mar, 2022