- 基于双向 SSM 的扩散曼巴高效三维形状生成
为了解决传统 attention 机制在高分辨率三维形状生成中的可扩展性问题,我们引入了一种新颖的基于 Mamba 架构的扩散生成模型(DiM-3D),通过利用 Mamba 架构的高效性和线性复杂度,DiM-3D 在维持线性复杂度的同时实现 - 通过重新参数化的 DDIM 进行分数蒸馏
通过修改 DDIM,我们的方法在 3D 生成中消除了过度平滑,保留了高频细节,并使生成质量接近于 2D 采样器,从而取得了与其他先进的分数蒸馏方法相当或更好的 3D 生成质量,而无需训练额外的神经网络或多视图监督,并为扩散模型中 2D 和 - CVPRUDiFF: 生成带有最佳小波扩散的条件无符号距离场
本文介绍了 UDiFF,一种用于无符号距离场的 3D 扩散模型,能够从文本条件或无条件地生成具有开放表面的纹理化 3D 形状,通过在空间频域生成 UDFs 并采用最佳小波变换,以产生紧凑的 UDF 表示空间。
- NeuSDFusion:一种面向空间感知的生成模型用于 3D 形状补全、重构和生成
介绍了一种新型的空间感知的 3D 形状生成框架,利用 2D 平面表示增强 3D 形状建模,通过使用正交 2D 平面直接学习三维形状的连续有符号距离场表示,以确保空间一致性和减少内存使用,并通过基于 Transformer 的自编码结构精确实 - 超级 SDFusion: 提升 3D 文本到形状生成的语言和几何层次结构的桥接
提出了一种基于超几何空间的分层文本到形状生成模型,利用超几何空间学习文本和 3D 形状的分层表示,并通过引入双分支结构嵌入文本特征于 3D 特征空间,最终得到具有分层结构的生成 3D 形状,实验结果显示在现有文本到形状数据集上取得了最先进的 - 推动自回归模型的 3D 形状生成能力与可扩展性
通过扩展自回归模型到三维领域并改进其容量和可扩展性,本文提出了一种名为 Argus3D 的新框架,利用离散表示学习基于潜在向量的三维形状生成,大大降低计算成本并保留几何细节,同时通过简单地连接各种条件输入来实现条件生成能力。经过广泛实验验证 - MVDD:多视角深度扩散模型
利用多视角深度,通过 MVDD 扩展扩散模型以生成高质量的 3D 形状,并通过增强视图之间的一致性及深度图对齐来提供卓越的 3D 形状生成和深度完成能力,以及作为下游任务的 3D 先验。
- 零样本草图生成 3D 形状
This paper explores the use of pre-trained models and synthetic renderings to generate 3D shapes from sketches without t - 探索纯扩散变压器与三维形状生成
提出一种用于三维形状生成的新型扩散 Transformer——DiT-3D,直接利用普通 Transformer 对点云数据进行去噪处理;相较于现有 U-Net 方法,该模型规模更具可扩展性且生成体现更高质量的形状。
- 基于三平面的混合神经变形流形用于形状表示和生成
本文介绍了一种新的神经网络模型 HNDF (Hybrid Neural Diffeomorphic Flow),用于三维形状重建和生成,通过学习数据样本中的隐式函数,对细节信息进行拆分和处理,进一步实现高质量的三维形状再现和生成。
- 基于形状 - 图像 - 文本对齐潜在表示的 Michelangelo 条件 3D 形状生成
本文提出利用对齐预处理的方法来生成 3D shape,通过 shape-image-text-aligned space 对三种模态进行转换,并且通过两种模型提升生成效果
- 大规模三维形状生成的极限挑战
我们开发了一个名为 Argus-3D 的模型,通过采用自回归模型和大型语言模型的适应性,以及使用 36 亿可训练参数,在 3D 形状生成方面取得了重大突破,通过增强生成的 3D 形状的质量和多样性,解决了现有方法的局限性。
- 少样本三维形状生成
通过利用先前训练好的生成模型,通过领域自适应的方式,基于有限数量的训练数据从而实现了少样本 3D 形状生成,该方法能够在保持多样性的同时避免过度拟合,并通过多种度量评估了生成的质量和多样性。
- 迈向自由计算架构:Metaverse 中生成虚拟建筑的深度学习综述
该综述评估了使用深度生成模型(DGM)生成三维物体的最新方法,重点关注于建筑形式的虚拟环境中生成建筑的可能性,从离散光子生成、2D 图像生成 3D 模型到条件参数生成等等,同时指出了生成 3D 形状和参数化控制中未被探索的问题,其中数据限制 - CVPR3DQD: 基于部分离散扩散过程的通用深度三维形状先验
本篇论文提出了一个通用的 3D 形状模型生成模型,采用向量量化变分自编码器、离散扩散生成器和多频率融合模块等技术,实现了高保真度、多样性以及跨模态对齐等功能,能够应用在点云补全和多种 3D 形状生成任务中,实验证明其在各种任务中都表现出较高 - 神经小波扩散用于 3D 形状生成、反转和操作
本文提出了一种基于连续小波嵌入式表示的 3D 形状生成、反演、操纵方法,包括紧凑的小波表示、扩散生成器、细节预测器、编码器等,实现了较为强大的形状生成、反演、操纵能力,优于现有的最新方法。
- LION: 三维形状生成的潜点扩散模型
介绍了一种用于 3D 形状生成的分层潜空间扩散模型 (LION),该模型采用了变分自编码器 (VAE) 的方法,具有与点结构潜空间相结合的全局形状潜变量表示。LION 已在多个 ShapeNet 基准测试中实现了最先进的生成性能,并可用于多 - ShapeCrafter:一种递归文本条件化的 3D 形状生成模型
我们提出了 ShapeCrafter,这是一个针对递归文本条件 3D 形状生成的神经网络。通过对初始短语进行条件限制,我们的方法和数据集 Text2Shape++ 可以使形状的生成逐步发展,可以进行形状编辑和外推,支持人机协作设计的新应用。
- 基于隐式 SDF 的 StyleGAN 3D 形状生成
介绍了一种基于 StyleGAN2 的深度学习方法来生成三维形状,称为 SDF-StyleGAN,使用隐式有符号距离函数(SDF)作为三维形状表示,并引入两种新的全局和局部形状鉴别器,在形状几何和视觉质量方面显著提高了性能。
- CVPR基于文本指导的隐式 3D 形状生成
该研究探讨了从文本生成 3D 形状的任务,提出了一种新的文本引导的 3D 形状生成方法,能够在形状与颜色上产生高保真匹配文本描述的形状,技术贡献包括基于词级空间转换器和循环损失的一致性措施,并引入了形状 IMLE 进行生成的多样性。