SC-Diff:使用潜在扩散模型进行三维形状补全
提出了一种新的基于扩散的形状完成方法,将形状完成作为一种基于条件的生成任务,并通过分层特征聚合机制和包含性感知融合策略来实现形状完成,从而在形状完成方面取得了最新的技术成果。
Jun, 2023
该论文提出了一种新的框架,用于简化业余用户的 3D 资产生成。这种方法支持多种输入模态,并能够对每个输入的强度进行调整,从而允许用户同时使用不完整的形状、图像和文字描述来生成形状,并提供每个输入的相对权重和互动性。
Dec, 2022
该论文提出了一种新的生成式 3D 建模框架 ——Diffusion-SDF,通过使用 SDF 自编码器和 Voxelized Diffusion 模型,能够根据指定的文本描述生成高质量和高度多样化的 3D 形状,其中还包括文本条件下的形状补全和操作。
Dec, 2022
本文提出了一种名为 SDS-Complete 的方法,该方法利用预训练的文本到图像扩散模型,借助给定不完整点云对象的文本语义获取完整的表面表示,其可以有效地重建通过现实世界深度传感器和 LiDAR 扫描仪捕获的不完整扫描物体,相较于当前方法平均减少了 50%的 Chamfer 损失。
Jun, 2023
提出了一种基于扩散的 3D 形状生成框架,名为局部注意力 SDF 扩散,可通过 2D 草图图像输入建模可信的 3D 形状,实现局部控制性和模型普适性的提高。
May, 2023
我们提出了一种新颖的方法,用于从多个图像中进行 3D 物体表面重建,其中只捕获了物体的一部分。我们的方法基于两个最新发展:使用神经辐射场进行表面重建,用于重建表面的可见部分,以及使用预训练的 2D 扩散模型的指导(SDS)完成未观察到的区域的形状。我们引入了三个组件:首先,建议使用法线图作为 SDS 的纯几何表示,而不是与外观信息交织在一起的颜色渲染。其次,我们在训练过程中使 SDS 噪声保持固定,这会导致更一致的梯度和更好的收敛性。第三,我们提出了多视角 SDS 作为一种在不对底层 2D 稳定扩散模型进行微调或更改的情况下对非可观察部分的生成进行条件化的方法。我们在 BlendedMVS 数据集上对我们的方法进行评估,结果显示相比竞争方法,我们取得了显著的定量和定性改进。
Dec, 2023
本文提出了一种新颖的潜在的 3D 扩散模型来生成神经体素场,旨在实现准确的部件感知结构。通过对现有方法的比较,我们采用了两个关键设计来确保高质量和准确的部件感知生成。一方面,我们引入了潜在的 3D 扩散过程来生成神经体素场,使其能够以显著更高的分辨率生成富有纹理和几何细节。另一方面,我们引入了部件感知的形状解码器,将部件代码整合到神经体素场中,引导准确的部件分解并产生高质量的渲染结果。通过广泛实验和与现有最先进方法的比较,我们对我们的方法在四种不同类别的数据上进行了评估。结果表明,我们提出的方法在部件感知形状生成方面具有优秀的生成能力,优于现有最先进方法。
May, 2024
介绍了一种新型的空间感知的 3D 形状生成框架,利用 2D 平面表示增强 3D 形状建模,通过使用正交 2D 平面直接学习三维形状的连续有符号距离场表示,以确保空间一致性和减少内存使用,并通过基于 Transformer 的自编码结构精确实施不同平面之间的空间对应关系,促进生成的 3D 形状中空间关系的保留,从而在无条件形状生成、多模态形状补全、单视图重建和文本到形状合成等各种任务上始终优于最先进的 3D 形状生成方法。
Mar, 2024
Sin3DM 是一种学习来自单个 3D 纹理形状的内部图案分布的扩散模型,该模型通过压缩输入到低维潜在空间来降低内存和计算成本,然后通过 Triplan 感知 2D 卷积块来训练模型,可以生成较高质量的 3D 形状,还可以用于重定位,外表绘画和局部编辑。
May, 2023
通过使用 triplane 自编码器将 3D 模型编码为紧凑的 triplane 潜空间,本文提出了一种有效压缩 3D 几何和纹理信息的方法,并引入了 3D 感知交叉注意机制,从高分辨率的 3D 特征体积中查询特征,提高了潜空间的表示能力。同时利用图像嵌入和形状嵌入作为条件,通过扩散先验模型估计形状嵌入,实现了优于现有算法的性能,且仅在单个 A100 GPU 上耗时 7 秒。
Mar, 2024