图像雕塑:精确的三维几何控制下的物体编辑
通过语言指导的 3D 感知编辑,本研究利用图像编辑工具对基于底层 3D 场景的对象进行编辑,介绍了 OBJECT 数据集和 3DIT 模型的能力。
Jul, 2023
该论文提出了一种通用的多模态生成模型,通过共享潜在空间将 2D 模态和隐式 3D 表示耦合在一起,实现了通过简单地传播来自特定 2D 控制模态的编辑,从而实现了多样化的 3D 生成和操作。
Jul, 2022
我们提出了 3Deformer,这是一个用于交互式三维形状编辑的通用框架。通过利用语义图像对源网格进行形状引导,同时尽可能保持源拓扑结构的刚性,3Deformer 能够精确编辑源网格。我们的方法不需要高成本的三维训练数据集,只需利用易得的语义图像作为监督,并且可以在各种不受数据集限制的对象上进行编辑。通过引入分层优化架构和各种策略和损失函数,我们克服了使用简单的二维图像对复杂三维形状进行引导所带来的挑战,从而提高了准确性、平滑度和刚性。大量实验证明,我们的 3Deformer 能够产生令人印象深刻的结果,并达到了最先进水平。
Jul, 2023
通过增加用户交互能力,我们引入了 Interactive3D 框架,使得用户能够精确控制 3D 生成过程,从而显著提高 3D 生成的可控性和质量。
Apr, 2024
本文介绍了一种民主化的三维内容创作方法,能够通过抽象的草图精确生成三维形状,同时克服与绘画技巧相关的限制。我们引入了一种新颖的部分水平建模和对齐框架,促进了抽象建模和跨模式对应关系。利用相同的部分水平解码器,我们的方法能够无缝地扩展到草图建模,通过建立 CLIPasso 边缘地图和投影的三维部分区域之间的对应关系,消除了人类草图和三维形状配对数据集的需求。此外,我们的方法通过交叉模式的部分对齐建模产生了一种无缝的位置调整过程。在低维隐含空间中运作,我们的方法显著降低了计算需求和处理时间。
Dec, 2023
GeoDiffuser 是一种优化为基础的方法,将常见的二维和三维基于图像的对象编辑功能统一为单一方法,通过将图像编辑操作视为几何变换,并将其直接合并到扩散模型的注意力层中隐式执行编辑操作,以实现保持对象风格并生成合理图像的目标函数进行训练 - free 优化方法。
Apr, 2024
Plasticine3D 是一个通用的、高保真度的、逼真的、可控的非刚性编辑流程,它将编辑过程分为几何编辑和纹理编辑阶段,通过多视图嵌入 (MVE) 优化策略和嵌入融合 (EF) 来实现非刚性变形和可控的编辑。
Dec, 2023
本文提出了一个交互式框架,用于从点云数据和 RGB 图像中注释 3D 对象的几何形状,让普通用户能够高效地进行标注,而无需专业技能。该框架包含两个简单易用的交互模块:第一个模块自动猜测 3D 形状并允许用户在所需的 2D 视图中绘制草图提供大误差反馈;第二个模块根据图形卷积网络实现,帮助用户轻松地调整完善 3D 形状。实验验证了本框架在 ShapeNet、Pix3D 和 ScanNet 等流行基准测试上的良好表现,并通过用户研究证明,使用本方法注释的数据可有效促进现实世界的学习任务。
Aug, 2020
使用稀疏射线采样方法通过关键点监督,实现了在当前管道中显式注入来自检索参考对象的 3D 先验,以确保高质量和多样化的 3D 几何,同时保持 2D 扩散模型的生成质量和多视角一致性。
Mar, 2024