Tailor3D:基于双面图像的定制化3D资产编辑和生成
该研究提出了一种创建三维内容、进行几何和贴图风格变化的方法,借助预先训练的图像样式转换网络和自己的几何样式网络,可实现数据增强与单图像3D重构任务。
Aug, 2021
本课题设计了 PartNeRF,这是一种新型的局部感知生成模型,能够不需要显式引导实现可编辑的三维模型合成,作为局部定义的 Nerf 集合生成对象,实现了许多编辑操作。
Mar, 2023
Plasticine3D是一个通用的、高保真度的、逼真的、可控的非刚性编辑流程,它将编辑过程分为几何编辑和纹理编辑阶段,通过多视图嵌入(MVE)优化策略和嵌入融合(EF)来实现非刚性变形和可控的编辑。
Dec, 2023
提出了GaussCtrl,一种使用文本驱动的方法来编辑由3D Gaussian Splatting (3DGS)重建的3D场景。该方法首先通过使用3DGS渲染一系列图像,然后使用基于输入提示的预训练二维扩散模型(ControlNet)对这些图像进行编辑,从而优化3D模型。我们的主要贡献是多视角一致性编辑,使得能够同时编辑所有图像,而不像以前的方法那样需要逐个编辑图像并更新3D模型。这导致更快的编辑速度和更高的视觉质量。这是通过以下两个方面实现的:(a) 基于深度的编辑,通过利用天然一致的深度图加强了多视角图像之间的几何一致性。(b) 基于注意力的潜在代码对齐,通过在图像的潜在表示之间进行自注意力和跨视图注意力,使编辑图像的外观统一于多个参考视图。实验表明,与之前的最先进方法相比,我们的方法实现了更快的编辑速度和更好的视觉效果。
Mar, 2024
ComboVerse是一个3D生成框架,通过学习结合多个模型来生成具有复杂构成的高质量3D模型,对于生成组合型的3D模型比现有方法取得了明显的改进。
Mar, 2024
我们介绍了Garment3DGen,一种从基础网格中合成3D服装资产的新方法,通过单个输入图像作为指导,用户可以根据真实和合成图像生成3D纹理服装。使用Garment3DGen,用户可以生成所需的纹理3D服装而无需艺术家干预。
Mar, 2024
Text-to-3D生成已经取得了显著的进展,但当需要在指定视点自定义特定外观时,仅仅依靠整体描述来生成3D对象时会出现挑战。在这个工作中,我们提出了DreamView,一种文本到图像的方法,通过协作的文本指导注入模块灵活地注入视点特定和整体文本指导,从而实现多视图自定义同时保持整体一致性,在每个视图中平衡分离的内容操作和整体对象的全局一致性,从而实现自定义和一致性的双重成就。因此,DreamView使艺术家能够创造性地设计3D对象,促进更具创新性和多样性的3D资产的创作。
Apr, 2024
本研究提出了一种创新的3D VTON管道,将高斯喷洒(GS)编辑与2D VTON相结合,并首次提出仅使用图像作为3D编辑的编辑提示,同时采用三阶段细化策略逐渐减轻潜在问题,并引入一种名为ERR的新的编辑策略来解决以往编辑策略在引起复杂几何变化方面的局限性。 实验结果表明GaussianVTON优越,为3D VTON提供了新的视角,也为基于图像提示的3D场景编辑建立了新的起点。
May, 2024
本研究提出了一种名为GarmentDreamer的新型方法,它利用3D高斯喷雾(GS)作为指导,从文本提示中生成适用于仿真的3D服装网格。与使用由生成模型直接预测的多视图图像作为指导相比,我们的3DGS指导确保了服装变形和纹理合成的一致优化。通过全面的定性和定量实验证明了我们方法的有效性,并展示了GarmentDreamer相对于现有最先进方法的卓越性能。
May, 2024