LEMON:基于局部编辑的网格优化与神经着色器
本文介绍了一种基于神经网络的多边形网格渲染方法,该方法使用了一种近似梯度来克服离散化操作的限制,从而实现了单幅图像的3D网格重建。同时,该方法还实现了基于2D监督的3D渲染编辑操作。实验结果表明,所提出的渲染器有效性强。
Nov, 2017
本论文提出了一种基于网格的新型表示法,并将神经隐式场编码为网格顶点上的几何和纹理码,以实现包括网格引导几何编辑、指定纹理编辑、填充和绘画操作等一系列编辑功能。实验结果表明,该方法有着优秀的表现质量和编辑能力。
Jul, 2022
提出了一种分析合成方法,用于快速多视角不透明物体的三维重建,通过将表面表示为三角形网格并围绕三角形光栅化和神经阴影构建可微分的渲染管道,优化三角形网格和神经着色器来重现多视图图像,并研究了着色器,发现它学习了可解释的外观表示。
Dec, 2022
论文提出了NeuralEditor,用于泛形状编辑任务,通过利用显式点云表示构建NeRF,并提出基于确定性积分的新型渲染方案,实现了基于点云的形状编辑,取得了最先进的性能。
May, 2023
Blended-NeRF是一种基于文本提示或图像贴片及3D ROI盒子的方法,利用预训练的语言-图像模型来操纵合成并混合一个新对象到现有的NeRF场景中实现对现有场景感兴趣区域的编辑,使用新颖的容积混合技术进行无痕混合。
Jun, 2023
我们提出了3Deformer,这是一个用于交互式三维形状编辑的通用框架。通过利用语义图像对源网格进行形状引导,同时尽可能保持源拓扑结构的刚性,3Deformer能够精确编辑源网格。我们的方法不需要高成本的三维训练数据集,只需利用易得的语义图像作为监督,并且可以在各种不受数据集限制的对象上进行编辑。通过引入分层优化架构和各种策略和损失函数,我们克服了使用简单的二维图像对复杂三维形状进行引导所带来的挑战,从而提高了准确性、平滑度和刚性。大量实验证明,我们的3Deformer能够产生令人印象深刻的结果,并达到了最先进水平。
Jul, 2023
为解决文本驱动的本地化编辑3D对象的困难,我们提出了一种基于NeRF模型的新方法Blending-NeRF,它包括两个NeRF网络:预训练NeRF和可编辑NeRF,并引入了新的混合操作来允许Blending-NeRF对局部文本定位的目标区域进行适当的编辑。通过使用预训练的视觉-语言对齐模型CLIP,我们指导Blending-NeRF添加具有不同颜色和密度的新对象,修改纹理并移除原始对象的部分。我们的实验证明,Blending-NeRF能够从各种文本提示中产生自然而局部编辑的3D对象。
Aug, 2023
通过引入神经模拟者方法,将显式四面体网格与多重网格隐式场相结合,我们提出了一种有效编辑神经隐式场的方法,实现形状的变形、合成和生成,同时保持复杂的体积外观,展示了其在3D内容创作和操作领域的潜力。
Oct, 2023
我们提出了一种新方法,利用网格作为指导机制来编辑神经辐射场,通过可微的多面体网格提取和可微的颜色提取,从显式网格到隐式场实现了梯度反向传播,使用户能够轻松操作神经辐射场的几何和颜色。通过引入基于八叉树的结构来优化用户控制性,实现了对神经隐式场的细粒度编辑,并适应了各种用户修改,包括对象添加、部件删除、特定区域变形以及局部和全局颜色调整。通过各种场景和编辑操作的广泛实验,我们展示了我们方法的能力和有效性。
Dec, 2023
在3D计算机视觉领域,参数化模型已成为创造逼真和富有表现力的3D头像的突破性方法论。本文利用扩散模型,在完全保留未编辑区域的同时,实现了对3D网格的多样化和完全局部化的编辑操作。与现有技术相比,我们的方法在形状操作方面更具可解释性,具有更大的局部化和生成多样性,并且推理速度更快。
Mar, 2024