DreamEditor: 使用神经场进行文本驱动的 3D 场景编辑
通过引入 `LatentEditor` 框架,利用文本提示实现对神经场的精确和局部控制编辑,从而在潜空间中实现更快速、更适应性强的 3D 场景编辑。
Dec, 2023
Dream Fields 提出了一种结合神经渲染和多模态图像和文本表示的方法,能够通过自然语言描述合成各种几何形状和颜色的 3D 对象。
Dec, 2021
本文介绍了一种名为 NVEdit 的新型文本驱动视频编辑框架,通过构建神经视频场、采用渐进优化策略以及替换可适应的神经视频场和文本到图像模型,解决了实际场景中长视频编辑中的图形内存需求快速增长和编辑的帧间不一致性等挑战,实现了对具有显著帧间一致性的长视频的成功编辑。
Dec, 2023
本论文提出了一种基于网格的新型表示法,并将神经隐式场编码为网格顶点上的几何和纹理码,以实现包括网格引导几何编辑、指定纹理编辑、填充和绘画操作等一系列编辑功能。实验结果表明,该方法有着优秀的表现质量和编辑能力。
Jul, 2022
我们引入了一种名为 DN2N 的文本驱动编辑方法,使用现成的基于文本的图像编辑模型修改 3D 场景图片,并提出了一种去除噪声扰动的训练数据生成方法,以及交叉视图正则化项来帮助泛化 NeRF 模型,实现了友好、直观和实用的用户编辑体验,并实现了多种编辑类型的效果。
Sep, 2023
本文介绍了 4D-Editor,一种基于用户画笔在单帧上编辑动态 NeRF 中多个对象的交互式语义驱动编辑框架,通过混合的语义特征场构建动态场景表示以保持时空一致性,并使用递归选择细化方法加强了动态 NeRF 中的分割准确性,此外,还开发了多视图重投影修复方法,用于填补编辑后由于不完整场景捕捉而产生的空洞,通过实验和真实世界的编辑示例表明,4D-Editor 可以实现真实感的动态 NeRF 编辑。
Oct, 2023
FocalDreamer 是一种融合基本形状和可编辑部分的框架,它通过文本提示在所需区域内进行细粒度编辑;该框架利用几何联合和双路径渲染将独立的 3D 部分组装成完整的对象,并设计了几何焦点损失和样式一致性正则化以提高编辑能力。
Aug, 2023
利用拓展到神经辐射场(NeRF)的编辑技术来编辑场景是复杂的,本文提出了利用 NeRF 场景的几何信息作为桥梁来整合 2D 编辑的方法,并引入了一种填充方法来确保对不同图像的 2D 编辑具有鲁棒性。结果表明,该方法比现有的文本驱动 NeRF 场景编辑方法实现了更加一致、逼真和详细的编辑效果。
Apr, 2024
本文提出了一种新颖的语义驱动的 NeRF 编辑方法,用户只需使用一张图像,就能够对神经辐射场进行编辑,并以高保真度和多视角一致性准确地传达编辑后的新视图,该算法在实际和合成数据上的实验和编辑例子证明了其能以只有一张编辑过的图像产生逼真的 3D 编辑。
Mar, 2023
通过使用场景图生成组成 3D 场景的图形图像扩散预训练模型,利用节点和边的信息,GraphDreamer 能够生成高保真的分解对象实体的组合性 3D 场景。
Nov, 2023