Jan, 2024

TIP-Editor: 一个基于文本和图片提示的准确3D编辑器

HTML
PDF
TL;DRTIPEditor是一个接受文本和图像提示以及3D边界框来规定编辑区域的3D场景编辑框架，通过使用图像提示用户可以方便地指定目标内容的详细外观或样式，实现准确控制；TIPEditor在现有场景和参考图像的表示之间采用逐步的2D个性化策略来更好地学习，通过定位损失鼓励正确的对象布局；此外，TIPEditor利用显式和灵活的3D高斯重建作为3D表示，以便进行局部编辑而保持背景不变。广泛的实验证明，TIP-Editor能够按照文本和图像提示在指定的边界框区域进行准确的编辑，无论从编辑质量还是与提示的对齐程度来看，在定性和定量方面都优于基线模型。
发现论文，激发创造
  • 无需重新训练的基于文本的3D场景编辑

    我们引入了一种名为DN2N的文本驱动编辑方法，使用现成的基于文本的图像编辑模型修改3D场景图片，并提出了一种去除噪声扰动的训练数据生成方法，以及交叉视图正则化项来帮助泛化NeRF模型，实现了友好、直观和实用的用户编辑体验，并实现了多种编辑类型的效果。

    Sep, 2023

  • Progressive3D：逐步局部编辑复杂语义提示的3D内容创作

    最新的文本到3D生成方法通过图像扩散模型和优化策略的进展实现了令人印象深刻的3D内容创建能力。然而，当前的方法在生成复杂语义的准确3D内容（即描述多个相互作用的对象与不同属性绑定的提示）方面存在困难。在这项工作中，我们提出了一个名为Progressive3D的通用框架，将整个生成过程分解为一系列局部逐步编辑步骤，以创建复杂提示的精确3D内容，并在每个编辑步骤中，将内容更改限制在由用户定义的区域提示确定的区域内。此外，我们提出了一种重叠语义组件抑制技术，以鼓励优化过程更关注提示之间的语义差异。大量实验证明了所提出的Progressive3D框架能够为具有复杂语义的提示生成精确的3D内容，并且适用于由不同3D表示驱动的各种文本到3D方法。

    Oct, 2023

  • GSEdit: 高效的基于文本引导的三维物体编辑方法

    GSEdit是一个基于高斯打样模型的文本引导下的三维物体编辑管道，它能够在几分钟内通过消费者硬件，编辑三维物体的风格和外观而不破坏其主要细节。

    Mar, 2024

  • GaussCtrl: 多视图一致的文本驱动 3D 高斯点绘制编辑

    提出了GaussCtrl，一种使用文本驱动的方法来编辑由3D Gaussian Splatting (3DGS)重建的3D场景。该方法首先通过使用3DGS渲染一系列图像，然后使用基于输入提示的预训练二维扩散模型(ControlNet)对这些图像进行编辑，从而优化3D模型。我们的主要贡献是多视角一致性编辑，使得能够同时编辑所有图像，而不像以前的方法那样需要逐个编辑图像并更新3D模型。这导致更快的编辑速度和更高的视觉质量。这是通过以下两个方面实现的：(a) 基于深度的编辑，通过利用天然一致的深度图加强了多视角图像之间的几何一致性。(b) 基于注意力的潜在代码对齐，通过在图像的潜在表示之间进行自注意力和跨视图注意力，使编辑图像的外观统一于多个参考视图。实验表明，与之前的最先进方法相比，我们的方法实现了更快的编辑速度和更好的视觉效果。

    Mar, 2024

  • NeRF-Insert：基于多模态控制信号的三维局部编辑

    我们提出了一种NeRF编辑框架NeRF-Insert，允许用户以灵活的控制水平进行高质量的本地编辑。与先前依赖于图像到图像模型的工作不同，我们将场景编辑视为一种修补问题，鼓励保持全局结构的场景。此外，尽管大多数现有方法仅使用文本提示来调整编辑，我们的框架接受不同模态的输入组合作为参考，包括图像、CAD模型和二进制图像掩码来指定一个3D区域。我们使用通用图像生成模型从多个视点修复场景，并将本地编辑提升为与原始NeRF保持一致的3D编辑。与先前方法相比，我们的结果表现出更好的视觉质量，并与原始NeRF保持更强的一致性。

    Apr, 2024

  • 3DitScene：基于语言引导的解耦高斯投影进行任意场景编辑

    通过语言引导的分离高斯细分并融合三维数据，3DitScene 提供了一种从二维到三维的全新统一场景编辑框架，实现了对场景构成和单个对象的精确控制，从而革新创造性表达方式并增强场景和对象的控制能力。

    May, 2024

  • TrAME：基于轨迹锚点的多视角编辑技术在文本引导的三维高斯扩煤操作中的应用

    通过一种采用Trajectory-Anchored Scheme的渐进式3D编辑策略，配合双分支编辑机制，实现多视角一致性，同时引入View-Consistent Attention Control模块，提供对2D视图编辑的改进和统一选择，达到卓越的编辑质量。

    Jul, 2024

  • Chat-Edit-3D: 通过文本提示的交互式3D场景编辑

    基于视觉语言预训练模型的图像内容操作已成功扩展到以文本驱动的3D场景编辑。本文提出一种基于对话的3D场景编辑方法CE3D，以大型语言模型为中心，允许用户进行任意文本输入并解析其意图，进而自主调用相应的视觉专家模型。通过设计利用Hash-Atlas来表示3D场景视图的方案，将3D场景编辑转移到2D图像上，实现了2D编辑和3D重建过程的完全解耦，使CE3D能够灵活地整合各种现有的2D或3D视觉模型，而不需要复杂的融合设计。实验结果表明，CE3D能够有效地整合多个视觉模型，实现多样的编辑视觉效果，并具备强大的场景理解能力和多轮对话功能。

    Jul, 2024

  • 3DEgo: 在行进中的 3D 编辑

    通过文本提示，3DEgo直接从单目视频中合成逼真的3D场景，将传统的多阶段3D编辑流程简化为单一阶段的工作流程，通过扩散模型和设计的噪声混合模块进行视频帧编辑，最终使用3D高斯飞溅来创建具有显著编辑精度、速度和适应性的3D场景。

    Jul, 2024

  • 具有上下文感知的局部高斯点绘编辑

    本研究解决了现有3D物体生成方法在插入和替换任务中忽视背景造成的照明不匹配问题。通过引入照明感知的3D场景编辑流程，采用了从条件2D扩散模型中得到的知识，提出了全新的锚视图提议算法和深度引导的修补评分蒸馏采样方法，显著提升3D对象的局部编辑与全局照明一致性。研究表明，该方法在现实场景中表现出色，能有效处理突出高光和阴影的编辑任务。

    Jul, 2024