可编辑的小说视角合成的统一分解和组合 NeRF 学习

ICCVAug, 2023

可编辑的小说视角合成的统一分解和组合 NeRF 学习

Learning Unified Decompositional and Compositional NeRF for Editable Novel View Synthesis

Yuxin Wang, Wayne Wu, Dan Xu

TL;DR本论文提出了一个统一的神经辐射场（NeRF）框架，以有效地进行场景分解和合成，用于建模现实世界场景，通过学习不同对象的解耦 3D 表示进行场景编辑，同时为新颖视角合成建模整个场景表示。

Abstract

implicit neural representations have shown powerful capacity in modeling real-world 3D scenes, offering superior performance in novel view synthesis. In this paper, we target a more challenging scenario, i.e., joint scene novel view synthesis and editing based on implicit neural scene

implicit neural representations scene novel view synthesis neural radiance field (nerf)scene decomposition scene composition

发现论文，激发创造

IntrinsicNeRF: 学习可编辑的内在神经辐射场进行新视角合成

通过引入本质表征分解的内在神经辐射场 (IntrinsicNeRF) 模型，将 NeRF 神经渲染方法的应用扩展到基于房间尺度的场景中；基于点采样和反射迭代聚类优化的方法使 IntrinsicNeRF 模型可以在无监督的环境下具备传统本质分解约束条件，并展示了在面对具有挑战性序列时，其具有相对稳定的本质分解结果和高保真度的新视角生成效果。

Oct, 2022

可编辑场景渲染的学习目标组合神经辐射场

本研究提出了一种新型的神经场景渲染系统，在聚集和现实世界场景中学习对象组合的神经辐射场，具有编辑能力和高效处理能力，并通过新颖的双通道体系结构设计，得以在场景几何和外观以及独立于对象的可学习激活代码条件下训练各个独立目标。通过实验证明，该系统不仅在静态场景新视点综合方面具备优异性能，而且在对象级别编辑方面也能产生逼真的渲染效果。

Sep, 2021

通过特征场蒸馏分解 NeRF 以进行编辑

本文提出通过蒸馏出自监督的 2D 图像特征提取器的知识，优化一种针对 NeRF 的 3D 特征场，从而实现语义场景分解以及针对局部区域的查询式编辑，从而实现结构编辑的目的。通过实验证明，3D 特征场可以将最近在 2D 视觉和语言基础模型中取得的进展应用于 3D 场景表示，从而实现令人信服的 3D 分割和选择性编辑。

May, 2022

通过无监督分解和增强点云照明的 NeRF

该论文介绍了一种名为低光线神经光辐射场（或 LLNeRF）的新方法，通过一种无监督的方式，将场景表示增强，并直接从 sRGB 低光线图像中合成正常光照的新视图。该方法能够通过学习辐射场的分解，提高照明效果、减少噪声和更正失真的颜色，从而产生具有适当照明、生动颜色和细节的新视图图像。实验证明，该方法优于现有的低光照增强方法和神经光辐射场方法。

Jul, 2023

DM-NeRF：从 2D 图像中分解和操作 3D 场景几何形状

本研究利用迄今为止最新的神经辐射场技术，通过引入物体场组件从 2D 视野中学习 3D 空间中所有个体物体的独特代码，并引入反向查询算法以自由地操作学习场景表示中特定的 3D 物体形状，进而解决物体碰撞和视觉遮挡等关键问题，能够准确地从 2D 视野中分解和操作 3D 场景的研究方法被称为 DM-NeRF。

Aug, 2022

通过秩 - 残差分解实现可压缩可组合的 NeRF

本研究提出了一种基于张量分解的显式神经场表示法，通过采用低秩近似的策略及动态调整模型的秩来实现精细度和模型大小的权衡，并可以将不同的模型进行组合从而达到压缩和构图能力的提升。

May, 2022

基于组合神经辐射场的语义三维感知人像合成与操作

通过分割语义区域并利用神经辐射场学习各自的辐射场，最后合并成完整图像，CNeRF 方法可以实现细粒度的语义区域操作，同时维持高质量的 3D 一致合成。

Feb, 2023

具有阴影指导的 NeRF 合成

本文提出了一种叫做 NeRF 综合的新任务，利用 NeRF 补丁范例的结构内容构建大尺寸的新辐射场，我们提出了一种两阶段的方法来综合新场景，控制场景的照明效果采用阴影指导而不是分离场景，我们表明了我们的方法可以生成高质量的结果，对曲面上的新场景进行综合，增强了我们所提出的 NeRF 综合方法的实用性。

Jun, 2023

学习神经双工辐射场进行实时视图合成

本篇论文提出了一种新的方法，通过将 NeRFs 融合为可与高度并行的图形渲染管线完全兼容的高效网格神经表示，使用屏幕空间卷积，来提高外观的质量和整个框架的表现。

Apr, 2023

NeRFReN: 具有反射特性的神经辐射场

该研究提出了 NeRFReN，它是基于 NeRF 的，能够建模带有反射的场景，并将场景分为透射和反射组件，用单独的神经辐射场来建模两个组件，以实现高质量的新视图综合和深度估计结果。

Nov, 2021