ICCVSep, 2021

可编辑场景渲染的学习目标组合神经辐射场

PDF
TL;DR本研究提出了一种新型的神经场景渲染系统，在聚集和现实世界场景中学习对象组合的神经辐射场，具有编辑能力和高效处理能力，并通过新颖的双通道体系结构设计，得以在场景几何和外观以及独立于对象的可学习激活代码条件下训练各个独立目标。通过实验证明，该系统不仅在静态场景新视点综合方面具备优异性能，而且在对象级别编辑方面也能产生逼真的渲染效果。
implicit neural renderingobject-compositional neural radiance fieldediting capabilitytwo-pathway architecturescene-guided training
发现论文，激发创造
  • 可编辑的小说视角合成的统一分解和组合 NeRF 学习

    本论文提出了一个统一的神经辐射场（NeRF）框架，以有效地进行场景分解和合成，用于建模现实世界场景，通过学习不同对象的解耦 3D 表示进行场景编辑，同时为新颖视角合成建模整个场景表示。

    Aug, 2023

  • 基于对象的神经场景渲染

    提出一种基于神经辐射场和基于对象的神经散射函数的方法，能够在不重新训练的情况下，对静态及动态场景进行光线追踪模拟，拥有在新光照和新物品排列情况下泛化能力的物理准确的多物体场景组成渲染技术。

    Dec, 2020

  • 动态场景的神经场景图

    该论文提出了一种新的神经渲染方法，能够将动态环境分解成场景图，通过隐式编码学习场景的变换和辐射度，并能够渲染未见过的物体、位置的各种动态场景，达到了高度逼真的效果。

    Nov, 2020

  • LANe: 用于组合场景合成的光照感知神经场

    本文提出了一种名为 Lighting-Aware Neural Field (LANe) 的方法，以在具有物理一致性的条件下进行组合合成物体，该方法采用神经场来表征 3D 场景，将静态背景和瞬态元素分离成世界 - NeRF 和类特定的物体 - NeRFs，并明确地设计了世界和物体模型以处理照明变化，以便将物体组合到具有空间变化照明的场景中。

    Apr, 2023

  • 以语言为驱动的姿态条件数据集更新用于神经辐射场中的对象融合

    使用基于语言的方法，通过数据集更新对神经辐射场进行对象操作，将新的前景对象融合到给定的背景中，以生成包含对象和背景的视图一致的照片真实主场景。

    Sep, 2023

  • 多层级神经场景图用于动态城市环境

    我们提出了一种适用于动态城市环境的新颖分解辐射场方法，通过多级神经场景图表示来估计大规模动态区域的辐射场，并采用快速复合光线采样和渲染技术进行有效的训练和渲染，通过新的视图合成基准测试，我们证明了该方法在更多方面的性能优于先前的方法。

    Mar, 2024

  • 非监督式物体光场的发现与合成

    本文提出了一种基于光场的物体中心化组合场景表示法，通过无监督的方式学习神经场景表示，显著提高了场景渲染的速度和质量。

    May, 2022

  • 学习动态人头部的组合辐射场

    本文提出了一种新颖的 3D 组合表示方法，将离散和连续的体积表示方法相结合，结合了粗糙的网格动画代码和连续的学习场景功能，使用可区分的体积渲染来计算动态人头和上半身的新视图，并在使用仅 2D 监督时进行端到端的训练，实现了动态人头和上半身新视图综合的最新最佳结果。

    Dec, 2020

  • 考虑对象与环境交互的神经隐式场编辑

    基于神经隐式场的 3D 场景编辑方法在 3D 编辑任务中取得了出色的结果，然而现有方法常常混合了对象和场景环境之间的交互，本文提出了一种考虑对象和场景环境交互的新型双流神经渲染系统（OSI-aware），通过内在分解方法成功分离了对象和场景环境之间的交互，以研究对象级编辑任务对场景外观的对应变化，我们引入了深度图引导的场景修补方法和通过点匹配策略的阴影渲染方法，大量实验证明我们的新方法在场景编辑任务中产生了合理的外观变化，同时在新视图合成任务中获得了具有竞争力的渲染质量。

    Nov, 2023

  • 野外语义感知遮挡过滤神经辐射场

    通过使用语义信息并在少量的图片上建立 occlusion filtering module，我们提出了一个学习框架来重建神经场景表征并演示了其在 Phototourism 数据集上在 few-shot 场景下优于最先进的 novel view synthesis 方法。

    Mar, 2023