用可组合对象的 NeRF 来缩小视觉模拟与实际之间的差距

Mar, 2024

用可组合对象的 NeRF 来缩小视觉模拟与实际之间的差距

Closing the Visual Sim-to-Real Gap with Object-Composable NeRFs

Nikhil Mishra, Maximilian Sieb, Pieter Abbeel, Xi Chen

TL;DRCOV-NeRF 是一个用于合成真实世界训练数据的 NeRF 模型，通过从真实图像中提取对象并将其组合到新场景中，生成逼真的渲染图像和多种 2D 和 3D 监督信息，包括深度图、分割掩膜和网格，以快速消除各种感知模式之间的模拟与真实差距。

Abstract

deep learning methods for perception are the cornerstone of many robotic systems. Despite their potential for impressive performance, obtaining real-world training data is expensive, and can be impractically diff

deep learning methods perception sim-to-real transfer composable object volume nerf sim-to-real gap

发现论文，激发创造

GO-NeRF: 神经辐射场中生成虚拟物体

提出了一种新方法 GO-NeRF，能够利用场景背景进行高质量和和谐的 3D 物体生成以及无缝融合到现有 NeRF 中。

Jan, 2024

神经相似度：使用 NeRF 学习生成训练数据

本文介绍了一种使用神经放射场的全可微合成数据管道，可在不需要人力劳动的情况下按需生成数据，从而使得目标任务的准确性最大化。作者在合成和实际的物体检测任务中展示了方法的有效性，并引入了一个可用于真实场景中具有不同姿势的物体检测的新数据集和基准测试 (YCB-in-the-Wild)。

Jul, 2022

可编辑的小说视角合成的统一分解和组合 NeRF 学习

本论文提出了一个统一的神经辐射场（NeRF）框架，以有效地进行场景分解和合成，用于建模现实世界场景，通过学习不同对象的解耦 3D 表示进行场景编辑，同时为新颖视角合成建模整个场景表示。

Aug, 2023

基于对象的神经场景渲染

提出一种基于神经辐射场和基于对象的神经散射函数的方法，能够在不重新训练的情况下，对静态及动态场景进行光线追踪模拟，拥有在新光照和新物品排列情况下泛化能力的物理准确的多物体场景组成渲染技术。

Dec, 2020

混合神经渲染：自适应体积表面的高效神经渲染

使用混合的神经辐射场（HybridNeRF）方法，将大多数对象作为表面渲染，同时以体积化的方式对挑战性区域进行建模，以提高视图合成的质量和实时性。

Dec, 2023

NeRF 是否适用于自动驾驶？向着弥合现实与仿真之间的差距迈进

通过提出一种新的视角来解决真实和模拟数据之间的差距，我们研究了改善感知模型对 NeRF 伪影的鲁棒性的简单而有效的方法，同时不影响其在真实数据上的性能。我们使用最先进的神经渲染技术，在自动驾驶环境中进行了首次大规模的真实与模拟数据差距研究，发现 FID 和 LPIPS 是强有力的指标。

Mar, 2024

使用有噪数据的隐式对象映射

本文评估了使用受限的真实世界数据来训练神经辐射场中的单个对象表示的质量，并介绍了一种将场景分解成多个基于对象的 NeRF 的流水线，使用嘈杂的对象实例掩码和边界框，并评估了该流水线对噪声位姿、实例掩码和训练图像数量的敏感性。

Apr, 2022

快速神经辐射场重建的体积特征渲染

本研究提出了将本应在神经网络评估后再进行渲染的颜色，改为直接渲染出射线查询的特征向量，从而大幅降低了神经网络评估的复杂度和计算开销，并取得了较好的渲染质量。

May, 2023

通过秩 - 残差分解实现可压缩可组合的 NeRF

本研究提出了一种基于张量分解的显式神经场表示法，通过采用低秩近似的策略及动态调整模型的秩来实现精细度和模型大小的权衡，并可以将不同的模型进行组合从而达到压缩和构图能力的提升。

May, 2022

Blended-NeRF: 在现有的神经辐射场中生成和混合零样本目标

Blended-NeRF 是一种基于文本提示或图像贴片及 3D ROI 盒子的方法，利用预训练的语言 - 图像模型来操纵合成并混合一个新对象到现有的 NeRF 场景中实现对现有场景感兴趣区域的编辑，使用新颖的容积混合技术进行无痕混合。

Jun, 2023