连接 NeRFs、图像和文本
Neural Radiance Field (NeRF) is a framework representing a 3D scene with MLP, achieving state-of-the-art photorealistic image renderings for view synthesis and expanding capabilities to generate views from dynamic scene representations with fewer images for training.
Apr, 2023
Neural Radiance Fields (NeRFs) are a new representation of 3D scenes for view synthesis and image-based rendering, widely used and extended by thousands of papers, with potential for future advancements in 3D representations.
Aug, 2023
本研究调查了将 NeRF 引入 MLLM 的可行性和有效性,并创建了第一个通用的 NeRF 语言助手 LLaNA,可以执行新任务,如 NeRF 字幕和问答。结果显示,处理 NeRF 权重的方式相对于从 NeRF 中提取 2D 或 3D 表示方式表现出优越性。
Jun, 2024
近年来,神经辐射场(NeRF)在计算机视觉和图形领域取得了显着进展,为解决 3D 场景理解、新视角合成、人体重建、机器人等关键任务提供了强有力的技术支持。本文对过去两年内关于 NeRF 的研究文献进行了深入分析,在详细阐述 NeRF 核心架构的基础上,讨论了 NeRF 的各种改进策略,以及在不同应用场景中的案例研究,展示了其在不同领域的实际应用价值。同时,本文还详细介绍了 NeRF 模型训练所需的关键资源,最后提出了关于 NeRF 未来发展趋势和潜在挑战的前瞻性讨论,旨在为该领域的研究人员提供研究灵感,促进相关技术的进一步发展。
Mar, 2024
本篇论文探讨了 Neural Radiance Fields(NeRFs)在 3D 计算机视觉、计算机图形学和机器学习等领域的应用,包括历史、研究进展、潜在应用和影响等方面,并对相关研究进行了分类总结。
Apr, 2023
Text2NeRF 是一种基于 NeRF 模型以自然语言描述为输入的 3D 场景生成方法,利用预训练的文本到图像扩散模型和单目深度估计方法约束 NeRF 模型以保持内容和几何一致,同时使用逐步场景修复和更新策略保证场景视角一致性。实验结果表明该方法能够生成高保真度,多视角一致性和多样性的真实感 3D 场景。
May, 2023
该论文通过综合评估神经场表示(如 NeRFs)在多模态学习中的作用,提出了四种不同的策略来将热成像作为第二模态融入 NeRFs,并发现添加第二分支对于热成像的新视角合成效果最佳,同时在 RGB 方面也产生了令人信服的结果,该分析结果还推广到包括近红外图像和深度图在内的其他模态。
Mar, 2024
本研究提出使用神经辐射场(NeRF)作为视觉定位的场景表示,通过利用 NeRF 的内部特征建立精确的 2D-3D 匹配来提升定位性能。通过研究 NeRF 的隐式知识和探索不同的匹配网络架构、提取多层的编码器特征以及多种训练配置,引入了 NeRFMatch 作为高级的 2D-3D 匹配函数,并在 Cambridge Landmarks 等标准定位基准上取得了业界领先的定位性能。
Mar, 2024
本文介绍了一种名为 NeRFuser 的架构,它可以在不需要访问大量用于生成它们的图像集的情况下,对 NeRF(神经辐射场)进行注册和混合。NeRFuser 使用 re-rendering 技术进行注册,提出了基于采样的反距离加权进行混合,经实验证明具有鲁棒性。
May, 2023