- 使用神经辐射场重新照明场景中的物体插入
本文提出了一种基于 NeRF 的新型管道,用于将物体 NeRF 插入场景 NeRF,实现新视角合成和逼真的光照重新调整,并支持物体之间的物理交互,如互相投射阴影,通过比较相机视角与光源视角之间的深度图并生成生动柔和的阴影,实现了逼真的光照重 - 利用特征渲染进行 6D 物体姿态估计的 NeRF-Feat
从弱标记数据中学习姿态估计的方法,通过使用 NeRF 隐式学习物体形状,结合 CNN 使用对比损失学习视图不变特征,从而估计姿态。
- 对选定的 NeRF 特征进行高效可扩展定位的查询图像匹配
MatLoc-NeRF 是一种使用选定的 NeRF 特征的基于匹配的定位框架,以提高效率和准确度,通过采用可学习的特征选择机制来消除对所有 NeRF 特征或附加描述符的需求,并利用姿态感知场景分区策略和场景分割器提供快速的粗略初始姿态估计。 - NLDF:用于高效三维动态说话头生成的神经光动力场
提出了一种基于神经辐射场模型的说话脸生成方法,通过利用神经光动力场模型来加速渲染速度,同时使用知识蒸馏和动态训练策略,实现了生成高质量三维说话脸视频的效果和速度的显著提升。
- OrientDream: 通过明确的方向控制简化文本到三维生成
通过引入 OrientDream,这篇研究介绍了一种基于相机方向条件的框架,用于从文本提示生成高质量、具有一致多视图属性的 NeRF 模型,并达到比现有方法更快的优化速度。
- 多风格自适应正规域的神经光辐射
我们提出了一种结合 AdaIN 和 NeRF 的新型流程,用于风格化的新视角合成任务,相比之前的工作,我们做出了以下贡献:1)我们简化了流程。2)我们扩展了模型的能力,以处理多风格任务。3)我们修改了模型架构,以在具有强烈笔触的风格上表现出 - 基于即时 NGP 的 NeRF 可以压缩到什么程度?
我们介绍了一种基于上下文的 NeRF 压缩 (CNC) 框架,利用高效的上下文模型提供储存友好的 NeRF 表示。我们通过挖掘层级和维度上的上下文依赖以减少信息熵,同时利用哈希碰撞和占用栅格作为强先验知识进行更好的上下文建模,实现了对 Sy - HDR-GS: 通过高斯投影实现高效 1000 倍速高动态范围新视角合成
使用高动态范围高斯点云模型和多层感知器(MLP)调制,建立了一种新的高动态范围高斯喷点(HDR-GS)框架,以有效渲染新的高动态范围(HDR)视图和重建低动态范围(LDR)图像,并通过两个并行可微光栅化(PDR)过程对 HDR 和 LDR - LIVE: LaTex 交互式可视化编辑
我们提出了 LIVE,这是一种交互式设计方法的新思路,用于设计 LaTex 图形项,该方法可以设计更多的图形项(Gitems),同时能够自动获取特定范围论文的相互应用关系,从而为传统论文写作,特别是综述性论文,增加更多生动性和性能因素。
- WateRF: 辐射场的鲁棒水印用于版权保护
我们提出了一种创新的、适用于 NeRF 表示的数字水印方法,通过在渲染过程中使用离散小波变换,结合延迟反向传播技术和区块损失,实现了嵌入二进制信息的高质量渲染。通过在 2D 渲染图像中评估嵌入水印的容量、隐形性和鲁棒性等方面,我们的方法在训 - MeshLRM:高质量网格的大型重建模型
提出了 MeshLRM,一种基于 LRM 的新方法,在不到一秒的时间内仅使用四个输入图像进行高质量网格的重建。与以往的大型重建模型(LRMs)不同,MeshLRM 在 LRM 框架中融入了可微分网格提取和渲染,可通过微调预训练的 NeRF - RaFE: 生成辐射场修复
我们提出了一种名为 RaFE 的通用辐射场修复流程,适用于各种类型的退化,如低分辨率、模糊、噪声、压缩伪影等,通过利用 2D 修复方法恢复多视角图像,并使用生成对抗网络(GANs)进行 NeRF 生成来更好地适应几何和外观的不一致性,展示了 - CVPRNeRFCodec:神经特征压缩与神经辐射场相结合的高效内存场景表示
通过使用非线性转换、量化和熵编码实现记忆高效的场景表示,我们提出了 NeRFCodec ,这是一个端到端的 NeRF 压缩框架,它利用预训练的神经 2D 图像编解码器对特征进行压缩,从而使得我们能在 0.5 MB 的内存预算下实现高质量的新 - 将 NeRF 与特征匹配相结合的一步姿态估计
基于图像的姿态估计方法,结合 NeRF 技术实现了实时的机器人应用,通过建立 2D-3D 对应关系和改进的点挖掘策略提高了准确性,并且在代表性数据集上的实验结果表明,相比于现有方法,推断效率提高了 90 倍,能够以 6 帧每秒的速度进行实时 - DPA-Net: 通过可区分的原始装配从稀疏视角实现的结构化 3D 抽象
通过可微分的渲染框架,在不需要 3D 监督的情况下,从稀疏的 RGB 图像中学习结构化的三维抽象,以原始组件的形式捕获三维物体,并且通过引入差异化的原始装配,输出三维占据场作为密度预测的替代,以提高精度和紧凑性。
- MaGRITTe: 图像、鸟瞰与文本的操控和生成 3D 实现
使用部分图像、顶视图的布局信息和文本提示来控制和生成多模态条件下的 3D 场景,通过预训练的文本到图像模型微调,以及布局条件的深度估计和神经辐射场(NeRF),实现从给定条件生成 2D 图像和从 2D 图像生成 3D 场景,避免创建庞大的数 - Mesh2NeRF: 神经辐射场表征和生成的直接网格监督
Mesh2NeRF 通过从 3D 网格中直接获取地面真实辐射场的解析解,提供了训练生成 NeRF 和单场景表示的准确辐射场的直接监督,进而在各种任务中验证了其有效性。
- Q-SLAM:基于二次曲面表示的单目视觉 SLAM
基于四次曲面平面重新构建体积表示,提高了单目 SLAM 中 3D 场景的重建精度和效率,并引入四次曲面分解的 Transformer 来聚合采样点,同时优化姿态估计与 3D 重建。
- Vosh:用于实时视图综合的体素 - 网格混合表示
Vosh 是一种开创性的混合表示方法,将 NeRF 的体素和网格组件无缝结合,以实现视图合成中快速渲染和高质量渲染的平衡。
- 闪电 NeRF:高效的自动驾驶混合场景表示
通过在自动驾驶场景中使用来自 LiDAR 的几何先验知识,Lightning NeRF 显著提高了 NeRF 的新视图合成性能,减少了计算开销,并在真实世界数据集上的评估中取得了显著的性能提升。