NeRF 类比:基于示例的 NeRF 视觉属性转移
本文提出了一种新的双向学习框架用于 3D 场景风格化,结合 2D 图像风格化网络和 NeRF,并引入了一种一致性损失函数来迁移 NeRF 的一致性先验知识到 2D 风格化网络中。实验结果表明,这种方法在视觉质量和长程一致性方面优于现有方法。
May, 2022
我们提出了一种基于局部风格转移的 NeRF 风格化框架,利用哈希网格编码来学习外观和几何组件的嵌入,并通过优化外观分支并保持几何分支固定来实现风格化,使用分割网络和二分图匹配来建立样式图像和内容图像之间的区域对应关系,实验证明我们的方法在新视角合成方面得到了合理的风格化结果,并通过操纵和自定义区域对应关系具有灵活的可控性。
Sep, 2023
本文提出了一种叫做 NeRF 综合的新任务,利用 NeRF 补丁范例的结构内容构建大尺寸的新辐射场,我们提出了一种两阶段的方法来综合新场景,控制场景的照明效果采用阴影指导而不是分离场景,我们表明了我们的方法可以生成高质量的结果,对曲面上的新场景进行综合,增强了我们所提出的 NeRF 综合方法的实用性。
Jun, 2023
本研究提出使用神经辐射场(NeRF)作为视觉定位的场景表示,通过利用 NeRF 的内部特征建立精确的 2D-3D 匹配来提升定位性能。通过研究 NeRF 的隐式知识和探索不同的匹配网络架构、提取多层的编码器特征以及多种训练配置,引入了 NeRFMatch 作为高级的 2D-3D 匹配函数,并在 Cambridge Landmarks 等标准定位基准上取得了业界领先的定位性能。
Mar, 2024
本文介绍了一种名为 NeRFuser 的架构,它可以在不需要访问大量用于生成它们的图像集的情况下,对 NeRF(神经辐射场)进行注册和混合。NeRFuser 使用 re-rendering 技术进行注册,提出了基于采样的反距离加权进行混合,经实验证明具有鲁棒性。
May, 2023
本文提出了一种新颖的基于 3D 场景描述符和转换器与 2D 图像进行直接匹配的视觉重新定位方法,NeRF 作为 3D 场景表示,在统一特征匹配和场景坐标回归的同时,本模型在两个训练阶段学习可推广的知识和场景先验知识。此外,为了提高本模型在训练和测试间的鲁棒性,本文提出了一个外观适应层来明确地对齐 3D 模型和查询图像。实验证明,本方法在多个基准测试上实现了比其他基于学习的方法更高的定位精度。
Apr, 2023
本文提出了 NeRF-Art,一种基于文本引导的 NeRF 风格化方法,采用新型的全局 - 局部对比学习策略和方向约束相结合的方法来实现同时控制目标样式的轨迹和强度的几何和外观变化,并采用一种重量正则化方法来抑制产生云状伪影和几何噪点的情况。
Dec, 2022
提出了一种基于超网络范例的少样本学习方法,通过从训练数据中收集信息并生成通用权重的更新,实现了从少量图像中一步生成高质量的 3D 物体表示的高效方法。通过与最先进的解决方案进行直接比较以及全面的剔除研究,证实了该方法的有效性。
Feb, 2024
本研究提出了一种基于神经辐射场的三维场景风格化方法,采用新的训练方法,交替进行 3D 场景和风格化优化步骤,从而应用更加表现力的图像风格转移方法,生成高质量的具有交叉视角一致性的新视角图片。
Jul, 2022
该论文提出了一种新的 NeRF 方法,具有可推广性,能够利用极少的两个来源视图直接推广到新的看不见的场景并进行新的视图合成。该方法的关键在于显式建模的对应匹配信息,以在 NeRF 颜色和密度的预测之前提供几何先验,从而实现体渲染。该方法通过 Transformer 交叉关注模型跨视图的交互作用来建模,大大提高了特征匹配的质量,并实现了在不同评估设置中的最新成果。实验表明了该方法学习到的余弦特征相似性和体密度之间的强相关性,证明了该方法的有效性和优越性。
Apr, 2023