如何训练神经场表示:一项全面研究与基准测试
研究重建物体的三维特征曲线的问题,引入神经边缘场来学习三维边缘的密度分布,在没有三维几何操作或交叉视图边缘对应的监督下,借助基于视图渲染的可微优化处理,从视图提取地面真值边缘图与渲染边缘图进行比较以进行优化,最后通过迭代优化法从神经边缘场中提取参数三维曲线,实验结果表明,在基准测试中,该模型在所有指标上均优于现有的最先进方法。
Mar, 2023
提出了一种基于超网络范例的少样本学习方法,通过从训练数据中收集信息并生成通用权重的更新,实现了从少量图像中一步生成高质量的 3D 物体表示的高效方法。通过与最先进的解决方案进行直接比较以及全面的剔除研究,证实了该方法的有效性。
Feb, 2024
我们提出了基于交叉注意力变换器的等变神经场,其中神经场被条件变量以及几何条件变量所控制,从而实现了从潜变量到场的等变解码。我们的等变方法具有可调整性,当神经场发生变换时,潜变量也相应地表示变换,反之亦然。这种等变关系确保了潜变量能够 (1) 忠实地表示几何模式,从而实现潜空间中的几何推理,(2) 在空间上相似的模式之间共享权重,从而实现对数据集的高效学习。通过分类实验验证了这些主要特性,并与其他非等变的神经场方法进行了对比。我们进一步通过展示独特的局部场编辑属性验证了等变神经场的潜在能力。
Jun, 2024
提出了可流式传输的神经场模型,通过可执行的各种宽度的子网络,可以重构不同品质和部分信号,例如,较小的子网络产生平缓和低频信号,而较大的子网络可以表示细节,实验结果表明,该方法有效地应用于 2D 图像,视频和 3D 信号。同时,该方法还利用参数共享来提高训练稳定性。
Jul, 2022
本研究采用神经场进行注册,通过优化两个具有不同缩放因子的任意神经场之间的相对 6 自由度变换,实现连续隐式表示的多个神经场的注册,同时讨论神经场在无约束环境中的应用挑战和未来研究方向。
Feb, 2024
我们介绍了 HyperFields,一种能够在单次前向传递和(可选地)某些微调中生成以文本为条件的神经辐射场(NeRFs)的方法。我们方法的关键在于:(i)动态超网络,能够将文本标记嵌入与 NeRFs 空间之间的映射平滑化学习;(ii)NeRF 蒸馏训练,将编码在各个 NeRFs 中的场景蒸馏成一个动态超网络。这些技术使得单个网络可以适应超过一百个独特场景。我们进一步证明 HyperFields 学习了文本和 NeRFs 之间更通用的映射,因此能够预测新的分布内和分布外场景 —— 零样本或经过少量微调步骤。基于学习到的通用映射,对 HyperFields 进行微调能够加速收敛,并且能够比现有的基于神经优化的方法更快地合成新场景(速度提高了 5 到 10 倍)。我们的消融实验表明,动态架构和 NeRF 蒸馏对于 HyperFields 的表达能力至关重要。
Oct, 2023
本文介绍了一种名为 NeRFuser 的架构,它可以在不需要访问大量用于生成它们的图像集的情况下,对 NeRF(神经辐射场)进行注册和混合。NeRFuser 使用 re-rendering 技术进行注册,提出了基于采样的反距离加权进行混合,经实验证明具有鲁棒性。
May, 2023
通过将输入视图按照其视觉相似性划分为多个组,并在每个组上训练单独的模型,然后通过教师 - 学生蒸馏范式将这些专门模型的知识聚合为一个实体,我们重新设计了 NeRF 的训练范式,提高了其渲染质量并实现了空间效率。
Jan, 2024