ICCVSep, 2023

一般化的神经场视为部分观测的神经过程

PDF
TL;DR神经场是一种有望替代传统的离散向量或基于网格的表示方法的信号表示方法，通过神经网络将信号表示为一个函数的参数化形式。相比离散表示方法，神经表示方法在分辨率增加时具有更好的可扩展性，是连续的，而且可以多次可微。然而，对于我们想要表示的信号数据集，为每个信号优化一个单独的神经场效率低下，并且无法利用信号之间的共享信息或结构。现有的泛化方法将其视为元学习问题，并使用基于梯度的元学习来学习初始化，然后通过测试时优化进行微调，或者学习超网络来产生神经场的权重。我们提出了一种新的范式，将神经表示的大规模训练视为部分观测神经过程框架的一部分，并利用神经过程算法来解决这个任务。我们证明了这种方法优于最先进的基于梯度的元学习方法和超网络方法。
发现论文，激发创造
  • 通过重复微分实现神经场卷积

    本文介绍了一种使用经过训练的积分场实现大规模卷积的方法，用以弥补神经场作为连续信号表示方法而不易进行信号处理的问题。作者在各种数据模态和空间变化的核上演示了该方法。

    Apr, 2023

  • 可流式神经场

    提出了可流式传输的神经场模型，通过可执行的各种宽度的子网络，可以重构不同品质和部分信号，例如，较小的子网络产生平缓和低频信号，而较大的子网络可以表示细节，实验结果表明，该方法有效地应用于 2D 图像，视频和 3D 信号。同时，该方法还利用参数共享来提高训练稳定性。

    Jul, 2022

  • 混合神经隐式函数生成神经场

    我们提出了一种学习生成神经场的新方法，它由隐式基网络的线性组合表示。我们的算法通过进行元学习或采用自动解码范式来学习隐式神经表示的基网络及其在潜在空间中的系数。该方法通过增加基网络的数量，同时保持小型推断网络的规模，从而轻松扩大生成神经场的容量，而通过加权模型平均来采样模型实例在延迟和内存占用方面高效。此外，我们还为目标任务定制了去噪扩散概率模型，以采样潜在混合系数，从而使我们的最终模型能够有效地生成看不见的数据。实验证明，我们的方法在图像、体素数据和 NeRF 场景的各种基准测试上取得了有竞争力的生成性能，而无需复杂的特定模态和领域设计。

    Oct, 2023

  • 神经过程

    本文介绍了神经过程（NP）这一类神经网络模型，它拥有高效的计算能力、灵活的概率模型，可以适应新的数据，并能够估计其预测的不确定性。同时，神经过程也能像高斯过程一样对函数进行概率建模，具有延迟更新的能力。我们探讨了神经过程在回归和优化等任务中的表现，并与文献中的相关模型进行了对比。

    Jul, 2018

  • 元学习稀疏隐式神经表示

    本文提出了一种利用元学习思想和网络压缩技术相结合的方法，以达到在大量数据集上学习稀疏神经表达的目的，并表明与传统的密集神经网络相比，本方法在相同的参数规模下，能够更快地适应一系列未知信号从而使损失更小。

    Oct, 2021

  • 寻找加速神经场培训的数据转换

    通过研究数据变换对神经场训练速度的影响，特别关注像素位置置换如何影响 SGD 的收敛速度，我们发现随机置换像素位置可以显著加快训练速度。分析表明，随机像素置换消除了易拟合的模式，促进了早期的优化，但阻碍了细节的捕捉。

    Nov, 2023

  • 室内环境中部分观测对象的类别级神经场重建

    通过引入类别级神经场，我们提出了一种改进的方法来重建场景中部分可见的物体，提高三维重建的效果，并在模拟和真实数据集上进行了实验证明。

    Jun, 2024

  • 视觉计算及其它领域中的神经场

    本研究提供了神经场的数学基础和文献综述，包括不同表征方式、结构、前向传递和推广方法，介绍了神经场在视觉计算和其他领域（例如机器人，音频）中的应用，证明了这种方法所带来的质量改善、灵活性和能力提高。

    Nov, 2021

  • 如何训练神经场表示：一项全面研究与基准测试

    使用基于 JAX 的库 fit-a-nef，对神经场（NeFs）进行了全面的研究，研究了不同超参数对下游任务的影响，并提出了神经场竞技场作为基准测试集，以进一步研究神经领域。

    Dec, 2023

  • 通用神经规范场

    通过通过信息守恒原则推导出的一种信息不变的规范变换方法，实现了神经场的端到端学习，提高了计算效率和渲染质量。

    May, 2023