寻找加速神经场培训的数据转换
我们通过有效选择采样位置的方法来加速神经场训练,通过软采样技术基于重要性采样来改进收敛速度和训练质量,我们使用 Langevin Monte-Carlo 采样来实现这个想法,以实现更高收敛速度,研究代码和相关资源可以在该 https URL 上公开获取。
Nov, 2023
神经场是一种有望替代传统的离散向量或基于网格的表示方法的信号表示方法,通过神经网络将信号表示为一个函数的参数化形式。相比离散表示方法,神经表示方法在分辨率增加时具有更好的可扩展性,是连续的,而且可以多次可微。然而,对于我们想要表示的信号数据集,为每个信号优化一个单独的神经场效率低下,并且无法利用信号之间的共享信息或结构。现有的泛化方法将其视为元学习问题,并使用基于梯度的元学习来学习初始化,然后通过测试时优化进行微调,或者学习超网络来产生神经场的权重。我们提出了一种新的范式,将神经表示的大规模训练视为部分观测神经过程框架的一部分,并利用神经过程算法来解决这个任务。我们证明了这种方法优于最先进的基于梯度的元学习方法和超网络方法。
Sep, 2023
使用基于 JAX 的库 fit-a-nef,对神经场(NeFs)进行了全面的研究,研究了不同超参数对下游任务的影响,并提出了神经场竞技场作为基准测试集,以进一步研究神经领域。
Dec, 2023
利用傅立叶理论和热方程衍生的一种新型激活函数,我们提出了一种设计神经场的新方法,使得可以使用高斯点扩散函数查询点,在 ASSR 分辨率转换时提供了理论上保证的抗锯齿效果,并且在计算成本上不增加额外开销,同时与超网络结合,比之前的方法更具参数效率。
Nov, 2023
提出了一种新的图像处理架构,它基于卷积神经网络与最近邻搜索的简单相结合,并在三个具有挑战性的基准测试中验证其性能与超越现有技术水平。该方法侧重于解决那些难以通过神经网络明确学习的图像转换问题,在此情况下,通过对网络输出进行最近邻搜索可以显著提高结果,并考虑神经网络训练期间的欠拟合效应。
Jun, 2014
提出了可流式传输的神经场模型,通过可执行的各种宽度的子网络,可以重构不同品质和部分信号,例如,较小的子网络产生平缓和低频信号,而较大的子网络可以表示细节,实验结果表明,该方法有效地应用于 2D 图像,视频和 3D 信号。同时,该方法还利用参数共享来提高训练稳定性。
Jul, 2022
本文研究神经场在二维语义分割中的应用,比较了三种条件策略(简单连接、FiLM 和交叉注意力)的性能差异,结果表明通过交叉注意力实现的神经场具有与基于 CNN 的解码器相媲美的最佳结果。
Apr, 2023
通过傅立叶分析的方法,我们提出了一种简单而有效的估算具有随机权重的神经网络的固有频率的方法,并根据此频率的奈奎斯特 - 香农采样定理,确定了适当的训练采样率。通过使用我们的采样策略训练具有位置编码的多层感知机(MLP),我们证明其性能优于现有方法。
Jan, 2024