混合神经隐式函数生成神经场

Oct, 2023

Generative Neural Fields by Mixtures of Neural Implicit Functions

Tackgeun You, Mijeong Kim, Jungtaek Kim, Bohyung Han

TL;DR我们提出了一种学习生成神经场的新方法，它由隐式基网络的线性组合表示。我们的算法通过进行元学习或采用自动解码范式来学习隐式神经表示的基网络及其在潜在空间中的系数。该方法通过增加基网络的数量，同时保持小型推断网络的规模，从而轻松扩大生成神经场的容量，而通过加权模型平均来采样模型实例在延迟和内存占用方面高效。此外，我们还为目标任务定制了去噪扩散概率模型，以采样潜在混合系数，从而使我们的最终模型能够有效地生成看不见的数据。实验证明，我们的方法在图像、体素数据和 NeRF 场景的各种基准测试上取得了有竞争力的生成性能，而无需复杂的特定模态和领域设计。

Abstract

We propose a novel approach to learning the generative neural fields represented by linear combinations of implicit basis networks. Our algorithm learns basis networks in the form of implicit neural representatio

generative neural fields implicit basis networks latent space weighted model averaging denoising diffusion probabilistic model

发现论文，激发创造

研究科学连续领域重建中潜在表示的影响

学习稀疏采样下的连续可靠物理场表示的挑战及其影响是多学科的。本文提出了一种名为 MMGN（乘法和调制 Gabor 网络）的新模型，采用隐式神经网络。我们设计了额外的研究来增强对模型生成的潜在表示的理解，并采用了解释性方法。初步结果显示潜在表示中融入的上下文信息以及其对模型性能的影响。作为正在进行的工作，我们将继续验证发现并发展新的解释性方法。

Apr, 2024

梯度源网络

本文提出了一种新型生成模型，通过零初始化潜在向量，然后使用数据与该向量的对数似然梯度作为新的潜变量，实现经验贝叶斯法来计算后验期望，此法性能类似于自编码器，但是架构更简单，可以用于变分自编码器，可以通过隐式表示网络学习一组隐式函数空间，而不需要超网络，等等，实验表明，相对于自编码器，该方法收敛更快，重构误差显著更低，同时只需要一半的参数。

Jul, 2020

A-NeRF：用于学习人体形态、外观和姿态的关节神经辐射场

本文提出了一种基于神经径向基方法的生成神经体模型，通过学习未标记的单目视频，在不需要地面真实标签的情况下，共同完善的姿势和体积身体形状和外观，有效改善了多样化数据集上的准确性，是对使用反向运动学的引入的一个重要贡献。

Feb, 2021

学习生成模型的神经编码框架

提出了一种基于预测处理理论的神经生成模型计算框架，通过构建神经元层次结构，预测邻居神经元的工作并根据预测与观测结果的差异更新神经元参数来训练模型，实验结果表明，该模型在多个基准数据集和度量标准上表现出色，并具有与功能类似的其他生成模型相媲美甚至优越的性能。

Dec, 2020

一般化的神经场视为部分观测的神经过程

神经场是一种有望替代传统的离散向量或基于网格的表示方法的信号表示方法，通过神经网络将信号表示为一个函数的参数化形式。相比离散表示方法，神经表示方法在分辨率增加时具有更好的可扩展性，是连续的，而且可以多次可微。然而，对于我们想要表示的信号数据集，为每个信号优化一个单独的神经场效率低下，并且无法利用信号之间的共享信息或结构。现有的泛化方法将其视为元学习问题，并使用基于梯度的元学习来学习初始化，然后通过测试时优化进行微调，或者学习超网络来产生神经场的权重。我们提出了一种新的范式，将神经表示的大规模训练视为部分观测神经过程框架的一部分，并利用神经过程算法来解决这个任务。我们证明了这种方法优于最先进的基于梯度的元学习方法和超网络方法。

Sep, 2023

神经点光场

采用神经隐式点光场方法实现体积渲染，通过几百个样本进行射线投射，通过点云实现大场景动态渲染视频，与现有的方法相比，新方法的视角预测能力更强。

Dec, 2021

Reg-NF: 神经场中隐性表面的高效配准

本研究采用神经场进行注册，通过优化两个具有不同缩放因子的任意神经场之间的相对 6 自由度变换，实现连续隐式表示的多个神经场的注册，同时讨论神经场在无约束环境中的应用挑战和未来研究方向。

Feb, 2024

通过专家混合训练构建神经隐式字典

该研究论文提出了一种能够通过基于坐标的子网络来构建神经隐式词典 (NID) 并代表内在神经表征的框架，通过优化结果能够更快地重建 2D/3D 图像并解决遮挡问题。

Jul, 2022

包容性神经随机场的生成建模及其在图像生成和异常检测中的应用

本文提出了包容性 NRF 方法来学习神经随机场，针对图像生成以及异常检测等两个生成建模应用进行了全面的评估，结果表明该方法明显优于先前的最先进结果。

Jun, 2018

FG-NeRF: 基于 Flow-GAN 的概率性神经辐射场用于独立假设无关的不确定性估计

利用 Flow-GAN 提出了一种无独立性假设的概率神经辐射场模型，通过结合对抗学习的生成能力和正则化流的强大表达能力，显式地建模整个场景的密度 - 辐射分布，实现了最先进的性能，并在合成和真实数据集上预测更低的渲染误差和更可靠的不确定性。

Sep, 2023