ICLRJan, 2023

学习隐式神经表示的多功能神经过程

PDF
TL;DR本文提出了一种较为高效的神经过程模型 Versatile Neural Processes（VNP），通过引入瓶颈编码器和多个全局潜在变量的分层学习，能够有效地逼近和建模复杂信号的分布，其有效性在 1D、2D 和 3D 信号建模中得到证实。
implicit neural representationsneural processesversatile neural processesfunction approximationscomplex signal modeling
发现论文，激发创造
  • 神经过程中推理结构的利用

    本研究提供一个框架，允许神经过程（NPs）的潜变量被赋予由图形模型定义的丰富先验。将分布假设直接转化为上下文集合的适当聚合策略，并通过消息传递过程进行端到端优化。使用混合和学生 - t 假设证明了该框架的普适性，从而提高了函数建模和测试时的鲁棒性。

    Jun, 2023

  • 双随机变分推断用于具有分层隐变量的神经过程

    本研究介绍了双重随机变分神经过程 (DSVNP) 这种新型的神经过程变量模型，该模型结合了全局和局部潜在变量以用于预测，并在多输出回归和分类不确定性估计中展示了竞争性的预测表现。

    Aug, 2020

  • 基于隐式神经表示的形状深度学习

    本文介绍了 Implicit Neural Representations (INRs) 的概念，并提出了 inr2vec 框架作为一种有效的在深度学习流程中解决 INRs 表示的下游任务的方法。

    Feb, 2023

  • 变压器神经过程：通过序列建模实现不确定性感知的元学习

    本文提出了一种基于 Transformer 架构的新型神经过程模型（TNPs），用于解决元学习中的不确定性问题，具有先进的表现，适用于元回归、图像完成、上下文多臂赌博机和贝叶斯优化等各种基准问题。

    Jul, 2022

  • 功能性神经过程

    本文介绍了一种新的可交换随机过程 —— 函数神经过程（FNPs），它们通过学习数据集中点的潜在表示的依赖关系图，对函数分布进行建模。作者在不明确设定潜在全局参数的先验分布的情况下，采用了对给定数据集的关系结构的先验分布来定义贝叶斯模型，并通过小批量优化提高了可扩展性。作者还展示了如何通过后验预测分布对新点进行预测，并在玩具回归和图像分类任务上实验评估了 FNPs，证明了相比采用全局潜在参数的基准模型，FNPs 不仅提供了竞争性的预测性能，而且更具鲁棒性的不确定性估计。

    Jun, 2019

  • HyperTime: 时间序列的隐式神经表示

    本文利用隐式神经表示技术分析了时间序列数据的表示问题，并提出了一种基于傅里叶变换的损失函数来指导网络训练的超网络结构，用于生成时间序列数据。我们证明了这个方法可以用于时间序列数据的扩充与生成，并且在此领域达到了最先进的方法的水平。

    Aug, 2022

  • 注意力神经过程

    该研究提出了一种带有注意力机制的神经流程方法，以解决神经流程的欠拟合问题，从而更准确地预测给定上下文情况下的输出条件分布。

    Jan, 2019

  • 复数小波的隐式神经表示和代数

    利用隐式神经表示 (INRs) 以欧几里得空间的多层感知器 (MLP) 对图像进行参数化，有效地在信号中表示了在常规离散表示中看不到的耦合空间和频谱特征，为以前不可能的连续信号处理和机器学习方法铺平了道路。本文研究了使用正弦激活函数的 INRs 在傅里叶理论方面的工作，并展示了与正弦函数相比，使用小波作为激活函数的优势，因为它们能够同时在频率和空间上进行本地化。我们在这项工作中探讨了这种 INRs，并演示了它们如何从 MLP 的第一层中进行粗糙逼近从而解析出信号的高频特征。这导致了多种 INR 架构设计的建议，包括使用复数小波，解耦低通和带通逼近以及基于所需信号奇点的初始化方案。

    Oct, 2023

  • 广义隐式神经表示法

    研究了在非欧几里得域中学习隐式神经表征（INRs）的问题，介绍了一种利用图的谱嵌入来近似节点位置，并在各种真实世界的非欧几里得域的信号上进行了实验。

    May, 2022

  • 神经过程

    本文介绍了神经过程（NP）这一类神经网络模型，它拥有高效的计算能力、灵活的概率模型，可以适应新的数据，并能够估计其预测的不确定性。同时，神经过程也能像高斯过程一样对函数进行概率建模，具有延迟更新的能力。我们探讨了神经过程在回归和优化等任务中的表现，并与文献中的相关模型进行了对比。

    Jul, 2018