May, 2023

基于函数马尔可夫转移算子的深度随机过程

PDF
TL;DR本文介绍了一种新的随机过程类别 Markov 神经过程 (MNPs)，由神经参数化的 Markov 转移算子所构造，证明这些转移算子可以保留 SPs 的交换性和一致性，因此提供了对神经过程 (NPs) 框架的迭代构造的灵活性和表现力，实验表明，在各种任务上，MNPs 模型比基线模型具有明显的优势。
markov neural processesstochastic processesneural processesflexibilityexpressivity
发现论文，激发创造
  • 卷积神经过程用于元学习稳定随机过程预测

    本文提出一种基于卷积神经过程 (Convolutional Neural Process，ConvNP) 的方法，使得神经过程 (NP) 引入了平移等变性并扩展卷积条件 NP 以允许对预测分布的依赖关系进行调整，从而在实现 Thompson 抽样或条件图像完成等相关任务时获得协调的样本，这些任务与真实世界的时空数据相关。

    Jul, 2020

  • 序贯神经过程

    本文提出了一种 Sequential Neural Processes (SNP) 的方法，它通过引入一个时间状态转移模型来扩展 Neural Processes (NP) 的建模能力，以处理动态随机过程。作者还使用 Temporal Generative Query Networks 将 SNP 应用于动态三维场景建模，实现了可以处理 3D 场景时间动态的 4D 模型，并在实验中验证了该方法在动态回归和 4D 场景推断与渲染中的性能。

    Jun, 2019

  • 功能性神经过程

    本文介绍了一种新的可交换随机过程 —— 函数神经过程（FNPs），它们通过学习数据集中点的潜在表示的依赖关系图，对函数分布进行建模。作者在不明确设定潜在全局参数的先验分布的情况下，采用了对给定数据集的关系结构的先验分布来定义贝叶斯模型，并通过小批量优化提高了可扩展性。作者还展示了如何通过后验预测分布对新点进行预测，并在玩具回归和图像分类任务上实验评估了 FNPs，证明了相比采用全局潜在参数的基准模型，FNPs 不仅提供了竞争性的预测性能，而且更具鲁棒性的不确定性估计。

    Jun, 2019

  • 神经马尔可夫跳进程

    本文提出了一种基于神经常微分方程的变分推断算法，在 Markov 跳跃过程中通过学习神经连续时间表示来近似后验分布，相比于 Monte Carlo 和期望最大化方法具有更高效的性能。

    May, 2023

  • 消息传递神经过程

    引入 Message Passing Neural Processes (MPNPs)，在模型中显式利用关系结构来弥补 NPs 在处理细胞自动机、标记任意数据等任务中无法利用关系信息所导致的性能限制。模型在现有基准测试和新提出的细胞自动机和 Cora-Branched 任务中表现良好，并在基于密度的 CA 规则集上实现了较强的泛化能力以及在 few-shot learning 设置中获得了显著的提升。

    Sep, 2020

  • 马尔可夫跳跃过程的基础推断模型

    使用零样本推理的神经网络模型，能够从嘈杂且稀疏的观察中，推断出具有不同维度的马尔可夫跳跃过程，并且达到与针对目标数据集微调的最先进模型相媲美的性能。

    Jun, 2024

  • 双随机变分推断用于具有分层隐变量的神经过程

    本研究介绍了双重随机变分神经过程 (DSVNP) 这种新型的神经过程变量模型，该模型结合了全局和局部潜在变量以用于预测，并在多输出回归和分类不确定性估计中展示了竞争性的预测表现。

    Aug, 2020

  • 高斯神经过程

    本文对条件神经过程模型中用于训练的最大似然目标进行了严格分析，并提出了神经过程家族的新成员高斯神经过程模型，该模型可以模拟预测相关性，具备平移等变性，提供了通用逼近保证，并显示出良好的性能。

    Jan, 2021

  • 条件神经过程

    本文提出了一系列的神经模型 CNPs，结合了深度神经网络和高斯过程两种方法，旨在对给定数据集做出精确预测。

    Jul, 2018

  • 马丁格尔后验神经过程

    本文提出了一种名为 Martingale Posterior Neural Process (MPNP) 的模型，将预测分布与神经网络隐含层结合，使用递归的贝叶斯后验方法来降低模型误差。实验表明，MPNP 在各种任务方面的表现要优于基准模型。

    Apr, 2023