Oct, 2019

递归注意力神经过程用于序列数据

PDF
TL;DR本文提出了一种将注意力神经过程（ANP）嵌入循环神经网络 (RNN) 的新模型 ——RANP，从而有效地捕获序列数据的时间顺序和重复结构，与 LSTMs 和 NPs 进行比较，该模型在一维回归玩具实例以及自主驾驶应用中表现出色。
neural processesattentive neural processrecurrent attentive neural processrecurrent neural networksequential data
发现论文，激发创造
  • 潜在瓶颈关注神经过程

    本论文提出了一种名为 “潜在瓶颈注意力神经过程（LBANPs）” 的神经过程变种，旨在在保持高的预测性能的前提下实现计算效率，通过在少量的潜在向量上使用多个跨向量的注意力机制，将上下文数据集编码到潜在向量中，这些向量可以在处理目标数据点时进行高效查询形成预测结果。

    Nov, 2022

  • 注意力神经过程

    该研究提出了一种带有注意力机制的神经流程方法，以解决神经流程的欠拟合问题，从而更准确地预测给定上下文情况下的输出条件分布。

    Jan, 2019

  • 带有随机注意力机制的神经过程：更多关注上下文数据集

    该研究提出了一种基于随机注意力机制的神经过程方法来捕捉适当的上下文信息，从信息论的角度证明了该方法鼓励上下文嵌入与目标数据集不同，可以实现上下文嵌入和目标数据集中的特征独立处理，在各种领域的实验中，该方法明显优于传统的神经过程方法。

    Apr, 2022

  • 序贯神经过程

    本文提出了一种 Sequential Neural Processes (SNP) 的方法，它通过引入一个时间状态转移模型来扩展 Neural Processes (NP) 的建模能力，以处理动态随机过程。作者还使用 Temporal Generative Query Networks 将 SNP 应用于动态三维场景建模，实现了可以处理 3D 场景时间动态的 4D 模型，并在实验中验证了该方法在动态回归和 4D 场景推断与渲染中的性能。

    Jun, 2019

  • 恒定内存关注神经过程

    本研究提出了一个新的神经过程模型 —— 常数内存注意力神经过程模型（CMANPs），它可以使用常数内存完成条件、查询和更新阶段，能够在低资源环境下高效地进行元回归和图像完成任务，与现有方法相比具有更好的内存效率和可扩展性。

    May, 2023

  • 自回归条件神经过程

    本文介绍了一种基于条件神经过程的预测方式，在测试阶段以链式规则定义联合预测分布，从而克服条件神经过程只能独立预测的缺点，实现高度相关、非高斯的预测，且性能显著优于非自回归条件神经过程，在不需要额外的近似推断或昂贵的训练策略的情况下，达到了与更复杂的预测模型竞争的水平。

    Mar, 2023

  • 鲁棒的序列神经过程

    本研究介绍了一种新的抽象注意机制 Recurrent Memory Reconstruction (RMR)，并采用其改进了基于 Sequential Neural Processes (SNP) 的 meta-transfer learning 模型，所得到的 Attentive Sequential Neural Processes-RMR (ASNP-RMR) 在各项评估中表现显著优于基线模型。

    Jun, 2020

  • 学习隐式神经表示的多功能神经过程

    本文提出了一种较为高效的神经过程模型 Versatile Neural Processes（VNP），通过引入瓶颈编码器和多个全局潜在变量的分层学习，能够有效地逼近和建模复杂信号的分布，其有效性在 1D、2D 和 3D 信号建模中得到证实。

    Jan, 2023

  • 高斯神经过程

    本文对条件神经过程模型中用于训练的最大似然目标进行了严格分析，并提出了神经过程家族的新成员高斯神经过程模型，该模型可以模拟预测相关性，具备平移等变性，提供了通用逼近保证，并显示出良好的性能。

    Jan, 2021

  • 消息传递神经过程

    引入 Message Passing Neural Processes (MPNPs)，在模型中显式利用关系结构来弥补 NPs 在处理细胞自动机、标记任意数据等任务中无法利用关系信息所导致的性能限制。模型在现有基准测试和新提出的细胞自动机和 Cora-Branched 任务中表现良好，并在基于密度的 CA 规则集上实现了较强的泛化能力以及在 few-shot learning 设置中获得了显著的提升。

    Sep, 2020