May, 2023

恒定内存关注神经过程

PDF
TL;DR本研究提出了一个新的神经过程模型 —— 常数内存注意力神经过程模型（CMANPs），它可以使用常数内存完成条件、查询和更新阶段，能够在低资源环境下高效地进行元回归和图像完成任务，与现有方法相比具有更好的内存效率和可扩展性。
neural processespredictive uncertaintiesconstant memory attentive neural processesmemory efficiencymeta-regression
发现论文，激发创造
  • 常数内存注意力块

    提出了 CMAB 的全新通用关注块的方法，并展示了在神经过程和时间点过程中竞争状态下达到与现有技术相当结果的大量经验证据，同时显著提高了内存效率。

    Jun, 2023

  • 潜在瓶颈关注神经过程

    本论文提出了一种名为 “潜在瓶颈注意力神经过程（LBANPs）” 的神经过程变种，旨在在保持高的预测性能的前提下实现计算效率，通过在少量的潜在向量上使用多个跨向量的注意力机制，将上下文数据集编码到潜在向量中，这些向量可以在处理目标数据点时进行高效查询形成预测结果。

    Nov, 2022

  • 带有随机注意力机制的神经过程：更多关注上下文数据集

    该研究提出了一种基于随机注意力机制的神经过程方法来捕捉适当的上下文信息，从信息论的角度证明了该方法鼓励上下文嵌入与目标数据集不同，可以实现上下文嵌入和目标数据集中的特征独立处理，在各种领域的实验中，该方法明显优于传统的神经过程方法。

    Apr, 2022

  • 递归注意力神经过程用于序列数据

    本文提出了一种将注意力神经过程（ANP）嵌入循环神经网络 (RNN) 的新模型 ——RANP，从而有效地捕获序列数据的时间顺序和重复结构，与 LSTMs 和 NPs 进行比较，该模型在一维回归玩具实例以及自主驾驶应用中表现出色。

    Oct, 2019

  • 注意力神经过程

    该研究提出了一种带有注意力机制的神经流程方法，以解决神经流程的欠拟合问题，从而更准确地预测给定上下文情况下的输出条件分布。

    Jan, 2019

  • 消息传递神经过程

    引入 Message Passing Neural Processes (MPNPs)，在模型中显式利用关系结构来弥补 NPs 在处理细胞自动机、标记任意数据等任务中无法利用关系信息所导致的性能限制。模型在现有基准测试和新提出的细胞自动机和 Cora-Branched 任务中表现良好，并在基于密度的 CA 规则集上实现了较强的泛化能力以及在 few-shot learning 设置中获得了显著的提升。

    Sep, 2020

  • 自编码条件神经过程用于表征学习

    该论文介绍了一种基于条件神经过程和图像上下文的模型框架 —— 部分像素空间变分自动编码器（PPS-VAE）来解决视觉领域的图像修复问题，通过该方法不仅可以同时获取上下文和适配条件神经过程，而且其空间排布和值提供了有关图像内容的有力信号。

    May, 2023

  • 自回归条件神经过程

    本文介绍了一种基于条件神经过程的预测方式，在测试阶段以链式规则定义联合预测分布，从而克服条件神经过程只能独立预测的缺点，实现高度相关、非高斯的预测，且性能显著优于非自回归条件神经过程，在不需要额外的近似推断或昂贵的训练策略的情况下，达到了与更复杂的预测模型竞争的水平。

    Mar, 2023

  • 多模态神经过程用于不确定性估计

    提出了一种新的多模态神经过程模型，称为 Multimodal Neural Processes，该模型通过动态上下文存储、多模态贝叶斯聚合机制和新的注意力机制来进行多模态不确定性估计，实验结果表明其在多模态不确定性估计方面表现优异。

    Apr, 2023

  • 条件神经过程

    本文提出了一系列的神经模型 CNPs，结合了深度神经网络和高斯过程两种方法，旨在对给定数据集做出精确预测。

    Jul, 2018