Jul, 2022

变压器神经过程：通过序列建模实现不确定性感知的元学习

PDF
TL;DR本文提出了一种基于 Transformer 架构的新型神经过程模型（TNPs），用于解决元学习中的不确定性问题，具有先进的表现，适用于元回归、图像完成、上下文多臂赌博机和贝叶斯优化等各种基准问题。
neural processestransformer neural processesmeta-learningsequence modelinguncertainty-aware
发现论文，激发创造
  • 高斯神经过程

    本文对条件神经过程模型中用于训练的最大似然目标进行了严格分析，并提出了神经过程家族的新成员高斯神经过程模型，该模型可以模拟预测相关性，具备平移等变性，提供了通用逼近保证，并显示出良好的性能。

    Jan, 2021

  • 多模态神经过程用于不确定性估计

    提出了一种新的多模态神经过程模型，称为 Multimodal Neural Processes，该模型通过动态上下文存储、多模态贝叶斯聚合机制和新的注意力机制来进行多模态不确定性估计，实验结果表明其在多模态不确定性估计方面表现优异。

    Apr, 2023

  • 等变变换神经网络过程的翻译

    本文介绍了一种新的具有平移等变性的神经过程（TNPs）家族，通过对合成和真实世界的时空数据进行广泛的实验，相对于非平移等变性对照组和其他 NP 基线，我们证明了 TE-TNPs 的有效性。

    Jun, 2024

  • 使用 Transformer 神经过程的上下文学习

    神经过程（NPs）是一类强大的元学习模型，旨在逼近元数据集中每个数据集从中抽样得到的地面真实随机过程的后验预测映射。我们在 NP 中增加了集成其他类似数据集的功能，描述了此范例作为上下文中的上下文学习。标准的 NP 架构（如卷积条件 NP（ConvCNP）或转换器神经过程（TNPs）系列）无法进行上下文中的上下文学习，因为它们只能在单个数据集上进行条件。我们通过开发上下文中的伪标记 TNP（ICICL-TNP）来解决这个问题。 ICICL-TNP 基于 PT-TNPs 系列，利用基于伪标记的转换器架构来规避常规转换器架构的二次计算复杂性。重要的是，ICICL-TNP 能够在数据点集和数据集集上进行条件修正，从而实现上下文中的上下文学习。我们在多个实验中证明了上下文中的上下文学习的重要性和 ICICL-TNP 的有效性。

    Jun, 2024

  • 潜在瓶颈关注神经过程

    本论文提出了一种名为 “潜在瓶颈注意力神经过程（LBANPs）” 的神经过程变种，旨在在保持高的预测性能的前提下实现计算效率，通过在少量的潜在向量上使用多个跨向量的注意力机制，将上下文数据集编码到潜在向量中，这些向量可以在处理目标数据点时进行高效查询形成预测结果。

    Nov, 2022

  • NPCL：针对不确定性感知的连续学习的神经过程

    使用神经过程处理连续学习任务，通过任务特定模块和层次潜在变量模型，提供可靠的不确定性估计，并在不同任务间减轻遗忘现象。

    Oct, 2023

  • 学习隐式神经表示的多功能神经过程

    本文提出了一种较为高效的神经过程模型 Versatile Neural Processes（VNP），通过引入瓶颈编码器和多个全局潜在变量的分层学习，能够有效地逼近和建模复杂信号的分布，其有效性在 1D、2D 和 3D 信号建模中得到证实。

    Jan, 2023

  • 神经过程中推理结构的利用

    本研究提供一个框架，允许神经过程（NPs）的潜变量被赋予由图形模型定义的丰富先验。将分布假设直接转化为上下文集合的适当聚合策略，并通过消息传递过程进行端到端优化。使用混合和学生 - t 假设证明了该框架的普适性，从而提高了函数建模和测试时的鲁棒性。

    Jun, 2023

  • 序贯神经过程

    本文提出了一种 Sequential Neural Processes (SNP) 的方法，它通过引入一个时间状态转移模型来扩展 Neural Processes (NP) 的建模能力，以处理动态随机过程。作者还使用 Temporal Generative Query Networks 将 SNP 应用于动态三维场景建模，实现了可以处理 3D 场景时间动态的 4D 模型，并在实验中验证了该方法在动态回归和 4D 场景推断与渲染中的性能。

    Jun, 2019

  • 注意力神经过程

    该研究提出了一种带有注意力机制的神经流程方法，以解决神经流程的欠拟合问题，从而更准确地预测给定上下文情况下的输出条件分布。

    Jan, 2019