Sep, 2020

消息传递神经过程

PDF
TL;DR引入 Message Passing Neural Processes (MPNPs)，在模型中显式利用关系结构来弥补 NPs 在处理细胞自动机、标记任意数据等任务中无法利用关系信息所导致的性能限制。模型在现有基准测试和新提出的细胞自动机和 Cora-Branched 任务中表现良好，并在基于密度的 CA 规则集上实现了较强的泛化能力以及在 few-shot learning 设置中获得了显著的提升。
neural processesmessage passingstochastic processescellular automatafew-shot learning
发现论文，激发创造
  • 神经过程中推理结构的利用

    本研究提供一个框架，允许神经过程（NPs）的潜变量被赋予由图形模型定义的丰富先验。将分布假设直接转化为上下文集合的适当聚合策略，并通过消息传递过程进行端到端优化。使用混合和学生 - t 假设证明了该框架的普适性，从而提高了函数建模和测试时的鲁棒性。

    Jun, 2023

  • 高斯神经过程

    本文对条件神经过程模型中用于训练的最大似然目标进行了严格分析，并提出了神经过程家族的新成员高斯神经过程模型，该模型可以模拟预测相关性，具备平移等变性，提供了通用逼近保证，并显示出良好的性能。

    Jan, 2021

  • 序贯神经过程

    本文提出了一种 Sequential Neural Processes (SNP) 的方法，它通过引入一个时间状态转移模型来扩展 Neural Processes (NP) 的建模能力，以处理动态随机过程。作者还使用 Temporal Generative Query Networks 将 SNP 应用于动态三维场景建模，实现了可以处理 3D 场景时间动态的 4D 模型，并在实验中验证了该方法在动态回归和 4D 场景推断与渲染中的性能。

    Jun, 2019

  • 多模态神经过程用于不确定性估计

    提出了一种新的多模态神经过程模型，称为 Multimodal Neural Processes，该模型通过动态上下文存储、多模态贝叶斯聚合机制和新的注意力机制来进行多模态不确定性估计，实验结果表明其在多模态不确定性估计方面表现优异。

    Apr, 2023

  • 变压器神经过程：通过序列建模实现不确定性感知的元学习

    本文提出了一种基于 Transformer 架构的新型神经过程模型（TNPs），用于解决元学习中的不确定性问题，具有先进的表现，适用于元回归、图像完成、上下文多臂赌博机和贝叶斯优化等各种基准问题。

    Jul, 2022

  • 注意力神经过程

    该研究提出了一种带有注意力机制的神经流程方法，以解决神经流程的欠拟合问题，从而更准确地预测给定上下文情况下的输出条件分布。

    Jan, 2019

  • 神经过程

    本文介绍了神经过程（NP）这一类神经网络模型，它拥有高效的计算能力、灵活的概率模型，可以适应新的数据，并能够估计其预测的不确定性。同时，神经过程也能像高斯过程一样对函数进行概率建模，具有延迟更新的能力。我们探讨了神经过程在回归和优化等任务中的表现，并与文献中的相关模型进行了对比。

    Jul, 2018

  • 带有随机注意力机制的神经过程：更多关注上下文数据集

    该研究提出了一种基于随机注意力机制的神经过程方法来捕捉适当的上下文信息，从信息论的角度证明了该方法鼓励上下文嵌入与目标数据集不同，可以实现上下文嵌入和目标数据集中的特征独立处理，在各种领域的实验中，该方法明显优于传统的神经过程方法。

    Apr, 2022

  • 量子化学中的神经消息传递

    本文介绍了一种基于神经网络模型的消息传递神经网络 (Message Passing Neural Networks, MPNN)， 并探索了 MPNNs 的衍生变体。在化学性质预测基准测试中，使用 MPNNs 获得了最先进的结果，表明将来的研究应该集中在具有更大分子或更精确地基础事实标签的数据集上。

    Apr, 2017

  • 基于函数马尔可夫转移算子的深度随机过程

    本文介绍了一种新的随机过程类别 Markov 神经过程 (MNPs)，由神经参数化的 Markov 转移算子所构造，证明这些转移算子可以保留 SPs 的交换性和一致性，因此提供了对神经过程 (NPs) 框架的迭代构造的灵活性和表现力，实验表明，在各种任务上，MNPs 模型比基线模型具有明显的优势。

    May, 2023