Jul, 2024

神经条件概率推理

PDF
TL;DR介绍了一种名为 NCP（神经条件概率）的新型算子理论方法，用于学习条件分布并重点关注推断任务。NCP 可用于构建条件置信区间、提取条件分位数、均值和协方差等重要统计量。通过利用神经网络的强大近似能力，该方法有效处理各种复杂概率分布，能够处理输入和输出变量之间的非线性关系。理论保证了 NCP 方法的优化一致性和统计准确性。实验证明，使用简单的具有两个隐藏层和 GELU 激活函数的多层感知机（MLP），我们的方法可以与领先的方法相媲美甚至超越，展示了在更复杂的架构中，基于理论的损失函数的最小化结构可以在不损失性能的情况下取得具有竞争力的结果。
发现论文，激发创造
  • 条件神经过程

    本文提出了一系列的神经模型 CNPs，结合了深度神经网络和高斯过程两种方法，旨在对给定数据集做出精确预测。

    Jul, 2018

  • 功能不确定性的噪声对比先验

    提出噪声对比先验 (NCPs) 方法，用于输出各数据点之高可信度，防止模型在训练分布以外的输入上过度拟合，并且通过主动学习产生可靠的不确定度估计。

    Jul, 2018

  • 通过邻域符合预测改进深度分类器的不确定性量化：新算法和理论分析

    本研究提出了一种名为邻域适应序列预测（NCP）的新算法，通过利用神经网络的学习表示来识别给定测试输入的 k 个最近邻校准样例，并根据它们的距离分配重要性权重，创建自适应预测集，从而提高使用 CP 进行深度分类器的不确定性量化的效率。

    Mar, 2023

  • 自适应条件分位数神经过程

    本文提出了一种新的神经过程成员 Conditional Quantile Neural Processes（CQNPs），采用量化回归来对复杂的分布进行建模，通过学习估计有信息量的分位数来增强抽样效率和预测准确性，并在实验数据集上与基线算法进行比较，展示了预测性能的显着提高。

    May, 2023

  • 学习有指数数量条件分布

    本文介绍了自我监督学习机器 Neural Conditioner (NC)，该机器利用对抗训练学习限定于随机变量 X 的所有条件分布，最后可以泛化到从未见过的联合分布中进行采样和实现数据自动编码。

    Feb, 2019

  • 证据性条件神经过程

    Evidential Conditional Neural Processes proposes a hierarchical Bayesian structure for the uncertainty decomposition in few-shot learning tasks to achieve robustness on noisy training tasks and extensive experiments demonstrate its effectiveness.

    Nov, 2022

  • 光谱卷积有条件神经过程

    基于神经网络将概率模型参数化的条件神经过程（CNP）能够提供良好校准的预测，特别适用于元学习问题。SConvCNPs 是 NPs 家族的新成员，通过在频域更有效地表示函数，克服了 ConvCNP 在处理有限和不规则采样的数据时捕捉长程依赖和复杂模式的挑战。

    Apr, 2024

  • NPCL：针对不确定性感知的连续学习的神经过程

    使用神经过程处理连续学习任务，通过任务特定模块和层次潜在变量模型，提供可靠的不确定性估计，并在不同任务间减轻遗忘现象。

    Oct, 2023

  • 关系条件神经过程通过实用等变性实现

    本研究提出关系条件神经过程（RCNPs），旨在将等变性巧妙地整合到神经过程模型中，从而提升了其在高维度数据下的适用性和影响力，并在大量自然包含等变性的任务上展示了 RCNPs 的高竞争性能。

    Jun, 2023

  • 自回归条件神经过程

    本文介绍了一种基于条件神经过程的预测方式，在测试阶段以链式规则定义联合预测分布，从而克服条件神经过程只能独立预测的缺点，实现高度相关、非高斯的预测，且性能显著优于非自回归条件神经过程，在不需要额外的近似推断或昂贵的训练策略的情况下，达到了与更复杂的预测模型竞争的水平。

    Mar, 2023