- 使用 Transformer 神经过程的上下文学习
神经过程(NPs)是一类强大的元学习模型,旨在逼近元数据集中每个数据集从中抽样得到的地面真实随机过程的后验预测映射。我们在 NP 中增加了集成其他类似数据集的功能,描述了此范例作为上下文中的上下文学习。标准的 NP 架构(如卷积条件 NP( - 近似等变神经过程
通过使用已有的等变体系结构,我们在构建神经过程中使用近似等变性的方法,证明了该模型在合成和真实回归实验中的有效性。
- 等变变换神经网络过程的翻译
本文介绍了一种新的具有平移等变性的神经过程(TNPs)家族,通过对合成和真实世界的时空数据进行广泛的实验,相对于非平移等变性对照组和其他 NP 基线,我们证明了 TE-TNPs 的有效性。
- 预测信息需求的实现:一项脑电图研究
利用脑电图数据预测信息需求的实现,对实时预测信息需求的实现进行研究,提高信息检索实践的可行性。
- 多尺度神经过程嵌入知识的可扩展可靠深度迁移学习用于智能故障检测
本文提出了一种基于神经过程和图卷积网络的深度转移学习方法(GTNP),通过特征转移策略在高维空间中消除源领域和目标领域之间的数据分布差异,全局和局部潜在变量的联合建模以及稀疏采样策略减少目标领域中观测数据的需求,多尺度不确定性分析通过全局和 - 扩散增强神经过程
基于扩散的方法能够通过对加噪数据集进行条件化,解决了当前神经过程模型中存在的一些限制,并且在性能上超越了目前的最先进技术。
- NPCL:针对不确定性感知的连续学习的神经过程
使用神经过程处理连续学习任务,通过任务特定模块和层次潜在变量模型,提供可靠的不确定性估计,并在不同任务间减轻遗忘现象。
- 贝叶斯神经网络中的摊还推断
在本文中,我们提出了一种更数据高效的概率元学习方法,通过对贝叶斯神经网络的推理进行逐数据点摊销,引入了摊销伪观测变分推理贝叶斯神经网络(APOVI-BNN)。我们展示了在我们的摊销方案下获得的近似后验与传统变分推理获得的近似后验在质量上是相 - ICMLNP-SemiSeg:当神经过程遇上半监督语义分割
通过将神经过程(NPs)应用于半监督语义分割,我们提出了一种新的模型 NP-SemiSeg,并在公共基准数据集 PASCAL VOC 2012 和 Cityscapes 上进行了实验验证其有效性。
- 神经过程中推理结构的利用
本研究提供一个框架,允许神经过程(NPs)的潜变量被赋予由图形模型定义的丰富先验。将分布假设直接转化为上下文集合的适当聚合策略,并通过消息传递过程进行端到端优化。使用混合和学生 - t 假设证明了该框架的普适性,从而提高了函数建模和测试时的 - 常数内存注意力块
提出了 CMAB 的全新通用关注块的方法,并展示了在神经过程和时间点过程中竞争状态下达到与现有技术相当结果的大量经验证据,同时显著提高了内存效率。
- 自适应条件分位数神经过程
本文提出了一种新的神经过程成员 Conditional Quantile Neural Processes(CQNPs),采用量化回归来对复杂的分布进行建模,通过学习估计有信息量的分位数来增强抽样效率和预测准确性,并在实验数据集上与基线算法 - Transformer 神经过程结合端到端 Meta-Bayesian 优化
该论文提出了一种基于元学习的贝叶斯优化框架,并利用神经过程和转换器结构学习收购函数,通过强化学习来解决元数据缺乏标签问题,最终在多种领域的实验中取得了最先进的效果。
- 基于函数马尔可夫转移算子的深度随机过程
本文介绍了一种新的随机过程类别 Markov 神经过程 (MNPs),由神经参数化的 Markov 转移算子所构造,证明这些转移算子可以保留 SPs 的交换性和一致性,因此提供了对神经过程 (NPs) 框架的迭代构造的灵活性和表现力,实验表 - 恒定内存关注神经过程
本研究提出了一个新的神经过程模型 —— 常数内存注意力神经过程模型(CMANPs),它可以使用常数内存完成条件、查询和更新阶段,能够在低资源环境下高效地进行元回归和图像完成任务,与现有方法相比具有更好的内存效率和可扩展性。
- 多模态神经过程用于不确定性估计
提出了一种新的多模态神经过程模型,称为 Multimodal Neural Processes,该模型通过动态上下文存储、多模态贝叶斯聚合机制和新的注意力机制来进行多模态不确定性估计,实验结果表明其在多模态不确定性估计方面表现优异。
- ICMLNP-Match:面向新型半监督学习的概率模型
本研究介绍了一种名为 NP-Match 的新方法,使用调整后的神经过程来完成半监督图像分类任务,并通过伪标签的质量和可靠性估计不确定性,其具有计算开销小、精度高等优点,经实验证明 NP-Match 具有较好的性能和潜力。
- ICLR学习隐式神经表示的多功能神经过程
本文提出了一种较为高效的神经过程模型 Versatile Neural Processes(VNP),通过引入瓶颈编码器和多个全局潜在变量的分层学习,能够有效地逼近和建模复杂信号的分布,其有效性在 1D、2D 和 3D 信号建模中得到证实。
- 潜在瓶颈关注神经过程
本论文提出了一种名为 “潜在瓶颈注意力神经过程(LBANPs)” 的神经过程变种,旨在在保持高的预测性能的前提下实现计算效率,通过在少量的潜在向量上使用多个跨向量的注意力机制,将上下文数据集编码到潜在向量中,这些向量可以在处理目标数据点时进 - 利用隐性随机函数进行组合性规律解析
本文提出了一种深度潜变量模型的方法,称为组合法规分析(CLAP),该模型通过编码 - 解码架构来表示场景中的概念作为潜在变量以实现类人组合特性,本文还使用神经过程来捕获概念的法则,并通过多个视觉任务证明了其超越了基准方法,从而具有解释性。