对比条件神经过程

CVPRMar, 2022

Contrastive Conditional Neural Processes

Zesheng Ye, Lina Yao

TL;DR本研究针对 Stochastic Processes 中函数的近似，提出了一种基于 Conditional Neural Processes 的方法并引入噪声对抗学习来改善生成模型的一些固有限制。具体而言，本方法包含两个辅助的对比分支（TCL 和 FCL）同时优化预测和适应问题的表征。实验表明，本文提出的方法在高维时间序列的函数分布重建和参数识别方面优于其他 CNPs 变体模型。

Abstract

conditional neural processes~(CNPs) bridge neural networks with probabilistic inference to approximate functions of Stochastic Processes under meta-learning settings. Given a batch of non-{\it i.i.d} function instantiations, CNPs are jointly optimized for in-instantiation observation p

conditional neural processes probabilistic inference generative reconstruction temporal contrastive learning function contrastive learning

发现论文，激发创造

多智能体基于时间对比学习的迁移学习

该研究介绍了一个用于深度多智能体强化学习的新型迁移学习框架。该方法通过自动组合目标条件策略和时间对比学习，发现有意义的子目标。实验证明，该方法在多智能体协调任务 Overcooked 上能够提高样本效率，解决稀疏奖励和长期规划问题，并且相比基准方法具有更高的可解释性。与最先进的基准方法相比，我们的方法只需要原来的 21.7% 的训练样本就能达到相同或更好的性能。

Jun, 2024

带有一些未知因子的提升因子图

使用代表不可区分对象的提升技术，本文研究了在概率图模型中如何有效地进行查询回答并保持精确答案；引入了 LIFAGU 算法以识别包含未知因子的因子图中对称子图，并实现已知势能向未知势能的传递，以确保良定义语义并进行（提升的）概率推断。

Jun, 2024

Bethe 自由能逼近的凸性和可靠性

通过分析 Bethe 自由能在其定义域的子流形上的平凸性，本文提出了两个基于 Bethe Hessian 矩阵的确定性属性的充分条件，用于验证 Bethe 逼近的可靠性，并建议了 BETHE-MIN 算法用于高效地找到 Bethe 自由能的最小值，从而为模型的临界相变温度提供了简单的估计方法。

May, 2024

马尔可夫流匹配：用连续正规化流加速 MCMC

通过建模生成概率路径的向量场，连续归一化流（CNFs）利用神经网络学习参考密度与目标密度之间的概率路径。本文重新利用流匹配（FM）方法，结合马尔可夫采样方法评估 FM 目标和使用学习的概率路径改进蒙特卡洛采样，将该方法用于概率推断。我们提出了一种顺序方法，利用马尔可夫链的样本修正定义 FM 目标的概率路径。我们增加了自适应调节机制以发现目标中的多个模式。在温和的假设下，我们证明了 FM 目标的局部最优收敛性，讨论了收敛速率的改进，并在合成和真实世界示例中说明了我们的方法。

May, 2024

张量网络与微分编程时代的概率推理

提出了基于张量网络的概率图模型推理任务解决方法，包括计算配分函数、计算模型中变量集的边缘概率、确定变量集的最可能赋值以及根据不同变量集边缘化后确定最可能赋值，并通过与量子技术的集成得到了明显的改进。

May, 2024

光谱卷积有条件神经过程

基于神经网络将概率模型参数化的条件神经过程（CNP）能够提供良好校准的预测，特别适用于元学习问题。SConvCNPs 是 NPs 家族的新成员，通过在频域更有效地表示函数，克服了 ConvCNP 在处理有限和不规则采样的数据时捕捉长程依赖和复杂模式的挑战。

Apr, 2024

从视频中实现强化学习的原则性表示学习

研究使用视频数据进行决策预训练表示学习，讨论两种情景：观察中的独立同分布噪声和存在外部噪声的困难情景，验证了在不同情境中学习表征方法的样本复杂度和性能表现。

Mar, 2024

通过插值进行推理：对比表示可证明地实现计划和推理

给定时间序列数据，本论文展示了如何利用对比学习获得紧凑的、闭合形式的解来回答 “未来会发生什么？” 和 “我们是如何到达这一点的？” 这些概率推断问题在高维观测时很具有挑战性。我们通过对时间序列数据应用一种变体的对比学习方法来实现这些问题的解答。我们的理论验证了这种对比学习所学习到的表示遵循高斯 - 马尔科夫链。

Mar, 2024

临界性排序循环均场伊辛求解器

使用基于循环神经网络的高效 Ising 模型求解器 CoRMF，通过引入临界性排序的自旋序列，实现基于自回归均场分解的概率演算，大大提高了对正向 Ising 推理问题的效率。

Mar, 2024

推理和学习统一描绘的抽象推论

基于神经科学中贝叶斯方法对脑功能的启示，我们提出了一个简单的概率推断理论，用于统一描述推理和学习。我们通过符号逻辑中知识的可满足性模拟数据如何引发符号知识的过程，即抽象过程和选择性无知。我们讨论了推理的逻辑后果关系以及基于实验证据的 MNIST 数据集的经验正确性。

Feb, 2024