对比学习用于无似然推断

ICMLFeb, 2020

On Contrastive Learning for Likelihood-free Inference

Conor Durkan, Iain Murray, George Papamakarios

TL;DR该研究探讨了两种不需要概率似然函数的方法来处理具有随机模拟器模型的参数推断问题，分别是通过分类器学习隐含的密度比例和构建条件分布进行参数后验的灵活神经密度估计。研究表明这两种方法可以共同运行于一种对比学习策略下，并详细解释了它们如何运行和相互比较。

Abstract

likelihood-free methods perform parameter inference in stochastic simulator models where evaluating the likelihood is intractable but sampling synthetic data is possible. One class of methods for this likelihood-

likelihood-free methods stochastic simulator models parameter inference neural density estimators contrastive learning scheme

发现论文，激发创造

使用比值估计实现无似然推断

基于逻辑回归的比例估计方法作为参数统计推断的替代方法，以更丰富的总结统计信息来消除假设先验和卡方问题。

Nov, 2016

基于贝叶斯优化的基于模拟器的统计模型无似然推断

研究推断基于模拟器的统计模型，提出了结合概率建模和优化的策略来加速无似然推断方法，实现了对几个数量级所需模拟次数的削减。

Jan, 2015

使用经过校准的判别性分类器来逼近似然比

本文提出了一种基于机器学习和降维的新方法，用于进行无似然推断，不需要事先了解模型参数的先验分布。

Jun, 2015

改进交叉熵估计器的无似然推断

通过利用神经网络作为概率无关推断的代理模型，使用隐式生成模型或模拟器提供的联合概率比和联合得分来增强这些代理模型的训练数据，提出了一种新的交叉熵估计器，与之前利用增强训练数据的损失函数相比，该估计器提供了更好的样本效率。

Aug, 2018

神经密度估计和无似然推断

本文探讨了机器学习和统计学中的两个问题：密度估计和无似然推断，结合深度学习中新方法，提出了有效解决方案。

Oct, 2019

对比估计方法揭示线性模型中主题后验信息

本文探讨了对比学习在文档分类中的应用。与传统方法相比，利用对比学习方法能更好的学习到文档的表征，并通过实验证明线性分类器利用这些表示能提高文档分类的准确性。

Mar, 2020

强混合连续时间随机过程的对比学习

本研究研究了时间序列的情况，特别是从一个强混合连续时间随机过程中获取数据。我们展示了适当构造的对比学习任务可以用于估计扩散情况下小到中等范围间隔的转移核。此外，我们给出了解决这个任务的样本复杂度界限，并定量表征了对比损失值对学习核分布密切性的影响。作为副产品，我们阐明了对比分布的恰当设置，以及在这个设置中的其他超参数。

Mar, 2021

概率对比学习用于长尾视觉识别

在研究中，我们提出了一种新颖的概率对比学习算法（ProCo），它通过估计特征空间中每个类别的样本数据分布并相应地采样对比对，以克服由于数据不平衡而导致的标准有监督学习算法性能下降的难题。我们引入了一个合理简单的假设，即在对比学习中，归一化特征遵循单位空间上的一组 von Mises-Fisher（vMF）分布的混合分布，利用该分布参数的估计，我们可以采样无限数量的对比对，并得到了对比损失的闭合形式，从而实现高效优化。

Mar, 2024

从隐式模型中挖掘金子，以改善无似然推理

介绍了一种新型的基于模拟的推断技术，在高维情况下，这种技术超越了传统的近似贝叶斯计算方法，并扩展了基于神经网络的代理模型的方法，并演示了这些新技术比传统方法更具样本效率和提供更高保真度的推断。

May, 2018

对比学习反转数据生成过程

使用 InfoNCE 系列的 feedforward 模型通过隐式反转观察数据的基础生成模型来实现使学习到的表示方法适用于大量下游任务的目标，这种理论强调了对比学习，生成建模和非线性独立成分分析之间的基本联系，为推导出更有效的对比损失提供了理论基础。

Feb, 2021