BriefGPT.xyz
Apr, 2023
完全变分噪声对比估计
Fully Variational Noise-Contrastive Estimation
HTML
PDF
Christopher Zach
TL;DR
本文提出了一种使用正确评分规则理论的噪声对比估计（NCE）方法家族，适用于潜变量模型；这个方法家族可以通过类似变分贝叶斯的方式从数据样本和噪声样本中提取并利用信息，并被称为全变分噪声对比估计时损失函数，其中，变分自编码器是其中的一种，也可以用于使用适当的分类损失将实际数据与合成样本区分开来；此外，我们讨论了全变分NCE目标的其他实例，并指出它们在实证行为上的差异。
Abstract
By using the underlying theory of
proper scoring rules
, we design a family of
noise-contrastive estimation
(NCE) methods that are tractable for
l
→