Apr, 2023

完全变分噪声对比估计

PDF
TL;DR本文提出了一种使用正确评分规则理论的噪声对比估计（NCE）方法家族，适用于潜变量模型；这个方法家族可以通过类似变分贝叶斯的方式从数据样本和噪声样本中提取并利用信息，并被称为全变分噪声对比估计时损失函数，其中，变分自编码器是其中的一种，也可以用于使用适当的分类损失将实际数据与合成样本区分开来；此外，我们讨论了全变分 NCE 目标的其他实例，并指出它们在实证行为上的差异。
proper scoring rulesnoise-contrastive estimationlatent variable modelsvariational bayesvariational autoencoders
发现论文，激发创造
  • 变分噪声对比估计

    本文介绍了一种基于变分噪声对比估计的方法，能够应用于未标准化潜变量模型的参数估计和后验推理，提高了建模的灵活性，并且可应用于不完整数据估计的实际问题。

    Oct, 2018

  • 无标准化模型的条件噪声对比估计

    我们提出了一种新方法，通过在密度估计问题中将噪声样本的生成与观察到的数据联系起来，旨在比噪声对比估计更好地估计未规范化模型的参数，并在深度学习中证明了其适用性。

    Jun, 2018

  • 噪声对比变分自编码器

    本文理论上探索了几种流行的变分自编码模型，在启发于噪声对比评估算法的基础上，提出了一种新的算法 NC-VAE，在数据重构能力上不会出现后验崩溃问题，提供了新的下界，并在图像和文本数据集上进行了实证展示。

    Jul, 2019

  • 条件模型的噪声对比估计和负采样：一致性和统计效率

    本文考虑了基于 NCE 的条件模型估计，通过分析两种条件模型变体：一种基于分类目标，另一种基于排序目标，证明了基于排序的 NCE 变体在较弱的假设下提供了一致的参数估计，同时分析了两种方法的统计效率，并在合成数据和语言建模实验中展示了两种方法的效果和权衡。

    Sep, 2018

  • 用于生成模型估计的可辨识性标准

    本文探讨了两种基于二进制分类的生成模型估计标准的相似性和差异性，证明了一种动态生成器网络的 NCE 算法等价于最大似然估计；同时也指出了 GAN 算法存在的问题和未来的研究方向。

    Dec, 2014

  • 噪声对比估计与对比散度之间的关联

    通过将噪声对比估计（NCE）方法与传统最大似然估计（ML）方法结合，以及探索 NCE 与条件重要性采样（RNCE）和对比散度（CNCE）之间的关联，本研究实现了 NCE 方法的扩展和改进。

    Feb, 2024

  • 基于变分自编码模型的深入理解

    本文提出了一种新的变分自编码模型优化标准，推广了标准的证据下界，提供了它们恢复数据分布和学习潜在特征的条件，并在形式上证明了通常出现模糊样本和无信息潜在特征等常见问题的条件。基于这些新的见解，我们提出了一种新的序列化 VAE 模型，可以基于像素逐一重构损失在 LSUN 图像数据集上生成清晰的样本，并提出一种旨在鼓励无监督学习信息潜在特征的优化标准。

    Feb, 2017

  • 条件负采样用于视觉表征对比学习

    本文中介绍了一种新的图像对比学习方法，该方法采用有条件的负采样策略来优化互信息估计，与传统的噪声对比估计相比，该方法在多个标准数据集上都获得了 2-5% 的准确度提升，并且在物体检测、实例分割、关键点检测等下游任务中也获得了更好的性能表现。

    Oct, 2020

  • 通过组合优化学习非标准化统计模型

    本文探讨了一种直接优化非规范化模型负对数似然的方法，通过引入噪声分布，实现了将对数分区函数写为组合函数的形式，进而通过随机组合优化算法进行优化，较噪声对比估计方法具有更快的收敛速度和更好的性能。

    Jun, 2023

  • 噪声对比估计与负采样注释

    该研究探讨语言概率模型参数估计中遇到的计算问题及其解决方案，针对噪声对比估计与负采样方法的异同进行分析，发现 NCE 是一种渐近无偏的通用参数估计技术，而负采样则适用于学习词表示，但不适用于通用估计器。

    Oct, 2014