Oct, 2023

生成式边缘化模型

PDF
TL;DR介绍了一种名为边缘化模型（MaMs）的新的高维离散数据生成模型，通过明确建模所有诱导边际分布，提供可扩展和灵活的生成建模方法，具有可计算的似然度，并以单次神经网络正向传递的方式快速评估任意边际概率。该模型适用于特定概率（由未归一化（对数）概率函数，如能量函数或奖励函数指定）与学习分布匹配的能量训练任务，并在多个离散数据分布上展示出了显著的性能优势。
发现论文，激发创造
  • 张量混合模型

    使用张量分析概念衍生出可追踪边缘的张量混合模型，其简单的卷积神经网络结构有助于设计和实现到央视并能有效地表现丰富的分布，以达到在缺失数据下的分类。

    Oct, 2016

  • 通过蒙特卡洛边缘化学习分布

    提出一种从样本中学习难以处理的分布的新方法，通过最小化 KL 散度使用参数分布模型（如高斯混合模型）来近似不可解的分布。通过引入 Monte-Carlo 边缘化和 Kernel 密度估计来解决计算复杂性和非可导优化过程的挑战，该方法能够学习复杂分布并生成更好的图片。

    Aug, 2023

  • 关于概率序列模型的高效边缘化

    使用自回归模型回答超出单步预测的复杂概率查询，包括未来事件的时机和特定事件在另一事件发生之前的可能性。通过开发一类宽泛的、高效的近似技术，对顺序模型中的边缘化进行建模。这些技术仅依赖于对预先训练的自回归模型的下一步条件分布的访问和采样，包括传统参数模型和最近的神经自回归模型。针对离散顺序模型、标记的时间点过程和随机跳跃过程，提出了具体的方法，每个方法都适用于一类明确定义的信息丰富、长程概率查询。

    Mar, 2024

  • 深度学习模型选择的可扩展边缘似然估计

    作为深度学习中模型选择的有前途的边际似然方法由于参数估计上的困难很少被使用。本研究提出了可伸缩的边缘似然估计方法，用于基于训练数据独立地选择超参数和网络结构。该方法建立在拉普拉斯方法和高斯牛顿逼近的黑塞矩阵的基础上，并在标准回归和图像分类数据集上表现优异。此外，该方法还能够在缺少验证数据（例如在非平稳设置中）时提高一般化性能。

    Apr, 2021

  • 生成模型中用于摊销推理的通用边际化器

    本文研究了在因果生成模型中进行推断的问题，通过从图形模型中提取样本，结合适当的屏蔽函数，可以训练单个神经网络来近似所有相应的条件边缘分布，从而摊销推断成本，并通过图的链式分解来从近似联合后验中生成样本。

    Nov, 2017

  • 通过稀疏性高效消除离散和结构化潜变量的影响

    本文介绍了一种利用可微稀疏映射的参数化离散分布的训练策略，可在离散（分类或结构化）潜变量的情况下进行精确的边际化，避免了噪声梯度估计器或连续弛豫的需要，并在三个不同的潜变量建模应用场景取得了成功的结果。

    Jul, 2020

  • 最大间隔深度生成模型

    本论文提出了最大间隔深度生成模型（mmDGMs），它利用最大间隔学习原理来提高深度生成模型的辨别力，同时保留了生成能力。实验结果表明，最大间隔学习可以显著提高深度生成模型的预测性能，同时保留生成能力。同时，通过使用深度卷积神经网络作为识别和生成模型，mmDGM 在 MNIST 和 SVHN 数据集上的表现与最先进的完全辨别网络相当竞争力。

    Apr, 2015

  • 通过 Metropolis-Hastings 揭示掩码语言模型背后的隐式能量网络

    本文提出了一种从 MLMs 中推导出能量参数，并利用 Metropolis-Hastings Monte Carlo 算法开发了可处理的采样方案，用于无限制的生成和有条件的生成任务，证明了所提出参数化的有效性，以及我们的方法生成的样本比其他最近提出的非定向生成方法生成的更高质量。

    Jun, 2021

  • 能量基模型中的隐式生成和泛化

    本文介绍了一些在连续神经网络上训练 MCMC 的能量基础模型的技术，在许多高维度数据域上，如 ImageNet 和 CIFAR-10, 它们的样本表现优于其他可能性模型，并接近当代生成对抗网络 GAN 的表现，同时覆盖所有数据模态。此外，作者还阐述了基于 EBM 的独特能力，如组合性和损坏图像的重建和修复，最后证明 EBMs 模型是跨多种任务有用的模型，进而实现了最先进的超出分布分类、对抗性稳健分类、在线连续类学习和连续长期预测轨迹

    Mar, 2019

  • 具有能量分布概率评估的深度有向生成模型

    本论文提出了一种利用生成对抗网络（GAN）和基于深度神经网络的生成模型来代替 MCMC 模型的方法，通过训练这种模型生成的采样分布近似匹配待训练的能量函数。

    Jun, 2016