Nov, 2016

（半监督）最大化边缘深度生成模型用于学习

PDF
TL;DR本文介绍了一种新的深度生成模型 (DGMs) - max-margin deep generative models (mmDGMs) 和 class-conditional variant (mmDCGMs)，它们同时保留了生成性和判别性，通过最大间隔学习来提高模型的预测性能，并且在半监督学习中利用了最大间隔分类器来代替全局后验推断从而提高学习效率。在各种数据集上的实验结果表明，这种方法可以明显地提高模型的预测性能。
deep generative modelsmax-margin learningsupervised learningsemi-supervised learningconvolutional neural networks
发现论文，激发创造
  • 最大间隔深度生成模型

    本论文提出了最大间隔深度生成模型（mmDGMs），它利用最大间隔学习原理来提高深度生成模型的辨别力，同时保留了生成能力。实验结果表明，最大间隔学习可以显著提高深度生成模型的预测性能，同时保留生成能力。同时，通过使用深度卷积神经网络作为识别和生成模型，mmDGM 在 MNIST 和 SVHN 数据集上的表现与最先进的完全辨别网络相当竞争力。

    Apr, 2015

  • 使用双重随机 MCMC 学习深度生成模型

    本文介绍了倍增随机梯度 MCMC 这一简单通用的方法，用于在折叠的连续参数空间中对深度生成模型进行（近似）贝叶斯推理。我们的方法不仅适用于密度估计和数据生成的任务，还可以用于缺失数据的填充，且在性能方面优于许多现有的竞争对手。

    Jun, 2015

  • 深度学习的概率框架

    Developed a probabilistic framework for deep learning based on the Deep Rendering Mixture Model (DRMM), which captures variations in data due to latent task nuisance variables and provides a principled route to the improvement of deep convolutional neural networks (DCNs). The DRMM is a powerful alternative to DCN back-propagation, leading to faster training and achieving superior accuracy in supervised digit classification along with state-of-the-art results on the MNIST benchmark and competitive results on the CIFAR10 benchmark in semi-supervised and unsupervised learning tasks.

    Dec, 2016

  • 深度生成建模简介

    该研究论文介绍了深度生成模型的数学框架及其最流行的三种方法：正态化流、变分自编码器和生成对抗网络。此外，该论文还探讨了这些基本方法的优缺点。

    Mar, 2021

  • 带有深度生成模型的贝叶斯半监督学习

    这篇研究提出了使用带有随机输入的判别组件来增加噪声灵活性，实现模型的半监督贝叶斯主动学习，并且通过全贝叶斯判别组件实现参数值不确定性的估计。

    Jun, 2017

  • 比较型深层生成模型的可识别性研究

    深层生成模型（DGMs）是学习数据表示的多功能工具，可以充分融入条件概率分布等领域知识。本文提出了一种比较 DGMs 的可识别性理论，并通过将非线性独立成分分析领域的最新进展应用于其上进行扩展。我们证明了当混合函数是分段仿射函数（例如，由 ReLU 神经网络参数化）时，这些模型在一个广义的混合函数类中缺乏可识别性，但令人惊讶的是它们在这种情况下变得可识别。我们还探究了模型错误规范化的影响，并通过实验证明，先前提出的拟合比较 DGMs 的规范化技术在不提前知道潜变量数量时有助于可识别性。最后，我们引入了一种通过多目标优化来改进多数据源处理并以可解释方式使用约束优化来调整规范化超参数的方法。我们通过模拟数据以及最近用单细胞 RNA 测序对细胞中的遗传扰动进行描述的数据集对我们的理论和新方法进行了实证验证。

    Jan, 2024

  • 基于深度生成模型的半众包聚类

    本论文考虑基于有噪声的数据子集对聚类问题进行半监督学习，提出一种新的深度生成模型和统计关系模型相结合的方法，并采用贝叶斯推断策略，采用快速（自然梯度）随机变分推断算法进行推断，实验结果显示该方法优于以往的基于众包的聚类方法。

    Oct, 2018

  • 深度生成模型的半监督学习

    利用迭代方法的变分技术，基于生成模型，研发半监督学习的新算法，解决现代数据分析中处理大规模非标记数据集挑战。深度生成模型与贝叶斯推理结合，灵活、高效、可拓展，为半监督学习提供了有力支持。

    Jun, 2014

  • 条件生成的矩匹配网络

    本研究提出了条件生成矩匹配网络 (CGMMN)，基于条件最大均值差距 (CMMD) 标准，学习给定一些输入变量的条件分布，学习采用随机梯度下降，梯度通过反向传播计算。我们在广泛的任务上评估了 CGMMN，包括预测建模、上下文生成和贝叶斯暗知识，这些任务通过学习相对较小的 CGMMN 学生网络从贝叶斯模型中提炼知识。结果表明，在所有任务中都具有竞争性的性能。

    Jun, 2016

  • 具有数据增强的 Gibbs 最大裕度主题模型

    本文提出了 Gibbs max-margin 监督主题模型的新型损失函数，通过引入增广变量和解析地消除 Dirichlet 变量，从而开发了简单的 Gibbs 抽样算法以解决多个潜在 SVM 子问题，且无需限制假设和解决 SVM 子问题，从而在许多分类任务中实现了时间效率和分类性能的显着提高。

    Oct, 2013