深度生成建模简介
本文介绍了深度生成模型的各种技术,并进行了对比、解释和回顾,包括基于能量、变分自编码器、生成对抗网络、自回归模型、归一化流、许多混合方法。
Mar, 2021
本文讨论深度生成模型在无线网络管理中的应用,探讨了传统网络管理方法的问题,提出了一种 DGM 增强的框架,并对网络经济进行了案例研究。
Mar, 2023
本论文提出了最大间隔深度生成模型(mmDGMs),它利用最大间隔学习原理来提高深度生成模型的辨别力,同时保留了生成能力。实验结果表明,最大间隔学习可以显著提高深度生成模型的预测性能,同时保留生成能力。同时,通过使用深度卷积神经网络作为识别和生成模型,mmDGM 在 MNIST 和 SVHN 数据集上的表现与最先进的完全辨别网络相当竞争力。
Apr, 2015
本研究探讨深度生成模型在核工程中扩增科学数据的应用,发现变分自编码器(VAEs)、条件变分自编码器(CVAEs)和生成对抗网络(GANs)具有相当的生成性能,使合成数据集的误差较小,证明深度生成模型在核工程中具有扩增训练数据集并让其他深度学习模型更准确训练的巨大潜力。
Aug, 2023
深度生成模型与流形假设之间的相互作用引起了人们的广泛关注。本文通过流形视角对 DGM 进行了首次调查,并对其进行了两个新的贡献:首先,形式上证明了高维似然函数的数值不稳定性是无法避免的;其次,发现基于自编码器的 DGM 可以被解释为近似最小化 Wasserstein 距离,这一结果有助于解释其出色的实证结果。流形视角提供了理解 DGM 的丰富视角,我们希望能够使之更加易于理解和推广。
Apr, 2024
深层生成模型(DGMs)是学习数据表示的多功能工具,可以充分融入条件概率分布等领域知识。本文提出了一种比较 DGMs 的可识别性理论,并通过将非线性独立成分分析领域的最新进展应用于其上进行扩展。我们证明了当混合函数是分段仿射函数(例如,由 ReLU 神经网络参数化)时,这些模型在一个广义的混合函数类中缺乏可识别性,但令人惊讶的是它们在这种情况下变得可识别。我们还探究了模型错误规范化的影响,并通过实验证明,先前提出的拟合比较 DGMs 的规范化技术在不提前知道潜变量数量时有助于可识别性。最后,我们引入了一种通过多目标优化来改进多数据源处理并以可解释方式使用约束优化来调整规范化超参数的方法。我们通过模拟数据以及最近用单细胞 RNA 测序对细胞中的遗传扰动进行描述的数据集对我们的理论和新方法进行了实证验证。
Jan, 2024
深度生成模型在离线策略学习中的应用的系统综述,涵盖了变分自编码器、生成对抗网络、Transformer 等主要深度生成模型以及它们在离线强化学习和模仿学习中的应用,提供了对相关研究领域进展的实用参考,并致力于启发改进基于深度生成模型的离线强化学习和模仿学习算法。
Feb, 2024
该研究提出一种深度生成模型,在表示学习中采用了注意机制和大型外部记忆来捕捉局部详细信息,具有变分自编码贝叶斯方法的数据似然度上限,以及学习高级不变表示的非对称识别网络。实验结果表明,记忆单元可显着提高 DGMs 的性能,并在各种任务中达到最先进的结果。
Feb, 2016