深度神经网络的生成学习

AAAISep, 2017

Generative learning for deep networks

Boris Flach, Alexander Shekhovtsov, Ondrej Fikar

TL;DR本文的研究旨在深度神经网络的生成式学习问题上提出一种中间方法，通过前向计算得出一个简化版的贝叶斯概率多层模型，并且运用转置的方法使得识别和生成网络更加符合数据的联合概率模型。通过实验发现，这种联合对组的生成对模型足够强大，可以很好地进行识别和生成任务。

Abstract

Learning, taking into account full distribution of the data, referred to as generative, is not feasible with deep neural networks (DNNs) because they model only the conditional distribution of the outputs given the inputs. Current solutions are either based on joint probability models

deep neural networks generative learning approximate bayesian inference recognition and generation networks multilayer model

发现论文，激发创造

生成对抗网络中的持续学习

通过减少灾难性遗忘，本研究将最新工作应用于在一系列不同分布的序列上训练生成对抗网络并实现连续生成建模。

May, 2017

深度神经网络作为协同分类器的层

本文探讨了全连接前馈神经网络中隐藏节点的激活模式，提出了从两个信息处理系统，即连续性和离散性的角度来看待这种网络分类能力的新方式，并且重点突出了这两者搭配的重要性，为深度学习中神经网络的泛化能力提供了新的思路。

Jan, 2020

基于高斯耦合 Softmax 层的生成模型和判别模型的混合

本论文提出了一种用于训练神经网络的生成模型和判别模型的混合方法，其中关键的想法在于高斯耦合 softmax 层，该层可以嵌入神经网络分类器中，允许分类器估计类的后验分布和类条件数据分布，而且该混合模型适用于半监督学习和置信度校准。

May, 2023

深度神经网络为什么是可逆的：一个简单的理论，以及对训练的影响

本文简单证明根据生成模型产生的反向网络是正确的推理方法。在一个简单的生成模型中，证明前向神经网络是正确的推理方法，它通过实验证明了像 AlexNet 这样的现实的深度神经网络的边缘权重的行为类似于随机数。它利用生成模型来产生带有标签的合成数据，并将其包含在训练集中，为深度学习提供改进和标准训练方法。

Nov, 2015

深度判别到核生成建模

该论文提出了一种 kernel generative networks 方法，将深度鉴别网络转换为核生成网络，实现了鉴别模型和生成模型的协同配合，探讨了在低维环境下两种模型的应用时的理论和经验表现，证明了它比对应的鉴别学习方法更有效，并可以在样本量较少时实现更优的表现，不仅可以获得更平滑的后验概率，而且可以超出训练数据的凸包范围，更好地处理 OOD 输入。

Jan, 2022

离散分布网络

通过使用层次离散分布生成多个离散样本点，逐渐拟合目标分布，这种离散分布的层次输出模式赋予了 DDN 两个有趣的特性：高度压缩表示和更一般的零样本条件生成。我们通过在 CIFAR-10 和 FFHQ 上进行实验验证了 DDN 及其有趣特性的有效性。

Dec, 2023

带有深度生成模型的贝叶斯半监督学习

这篇研究提出了使用带有随机输入的判别组件来增加噪声灵活性，实现模型的半监督贝叶斯主动学习，并且通过全贝叶斯判别组件实现参数值不确定性的估计。

Jun, 2017

利用深度生成网络合成神经网络内部神经元的首选输入

通过激活最大化算法，使用深度生成网络为神经网络内部的感知器学习特征提供先验知识，可以生成高质量的合成图像和可解释的特征，同时作为一种高质量的生成方法。

May, 2016

使用生成式神经网络学习功能因果模型

本研究介绍了一种名为 Causal Generative Neural Networks (CGNN) 的新方法，它利用神经网络学习观测变量联合分布的生成模型，具有线性复杂度且在三个任务中表现良好，包括因果推断、识别 v-structures 和有条件独立性，以及多变量因果建模。

Sep, 2017

因果生成神经网络

本研究提出了一种能够从观测数据中学习功能性因果模型的因果生成神经网络（CGNN），通过利用条件独立性和分布异质性来发现双变量和多变量的因果结构。该模型不假定缺乏混淆因素，并使用反向传播来学习可微分的数据生成模型。通过大量实验，发现在因果推断、v - 结构识别和多元因果发现方面，CGNN 在模拟和实际数据上相对于现有技术具有很好的表现。

Nov, 2017