深度判别到核生成建模

Jan, 2022

Deep discriminative to kernel generative modeling

Jayanta Dey, Will LeVine, Ashwin De Silva, Ali Geisa, Jong M. Shin...

TL;DR该论文提出了一种 kernel generative networks 方法，将深度鉴别网络转换为核生成网络，实现了鉴别模型和生成模型的协同配合，探讨了在低维环境下两种模型的应用时的理论和经验表现，证明了它比对应的鉴别学习方法更有效，并可以在样本量较少时实现更优的表现，不仅可以获得更平滑的后验概率，而且可以超出训练数据的凸包范围，更好地处理 OOD 输入。

Abstract

The fight between discriminative versus generative goes deep, in both the study of artificial and natural intelligence. In our view, both camps have complementary value, so, we sought to synergistic combine them. Here, we propose a methodology to convert deep discriminative networks to kernel generative networks. We leveraged the fact that deep models, inclu

deep learning generative models discriminative models kernel density estimators synergistic approach

发现论文，激发创造

深度聚类：判别模型与 K-means 之间的联系

本研究表明，最近的一些判别模型等价于 K-means，并且证明对于常用的逻辑回归后验概率，通过交替方向方法最大化 L2 正则化的互信息等价于软化和正则化的 K-means 损失。这一理论分析不仅将最近的一些判别模型直接联系到了 K-means，并且提出了一种新的软化和正则化的深度 K-means 算法，在几个图像聚类基准测试中表现出色。

Oct, 2018

基于高斯耦合 Softmax 层的生成模型和判别模型的混合

本论文提出了一种用于训练神经网络的生成模型和判别模型的混合方法，其中关键的想法在于高斯耦合 softmax 层，该层可以嵌入神经网络分类器中，允许分类器估计类的后验分布和类条件数据分布，而且该混合模型适用于半监督学习和置信度校准。

May, 2023

基于不确定性量化的生成模型与判别模型对比

通过对生成法和判别法进行比较分析，研究聚焦于从各种来源获取信息的不确定性感知推断，以及对半监督学习的兼容性，推导出一般的采样方案，从后验预测分布中获得监督学习和半监督学习。

Jun, 2024

生成分类器的有趣性质

当前主要的建模人类物体识别的范式是辨别性推理，但零样本生成模型出奇地接近人类物体识别数据。

Sep, 2023

深度神经网络的生成学习

本文的研究旨在深度神经网络的生成式学习问题上提出一种中间方法，通过前向计算得出一个简化版的贝叶斯概率多层模型，并且运用转置的方法使得识别和生成网络更加符合数据的联合概率模型。通过实验发现，这种联合对组的生成对模型足够强大，可以很好地进行识别和生成任务。

Sep, 2017

差分私有的生成神经网络混合模型

本文提出了一种隐私保护的生成模型发布技术，使用差分隐私的 $k$-means 算法将数据划分为 $k$ 个簇类，再由 $k$ 个基于神经网络的生成模型分别学习各自簇类的生成分布，从而合成具有隐私保护的合成数据集。实验结果证明该方法能够生成具有较高逼真度的合成样本，并且支持对生成数据的任意数量计数查询。

Sep, 2017

结合生成和判别模型的混合推理

提出一个新的混合模型，该模型将图推断与学习逆模型相结合，用于 Kalman 滤波器并通过交叉验证来平衡图推断和学习推断的工作量，实验表明，该模型可以比独立运行的学习或图推断更准确地估计失真的 Lorenz 吸引子的轨迹。

Jun, 2019

生成模型的判别性正则化

本文探讨了分类器是否可以用于提高生成模型的质量，并提出了一种使用判别分类器的表示来增强生成模型的目标函数的方法。研究表明，用这种方法增强目标函数可以产生比标准变分自编码器更清晰、视觉质量更高的样本。

Feb, 2016

带有深度生成模型的贝叶斯半监督学习

这篇研究提出了使用带有随机输入的判别组件来增加噪声灵活性，实现模型的半监督贝叶斯主动学习，并且通过全贝叶斯判别组件实现参数值不确定性的估计。

Jun, 2017

GAN 的判别器可近似性意味着多样性

本文研究发现，通过针对特定生成器选择具有强鉴别能力的鉴别器以学习 Wasserstein 距离下（或者在很多情况下是 KL 散度下）的分布，一定能以多项式复杂度学习，从而解决了 GANs 过于简单导致模式严重缺失的问题。

Jun, 2018