May, 2023

基于高斯耦合 Softmax 层的生成模型和判别模型的混合

PDF
TL;DR本论文提出了一种用于训练神经网络的生成模型和判别模型的混合方法，其中关键的想法在于高斯耦合 softmax 层，该层可以嵌入神经网络分类器中，允许分类器估计类的后验分布和类条件数据分布，而且该混合模型适用于半监督学习和置信度校准。
generative modelsdiscriminative modelsneural networksemi-supervised learningconfidence calibration
发现论文，激发创造
  • 通过对比学习的混合判别生成训练

    该论文通过能量基模型的混合判别 - 生成式训练，展现出对比学习和监督学习之间的直接联系，并且提出的能量基损失函数的逼近方法有着比现有方法更好的分类准确性、鲁棒性、分布检测和校准性能。

    Jul, 2020

  • 具有稀疏性的判别高斯混合模型

    通过稀疏贝叶斯学习，提出了一种基于判别高斯混合模型（Sparse Discriminative Gaussian Mixture, SDGM）的分类器。实验结果表明，该方法优于现有的基于 softmax 的判别模型。

    Nov, 2019

  • 深度判别到核生成建模

    该论文提出了一种 kernel generative networks 方法，将深度鉴别网络转换为核生成网络，实现了鉴别模型和生成模型的协同配合，探讨了在低维环境下两种模型的应用时的理论和经验表现，证明了它比对应的鉴别学习方法更有效，并可以在样本量较少时实现更优的表现，不仅可以获得更平滑的后验概率，而且可以超出训练数据的凸包范围，更好地处理 OOD 输入。

    Jan, 2022

  • 带有深度生成模型的贝叶斯半监督学习

    这篇研究提出了使用带有随机输入的判别组件来增加噪声灵活性，实现模型的半监督贝叶斯主动学习，并且通过全贝叶斯判别组件实现参数值不确定性的估计。

    Jun, 2017

  • 深度神经网络的生成学习

    本文的研究旨在深度神经网络的生成式学习问题上提出一种中间方法，通过前向计算得出一个简化版的贝叶斯概率多层模型，并且运用转置的方法使得识别和生成网络更加符合数据的联合概率模型。通过实验发现，这种联合对组的生成对模型足够强大，可以很好地进行识别和生成任务。

    Sep, 2017

  • 自协同学习：生成器与鉴别器之间的协作

    本文提出了一种自洽学习的框架，利用生成对抗网络的生成模型和判别模型的博弈优化，使两者协同训练，避免了 GAN 训练不稳定的问题，并在句子语义匹配问题上实现了较好的性能。

    Mar, 2023

  • 深度神经网络中的协作逐层判别学习

    本文提出了一种基于层的鉴别性学习方法来增强深度神经网络的鉴别能力，在多个层上引入多个分类器，使它们协同工作进行分类，通过对多个深度网络和基准数据集的实验，证明了该方法的有效性，并分析了该方法和经典条件随机场模型之间的关系。

    Jul, 2016

  • 结合生成和判别模型的混合推理

    提出一个新的混合模型，该模型将图推断与学习逆模型相结合，用于 Kalman 滤波器并通过交叉验证来平衡图推断和学习推断的工作量，实验表明，该模型可以比独立运行的学习或图推断更准确地估计失真的 Lorenz 吸引子的轨迹。

    Jun, 2019

  • 基于不确定性量化的生成模型与判别模型对比

    通过对生成法和判别法进行比较分析，研究聚焦于从各种来源获取信息的不确定性感知推断，以及对半监督学习的兼容性，推导出一般的采样方案，从后验预测分布中获得监督学习和半监督学习。

    Jun, 2024

  • 深入了解有条件生成模型的限制

    本文研究基于条件概率生成模型的鲁棒分类，分析探究了在检测异常输入和标签错误等方面的鲁棒性，结果显示，生成分类器很难保证对抗性扰动的检测能力，并指出基于最大似然训练目标的生成模型在构建具有鲁棒性模型时存在缺陷，致使其在 CIFAR10 数据集上的表现不佳。

    Jun, 2019