深度生成模型是否知道它们所不知道的?
本篇研究提出了一种神经网络模型,该模型能够同时表达 aleatoric 和 epistemic 不确定性,区分特征空间的决策边界和 “out-of-distribution” 区域。在训练过程中,通过集成变分自编码器和生成对抗网络的方法生成了 “out-of-distribution” 样本。通过在多个数据集上进行实验,表明该方法提供了更好的不确定性估计,并且在识别对抗样本时表现出优异的表现。
Jun, 2020
本篇研究提出一种基于离群值检测的方法,使用一起被训练出的合成离群值。该方法可以同时用于语义分割和密度离群值检测,取得了与现有最先进模型相竞争的表现。
Nov, 2020
该论文研究了无监督学习中生成模型的训练方法,提出了一种在对抗网络与似然训练之间进行混合训练的方法,其中使用深度可逆变换来解决概率和逆变换之间的冲突,实现了更好的生成样本和更高的似然性评估。
Jan, 2019
该论文研究了生成模型的视觉泛移能力,发现虽然目前的生成对抗网络(GAN)可以很好地拟合标准数据集,但它们仍然没有成为视觉流形的全面模型。同时,研究者还发现这些模型反映了训练数据集的偏差,并提出了一些缓解问题的技术。
Jul, 2019
深度生成模型的密度估计已被证明是最先进的,但最近的研究发现,它们通常会分配更高的似然性给训练分布之外的数据,此行为是由于偏差所致,本文通过分层变分自编码器提供了证据来解释这种行为,我们认为这是预期和期望的行为,掌握这一洞见后,我们设计了一种快速、可扩展且完全无监督的似然比分数用于 ODD 检测,并在大量数据和模型组合上进行了基准测试,获得了最佳实验结果。
Feb, 2021
通过深度生成建模,我们将图像生成过程分解成独立的因果机制,从而产生反事实图像,提高了模型的新颖性和可解释性。在 MNIST 和 ImageNet 上的实验表明,这些反事实图像能够提高模型的抗干扰性,而且这个模型能在单 GPU 上高效训练。
Jan, 2021
本文提出了一种新的评估单次生成模型的框架,用于比较其与人类生成的差异,确定其代表人体模型的模型以及模型参数。该框架通过对样本可识别性和样本多样性(即类内差异)两个方面进行评估,并对代表性单次生成模型在 Omniglot 手写数据集上进行了详细地分析。研究表明,GAN 型和 VAE 型模型的多样性和可识别性具有互补性,同时,空间注意和上下文整合在多样性和可识别性之间具有线性贡献,而解缠效应则能沿着拱形曲线传递模型,从而最大化可识别性。评估结果可用于推动人工智能技术的发展。
May, 2022
本文介绍了一种名叫 HyperGAN 的生成模型,用于学习神经网络参数的分布,并使用它生成包含有效参数的深度神经网络。HyperGAN 可以用于大规模和多样化的生成,可以用于标记 MNIST 和 CIFAR-10 数据集,能提供比标准集合更好的不确定性评估。
Jan, 2019
对现代生成对抗网络(GANs)的研究表明,其学习到的流形不符合训练分布,而且对超出分布的图片赋予更高密度,学到的潜在编码的先验与训练分布相去甚远,所用于训练 GANs 的图像集合通常不符合 GANs 的分布描述。
Feb, 2024