潜在卷积模型
本研究通过使用干预机制,利用离散变分自编码器来转移预测类别,进而可视化任何隐藏层的编码信息和对应的被干预表示来揭示深度神经网络的隐含概念,并通过评估原始表示与被干预表示之间的差异来确定可改变类别的概念,从而提高模型的可解释性。我们在 CelebA 数据集上展示了我们方法的有效性,并展示了有偏差数据的各种可视化并提供不同的干预方法来揭示和更正偏见。
Dec, 2021
使用 LMConv 实现了生成模型的任意序列生成,可以用于图像完成等任务,在整体图像密度估计(2.89 bdp 无条件 CIFAR10)方面取得了改进的性能,同时实现了全局连贯图像完成。
Jun, 2020
本文探讨了如何在 Denoising Diffusion Models 的 latent space 中嵌入图像,实现对噪声图像的去噪,并发现了该类生成模型中 latent representation 独立于反扩散过程网络实现的网络结构。
Dec, 2022
本文探究了图像流形的曲率,发现卷积神经网络在分类任务中的整体曲率表现具有特殊的特点,即初始速度的加速,接着进入了一个较长的平稳期和之后的再加速。此外,我们发现最后两层图层的曲率缺口与网络的泛化能力有很强的相关性,并观察到常见的正则化方法,如 mixup,在相比其他方法时,呈现出更平的表示特征。
May, 2023
本文基于自动编码器训练了一个伯努利编码分布的二元潜空间模型,用于图像压缩和高分辨率图像生成。结果表明该方法无需使用多级层次结构即可大幅提高采样效率,生成的图像质量好且效果与现有先进方法相当。
Apr, 2023
这篇论文提出了 PixelVAE,这是一种基于 PixelCNN 的 VAE 模型,可以高效地捕获大型结构和保留压缩的潜在表示,适用于无监督学习的挑战。
Nov, 2016
本文介绍了一种基于深度生成模型的架构,该架构在训练过程中使用多层的潜在变量,并且在所有潜在变量和输出之间包括确定性路径,以及提供了一组更丰富的连接,这些连接在推理和生成计算之间实现了更有效的信息通信。我们在重构分布中引入了轻量级自回归模型以提高自然图像的性能。实验表明,我们的方法在标准图像建模基准测试中达到了最先进的性能,并且在没有标签信息的情况下可以暴露潜在的类结构,同时可以提供自然图像中被遮挡区域的令人信服的估计。
Dec, 2016
本研究旨在提高扩散模型在逼真图像修复中的适用性,特别是在网络架构、噪声水平、降噪步骤、训练图像大小和优化器 / 调度器等多个方面进行改进。我们展示了调节这些超参数可以在失真和感知得分上实现更好的性能,并提出了基于 U-Net 的潜在扩散模型。与以前的潜在扩散模型相比,我们提出的 U-Net 压缩策略更稳定,而且不依赖敌对性优化就能恢复高度准确的图像。我们的模型 Refusion 能够处理大尺寸图像,包括真实世界的阴影去除、HR 不均匀去雾、立体超分辨率和景深效果转换,并在 NTIRE 2023 图像阴影去除挑战赛中获得最佳感知性能和第二名。
Apr, 2023
本文提出了一种新的方法,通过找到生成模型中有意义的方向来提高生成模型潜在空间的可解释性,从而精确地控制生成图像的特定属性,如位置或比例。该方法对于搜索编码生成图像的简单变换方向(如平移,缩放或颜色变化)特别适用,并在 GAN 和变分自动编码器模型的质量和量化方面得到了证明。
Jan, 2020
通过引入一种简单的循环变分自编码器结构,我们在图像建模方面取得了显著进展,实现了割裂了关于全局概念信息和底层细节的分离,达到了无监督学习的基石之一。同时,我们通过仅存储关于图像的全局信息,实现了高质量的 ' 概念压缩 '。
Apr, 2016