使用深度潜变量模型进行小样本非参数学习
使用实值非体积保持变换的无监督学习算法能够解决机器学习中的概率模型，模型具有可解的学习、采样、推理和评估能力，并且拥有一个可解释的潜在空间，我们在四个数据集上通过采样、对数似然度量和潜在变量操作展示了其建模自然图像的能力。
May, 2016
通过引入潜在变量建模和采用基于证据下界（ELBO）的训练目标，我们提出了一种名为变分分类（VC）的传统神经网络方法的新扩展，它通过对抗性方法进行优化。我们的 VC 模型在设计选择方面具有更大的灵活性，特别是类条件潜在先验的选择。对图像和文本分类数据集的实证评估表明，我们的方法在维持预测精度的同时改善了其他可取的特性，例如校准和对抗性鲁棒性，即使应用于外部域的数据。
May, 2023
通过神经网络进行速率失真优化在压缩效率和图像质量方面取得了有竞争力的结果。本文通过设计具有马尔科夫链结构的广义 L 级嵌套生成模型扩展了这一概念。我们的实验评估是在风力涡轮机场景上进行的，以研究其在视觉检查中的应用。
Jun, 2024
本论文介绍了一种能够学习在同一模型的不同层次进行不同抽象级别压缩的语言表示模型，并通过在编码器的堆叠 Transformer 自注意力层中应用非参数变分信息瓶颈 (NVIB) 来促进表示的信息理论压缩。论文发现模型内的不同层次对应于不断增加的抽象级别，并且它们的表示更具有语言学信息。最后，实验证明 NVIB 压缩能够产生更具鲁棒性的模型，面对对抗性扰动更加稳健。
Oct, 2023
本文提出了一种基于自动编码器的新型非局部注意力优化深度图像压缩（NLAIC）框架，该框架将非局部操作嵌入编码器和解码器中，以捕捉局部和全局关联，并应用注意机制生成用于加权图像和超先验特征的掩码，从而根据其重要性隐含地适应不同特征的比特分配。此外，超先验和潜在特征的空间 - 通道邻居被用来改进熵编码。该模型在 Kodak 数据集上的性能优于现有的图像压缩方法，包括基于学习的（例如 Balle2019，Balle2018）和传统的（例如 BPG，JPEG2000，JPEG）图像压缩方法，无论是 PSNR 还是 MS-SSIM 畸变度量。
Apr, 2019
该论文介绍了一种名为最小体积的简单而有效的正则化方法，它可以减少自动编码器所需的潜在维度数量，而无需任何关于数据集固有维度的先验知识。通过证明解码器的 Lipschitz 连续性是其有效性的关键，论文揭示了 PCA 仅是其线性特例的证明，并表明在应用于非线性模型时具有类似于 PCA 的重要性排序效果。作者通过在一些教学玩具问题上演示正则化的直观理解，并在包括 MNIST、CIFAR-10 和 CelebA 在内的几个基准问题上展示了其有效性。
Apr, 2024
本文提出了一种基于变分神经网络的自然语言生成模型，用于解决受限标记数据集的自然语言生成问题，并通过引入变分推理和辅助自编码器与有效的训练程序来提高模型性能。实验表明，该模型不仅在有足够训练数据时优于以前的模型，而且在数据稀缺情况下也表现出良好的能力。
Nov, 2018