分类问题的变分自编码器核解释与选择
本文提出了一种基于多层核机的图像表示方法,并通过监督学习来调整核的形态。该方法构建了一种新的卷积神经网络,在一些深度学习数据集上取得了良好的分类表现,表明了该方法在图像相关任务中的应用价值。
May, 2016
文中提出了一种新的基于变分自编码器的概率生成模型,该模型使用新颖的方法确定潜在变量先验和强制序数单位,并用于有监督、无监督和半监督学习以及标称和序数分类,实验结果表明该模型在这两方面的分类任务中表现较优。
Dec, 2018
本篇论文系统地回顾了过去十年中随机特征方面的研究进展,包括算法特点、理论结果、基准测试数据集上的表现、分类预测性能等,并探讨了随机特征与深度神经网络之间的关系,有望成为感兴趣的从业者应用代表性算法和理解理论结果的用户指南,并为这个领域的未来研究方向提供一些启示。
Apr, 2020
本文介绍了 MetaVRF,在元学习框架中引入随机傅里叶特征内核,利用它们强大的少样本学习能力。通过将随机特征基作为潜变量,我们提出了 MetaVRF 来学习自适应基学习器的内核。我们将 MetaVRF 的优化规定为一种变分推断问题,通过在元学习框架下推导证据下限。通过一个 LSTM 结构建立后验的上下文推断,以整合先前任务的上下文信息和任务特定信息,生成信息丰富且自适应的特征。实验结果表明,MetaVRF 在各种少样本回归和分类任务中的表现要好得多,或者至少与现有的元学习方法相媲美。
Jun, 2020
本研究探讨了一层卷积、汇集和降采样操作组成的核的RKHS,并用它来计算高维函数的一般化误差尖锐的渐近值。结果表明,卷积和池化操作在一层卷积核中如何在逼近和泛化能力之间权衡。
Nov, 2021
本文深入探讨了概率分布和变分自编码器的理论,并总结当前研究现状;适合机器学习初学者了解概率分布学习中的核心思想及其在深度学习领域的应用,并为此子领域的新参与者提供了一个适宜的入门机会。
Jun, 2022
通过引入潜在变量建模和采用基于证据下界(ELBO)的训练目标,我们提出了一种名为变分分类(VC)的传统神经网络方法的新扩展,它通过对抗性方法进行优化。我们的VC模型在设计选择方面具有更大的灵活性,特别是类条件潜在先验的选择。对图像和文本分类数据集的实证评估表明,我们的方法在维持预测精度的同时改善了其他可取的特性,例如校准和对抗性鲁棒性,即使应用于外部域的数据。
May, 2023
本文通过将核密度估计应用于变分自动编码器 (VAEs),近似后验概率分布,推导出极大似然下界 (ELBO) 中 KL 散度的上界,展示了 Epanechnikov 核在最小化 KL 散度上界方面的优势。在MNIST、Fashion-MNIST、CIFAR-10和CelebA等基准数据集上的实验证明了 Epanechnikov 变分自动编码器 (EVAE) 在重建图像质量方面的卓越性能。
May, 2024
本文解决了变分自编码器(VAE)的收敛性问题,这一问题因训练目标的高度非凸性而难以证明。通过神经切线核技术,论文提供了VAE收敛的数学证明,深化了对VAE优化动态的理论理解,并建立了超参数随机神经网络优化与核岭回归问题之间的创新联系,推动了生成模型优化的新研究方向。
Sep, 2024