Jun, 2021

使用变分自编码器和深度度量学习的高维贝叶斯优化

PDF
TL;DR本文提出了一种方法，将变分自编码器和深度度量学习相结合，以在高维和结构化的输入空间上执行贝叶斯优化。通过深度度量学习中的想法，利用黑盒函数的标签指导来构造 VAE 潜在空间，促进高斯过程拟合，从而改善 BO 性能。重要的是，该方法在半监督环境下运行，在只有少量标记数据点可用时表现良好。在三个真实世界任务上进行实验，在罚款 logP 分子生成基准测试中取得了最先进的成果，仅需之前方法所需标记数据的 3％。作为理论贡献，我们提出了 VAE BO 的消失遗憾证明。
bayesian optimizationvariational autoencodersdeep metric learningsemi-supervised learningmolecule generation
发现论文，激发创造
  • PG-LBO：通过伪标签和高斯过程引导增强高维贝叶斯优化

    基于变分自编码器的贝叶斯优化（VAE-BO）在处理高维结构化优化问题方面表现出出色的性能。我们提出了一种新颖的方法，通过利用无标签数据的引导，来有效地利用无标签数据与有标签数据进行训练，从而增强鉴别性潜空间的构建。本文中的方法在各种优化场景中胜过现有的 VAE-BO 算法。

    Dec, 2023

  • TVAE: 利用度量学习的基于三元组的变分自编码器

    本研究提出了一种新的深度度量学习模型 TVAE，基于 VAE 模型和三元组损失函数来学习潜在特征表达，实现了对 MNIST 数据集的高准确性识别（95.6%）。

    Feb, 2018

  • 量子变分自编码器

    使用量子玻尔兹曼机实现的量子变分自编码器（QVAE）比仅涉及生成过程中的离散变量的相似方法在 MNIST 数据集上实现了最先进的性能。将 QBM 放置在 VAE 的潜在空间中将充分发挥当前和下一代量子计算机作为采样设备的潜力。

    Feb, 2018

  • 通过 MCMC 速度测量学习变分自动编码器

    研究纵观了变分自编码器（VAEs）的训练方法，提出了一种基于熵的自适应方法来优化更紧的变分下界，该方法能适应潜在层次变量模型中复杂的后验几何结构，并获得更高的生成度量。

    Aug, 2023

  • 基于变分贝叶斯和压缩自编码器的图像恢复

    使用压缩自编码器进行潜在变量估计，在变分推断框架内实现此估计，并能快速、简便（近似地）进行后验采样，证明该方法能够与最先进的即插即用方法达到类似的性能，并且能够比其他现有的后验采样技术更快地量化不确定性。

    Nov, 2023

  • 哈密顿变分自编码器

    利用 Hamiltonian Jacobian Estimation 实现了一个新的 Hamiltonian Variational Auto-Encoder（HVAE）模型，可以用于高效地进行变分自编码器模型训练，并构建目标受控的归一化流。

    May, 2018

  • 变分自编码器的三种变体

    通过引入第二个参数化的编解码对和一个额外的固定编码器，我们发展了三种 VAE 的变种，并使用神经网络学习编码器 / 解码器的参数来比较这些变种与原始 VAE 的 ELBO 逼近。其中一种变化导致了一个 EUBO，可以与原始 ELBO 一起用于研究 VAE 的收敛性。

    Dec, 2022

  • 非参数变分自编码器用于分层表示学习

    本文提出了一种层次非参数变分自编码器模型，以结合树状结构的贝叶斯非参数先验和变分自编码器来实现无限灵活性的潜在表征空间，进而在视频表征学习上取得更好的效果。

    Mar, 2017

  • 黑盒变分推断中的高效混合学习

    通过引入 Multiple Importance Sampling Variational Autoencoder（MISVAE）和构建两个新的 black box variational inference（BBVI）下的 ELBO 估计器，本文提出了解决了混合变分分布中元素个数扩展问题的两个方法，并在多个实验中验证了其可行性。

    Jun, 2024

  • Poincaré 变分自编码器实现连续的分层表示

    本文利用 Poincaré 球模型的超几何结构作为潜变量空间，研究了 VAE 在这个空间的运用，该方法在嵌套数据结构下表现出色，并展现了超几何结构对于 VAE 的优越性。

    Jan, 2019