基于熵的 ELBO 方法学习稀疏编码

Nov, 2023

Learning Sparse Codes with Entropy-Based ELBOs

Dmytro Velychko, Simon Damm, Asja Fischer, Jörg Lücke

TL;DR基于熵的学习目标可用于标准概率稀疏编码，我们推导出此类目标，并通过数值实验证明了其可行性。我们研究了包括关联潜变量的高斯后验近似和深度自编码近似在内的不同后验近似方法，并通过熵退火技术实现了改进的学习效果。这是我们对标准概率稀疏编码的两个理论贡献之一，我们首次提供了此类非平凡后验近似的解析 ELBO 目标函数，并展示了如何利用 ELBO 收敛到熵和的最新研究成果进行学习。

Abstract

Standard probabilistic sparse coding assumes a Laplace prior, a linear mapping from latents to observables, and Gaussian observable distributions. We here derive a solely entropy-based learning objective for the

probabilistic sparse coding entropy-based learning objective posterior approximations analytical objective entropy-based annealing

发现论文，激发创造

修复破损的 ELBO

本文讨论了深度非监督学习中最大化证据下限（ELBO）的训练方法，并推导了输入与潜变量之间互信息的下限和上限，进而通过率失真曲线描述了压缩和重构准确性之间的平衡，并提出了一个新的方法来避免强大的随机解码器忽略它们的潜变量。

Nov, 2017

大规模变分高斯状态空间模型

引入一种基于分级变分推断和结构化变分逼近的摊还推断算法，应用于受高斯噪声驱动的非线性动力学状态空间模型。通过利用蒙特卡洛逼近方法中的低秩结构来辅助隐变量的边际化计算、基于低秩精度矩阵更新的推断网络来近似更新步骤、并将当前和未来的观测数据转化为伪观测数据，从而将近似平滑问题转化为（更易解决的）近似过滤问题。整个计算过程的时间复杂度为 $O (TL (Sr + S^2 + r^2))$，其中 $T$ 为时间序列长度，$L$ 为状态空间维度，$S$ 为用于近似预测步骤的样本数，$r$ 为近似精度矩阵更新的秩（远远小于 $L$ 维）。

Mar, 2024

非对称变分自编码器

提出一种利用辅助变量来拓展变分分布家族的框架，通过神经网络来构建复杂的概率混合分布模型，以增强变分推断模型的灵活性和效果，并在密度估计任务上进行了实证评估。

Nov, 2017

关于文本深度潜变量建模的令人惊讶的有效修复方法

研究发现将先前仅仅被孤立考虑的两个经验法则相结合可以避免后验坍塌，提高了模型的性能表现。虽然该方法的 ELBO（证据下界）较差，但在保留隐变量的能力及对训练数据分布的建模方面表现更好，说明传统的 VAE 目标函数可能无法同时平衡表示学习和数据分布建模。

Sep, 2019

广义多模态 ELBO

本论文提出了一种新的广义 ELBO（证据下界）公式，用于多模态数据的无监督生成模型，解决了现有方法中语义连贯性和能力之间的平衡问题，并在实验中展示了方法相对于现有技术的优势。

May, 2021

VAE 近似误差: ELBO 与指数族

本研究分析了 Variational Autoencoders 的近似误差，探讨了该误差的多种可能性并找到了其一致子集。重要的是，此子集无法通过考虑更深的编码器 / 解码器网络进行扩大，也无法降低相应误差。

Feb, 2021

稀疏贝叶斯优化

介绍了一种适用于解释性要求高场景下的基于正则化的 BO 方法（SEBO），以发现稀疏且解释性更高的配置。该方法使用一种基于连续同伦的可微松弛技巧，使其能够在直接处理 L0 正则化的同时实现目标优化和稀疏化探索，经过合成和真实世界问题的评估，证明这种方法能够有效优化稀疏化问题。

Mar, 2022

通过学习相关潜空间推进贝叶斯优化

通过引入 Lipschitz 正则化和损失加权等方法，我们提出了一种相关的潜空间贝叶斯优化（CoBO）方法，用于优化黑盒函数中的离散数据。在分子设计和算术表达式拟合等离散数据的多个优化任务中，我们的方法在较小的资源预算下取得了高性能。

Oct, 2023

用朗之万动力学进行预测编码采样

我们提出了一种新颖的算法，用于在通用深度生成模型中学习参数，该算法基于计算神经科学的预测编码 (PC) 框架。通过将高斯噪声注入 PC 推理过程，我们重新构想它作为过阻尼 Langevin 采样，从而实现对紧密证据下界 (ELBO) 的优化。我们通过将编码器网络纳入到我们的 Langevin 采样中，提供一个得到温和起步的改进的编码器自由训练方法，并测试了三种不同的目标。最后，为了增加对采样步长的鲁棒性，并减少对曲率的敏感性，我们验证了一种轻量级且易于计算的预条件形式，受到 Riemann 流形 Langevin 和 SGD 文献中的自适应优化器的启发。我们通过使用我们的技术和使用标准重参数化技巧的 ELBO 训练的模型进行训练，在许多指标上观察到我们的方法优于或与其性能相匹配，并且收敛迭代次数仅为其一部分。

Nov, 2023

在混乱问题的背景下，ELBO 梯度的解析逼近

本文提出一种用于逼近变分推断问题中 Evidence Lower Bound（ELBO）梯度的解析解，其中统计模型是由从一个高斯分布嵌入在无关干扰中得到的观测值构成的贝叶斯网络，该方法采用重新参数化技巧将梯度操作符移至期望内部，并依赖于似然函数在观测数据上分解的假设，从而导致变分分布通常比似然函数中的高斯分布更紧支撑，这使得对各个似然因子的高效局部近似成为可能，从而得到定义梯度期望的积分的解析解，我们将所提出的梯度近似集成为 EM（期望最大化）算法中的期望步骤，并在贝叶斯推断中与经典的确定性方法，如拉普拉斯逼近、期望传播和均场变分推断进行了测试，所提出的方法表现出良好的准确性和收敛速度，并具有线性计算复杂度。

Apr, 2024