ICMLJul, 2023

具有均值 - KL 参数化的最小随机码学习

PDF
TL;DR研究了 MIRACLE 用于压缩变分贝叶斯神经网络的两个变体的定性行为和稳健性。使用均值 - KL 参数化，可以实现精准地控制压缩成本，并且训练更快、预测性能更好、具有更重的尾部和更稳健的压缩权重样本的含义更明确的变分分布，并进一步证明了这种方式具有更好的稳健性。
minimal random code learningvariational bayesian neural networkscompressionparameterizationrobustness
发现论文，激发创造
  • 最小化随机代码学习：从压缩模型参数中获取二进制位

    本文提出了一种通过使用全变分权重分布进行深度神经网络压缩的方法，能够实现更高的压缩率和更高的测试性能，并在 LeNet-5/MNIST 和 VGG-16/CIFAR-10 基准测试中创造出新的最优结果。

    Sep, 2018

  • k-tied 正态分布：贝叶斯神经网络中高斯均值场后验的紧凑参数化

    通过对高斯均值场变分推理方法训练的深层贝叶斯神经网络的后验标准差进行矩阵低秩分解，我们可以将变分推理方法更紧凑地参数化，并提高其信噪比，从而加速其收敛速度。

    Feb, 2020

  • 最小通信成本的统计学习

    本文提出了一种联合训练和源编码方案，具有可验证的期望保证，通过在条件分布和先验之间施加适当的 Kullback-Leibler 散度约束，同时保证了小的平均经验风险（即训练损失），小的平均泛化误差和小的平均通信成本。

    Jun, 2024

  • 通过蒙特卡洛比特回传编码提高无损压缩速率

    本文介绍了利用更紧密的变分上限构建的 bits-back 编码算法来消除 KL 散度对速率效率的影响，并提出了利用延伸空间表示来优化 MC 估计的关键思想，并通过在潜在空间中耦合来大大减少额外成本，最终实现了较 bits-back 更好的无损压缩速率。

    Feb, 2021

  • 基于贝叶斯隐式神经表达的压缩

    本文提出了一种基于变分贝叶斯神经网络的数据压缩方法，并使用相对熵编码代替量化和熵编码以优化 $eta$-ELBO 的速率失真性能，同时通过迭代算法学习先验权重分布并采用渐进式细化过程来有效提高压缩性能。实验证明，该方法在图像和音频压缩方面具有强大的性能，同时仍保持简洁。

    May, 2023

  • 具有生成模型的 KL 熵正则化强化学习是极小极大值最优的

    本文研究了使用生成模型的无模型强化学习的样本复杂性，重点分析了使用 Kullback-Leibler 散度和熵正则化在值和策略更新中的 Geist 等人（2019）和 Vieillard 等人的 Mirror descent value iteration（MDVI），并证明了在 ε 足够小的情况下，该算法几乎是极小值 - 最优的，这是第一个证明了在所考虑的条件下，一个简单的无模型算法（不执行方差缩减）几乎是极小值 - 最优的理论结果。

    May, 2022

  • 变分推理，高斯混合模型，贝叶斯机器学习

    通过优化固定协方差和常值权重的高斯混合模型，将变分推断（Variational Inference）视为最小化平滑相对熵，研究其在非高斯情况下的理论性质，包括梯度下降和粒子系统优化。

    Jun, 2024

  • 马尔可夫分数攀登：KL (p||q) 变分推理

    本文介绍了一种可靠的使用随机梯度下降最小化包含 KL 散度的简单算法 Markovian score climbing (MSC)，它以不偏的方式收敛于包含 KL。对贝叶斯 probit 回归进行分类以及针对金融数据的随机波动率模型演示了 MSC 的效用。

    Mar, 2020

  • 基于变分贝叶斯和压缩自编码器的图像恢复

    使用压缩自编码器进行潜在变量估计，在变分推断框架内实现此估计，并能快速、简便（近似地）进行后验采样，证明该方法能够与最先进的即插即用方法达到类似的性能，并且能够比其他现有的后验采样技术更快地量化不确定性。

    Nov, 2023

  • 变分贝叶斯量化

    我们提出了一种新颖的算法来量化训练模型中的连续潜在表达式，该算法适用于深度概率模型，可以实现数据和模型压缩，并且可以基于后验不确定性使用自适应量化精度来实现可变的码率失真折衷，实验证明了所提出的算法的有效性。

    Feb, 2020