Mar, 2023

曲率敏感的预测编码及其近似拉普拉斯蒙特卡洛实现

PDF
TL;DR通过将预测编码视为拉普拉斯近似下的变分贝叶斯算法，我们发现其目标函数中排除与之关联的 Hessian 项是其性能不佳的根源。借此，我们提出了三个主要贡献：提出了一个简单的蒙特卡罗估计证据下界，该证据下界依赖于从 Hessian 参数化的变分后验中进行采样；推导出了全 Hessian 矩阵的新型块对角线逼近；介绍了一种将我们的方法与标准预测编码相结合以进一步降低内存复杂度的算法。我们在图像基准数据集上评估了我们的方法训练的模型，并将其与标准预测编码框架进行了对比。我们的方法产生了更高的对数似然值和更好的样本，更好地捕获了数据生成分布的多样性。
predictive codinghierarchical latent probabilistic modelsvariational bayes algorithmmonte carlo estimated evidence lower boundhessian matrix
发现论文，激发创造
  • 用朗之万动力学进行预测编码采样

    我们提出了一种新颖的算法，用于在通用深度生成模型中学习参数，该算法基于计算神经科学的预测编码 (PC) 框架。通过将高斯噪声注入 PC 推理过程，我们重新构想它作为过阻尼 Langevin 采样，从而实现对紧密证据下界 (ELBO) 的优化。我们通过将编码器网络纳入到我们的 Langevin 采样中，提供一个得到温和起步的改进的编码器自由训练方法，并测试了三种不同的目标。最后，为了增加对采样步长的鲁棒性，并减少对曲率的敏感性，我们验证了一种轻量级且易于计算的预条件形式，受到 Riemann 流形 Langevin 和 SGD 文献中的自适应优化器的启发。我们通过使用我们的技术和使用标准重参数化技巧的 ELBO 训练的模型进行训练，在许多指标上观察到我们的方法优于或与其性能相匹配，并且收敛迭代次数仅为其一部分。

    Nov, 2023

  • 理解预测编码作为自适应信任域方法

    本文提出了一种关于预测编码的深度学习算法，将其解释为一种与误差反向传播不同的自适应信任域算法，并在浅层线性模型和深度网络实验中验证了该算法可以更快地逃离鞍点。

    May, 2023

  • 预测编码网络中的推理和学习的理论框架

    本文主要针对预测编码理论进行理论分析，展示了其与目标传播算法的紧密联系以及在一定情况下可以取得与反向传播算法相同的泛化性能，同时保持其独特的优点。

    Jul, 2022

  • 预测编码作为神经形态学替代反向传播的关键评估

    探讨预测编码 (PC) 算法是否能替代误差反向传播算法 (backpropagation)，研究发现当前 PC 算法的潜在能力受限于时间复杂度较大等问题。

    Apr, 2023

  • 噪声对比变分自编码器

    本文理论上探索了几种流行的变分自编码模型，在启发于噪声对比评估算法的基础上，提出了一种新的算法 NC-VAE，在数据重构能力上不会出现后验崩溃问题，提供了新的下界，并在图像和文本数据集上进行了实证展示。

    Jul, 2019

  • 当 Langevin 遇上 Moreau：通过近端马尔可夫链蒙特卡罗方法实现高效贝叶斯计算

    本文介绍了一种新的高效的马尔可夫链蒙特卡洛方法，以执行贝叶斯计算。该方法基于正则化的未调整 Langevin 算法，利用凸分析工具构建具有良好收敛性质的马尔可夫链，扩展了当前采用 Proximal 优化算法解决的模型，并在图像去卷积和断层重建等四个实验中进行了演示和验证。

    Dec, 2016

  • 贝叶斯深度学习中的无 Hessian Laplace

    在该研究中，我们提出了一种利用拉普拉斯近似的替代框架，通过使用后验的曲率和网络预测来估计方差，既避免了计算和翻转黑塞矩阵的步骤，又能够在预训练网络中高效地进行。实验证明，相比于精确和近似黑塞矩阵，该方法表现相当，并具有良好的不确定性覆盖范围。

    Mar, 2024

  • 利用敏感度引导的多项式混沌展开和深度生成网络的有效贝叶斯旅行时间层析成像

    本研究提出了一种策略，将 VAE 的卓越重建性能与 PCA-PCE 代理模型的准确性相结合，用于贝叶斯地下探地雷达（GPR）走时层析成像，从而解决了 MCMC 方法中先验探索和样本建议的问题。

    Jul, 2023

  • 揭示拉普拉斯近似用于不确定性估计的经验病理

    本研究评估了贝叶斯方法在深度学习中用于不确定性估计的方法，重点关注广泛应用的 Laplace 近似及其变体。我们的研究发现，传统的拟合 Hessian 矩阵的方法对于处理超出分布的检测效率产生了负面影响。我们提出了一种不同的观点，认为仅关注优化先验精度可以在超出分布检测中产生更准确的不确定性估计，并保持适度的校准度。此外，我们证明了这种特性与模型的训练阶段无关，而是与其内在性质相关。通过广泛的实验评估，我们证实了我们简化方法在超出分布领域中优于传统方法的优越性。

    Dec, 2023

  • 广义拉普拉斯近似

    Bayesian 深度学习的不一致性引起了越来越多的关注，温度调节或广义后验分布通常提供了解决这个问题的直接有效方法。本研究引入了一个统一的理论框架，将 Bayesian 不一致性归因于模型规范不当和先验不足，提出了广义 Laplace 近似方法来获得高质量的后验分布。

    May, 2024