Mar, 2018

实践中的自然梯度：高斯过程模型中的非共轭变分推断

PDF
TL;DR本文探讨了利用自然梯度方法在非共轭随机模型环境下的超参数学习，结果显示自然梯度方法可显著提高性能和效率并已被集成于 GPflow 软件包中。
natural gradient methodconjugate/non-conjugate modelsstochastic settingshyperparameter learninggpflow package
发现论文，激发创造
  • 变分预测自然梯度

    本文提出一种新的自然梯度 VPNG，用于解决传统自然梯度在变分参数强烈相关的情况下不能修正相关性的问题，并在分类任务、图像生成模型和概率矩阵分解等方面进行了实证验证。

    Mar, 2019

  • 复杂模型变分推断的快速简单的自然梯度下降

    本文研究使用自然梯度方法解决贝叶斯深度学习中的复杂模型的计算挑战，并表明这种方法在提高收敛性方面有优势。

    Jul, 2018

  • 深度网络的自然梯度再探

    本文研究了使用自然梯度算法在深度学习中的应用以及其与其他三种方法的联系，并提出了使用未标记数据提高自然梯度算法推广误差鲁棒性的新方法，并将自然梯度算法扩展到包括第二阶信息和流形信息。

    Jan, 2013

  • 理解随机自然梯度变分推断

    随机自然梯度变分推断方法（NGVI）在各种概率模型中被广泛应用，本文对其非渐近收敛速度进行研究，证明了对于共轭似然情况下的非渐近收敛率为 1/T，而对于非共轭似然情况下的随机 NGVI，证明了它隐式地优化了一个非凸目标。

    Jun, 2024

  • 优化自然梯度替代品的分布

    通过引入替代分布参数的优化，我们提出了一种用于克服自然梯度计算困难的新技术，该方法适用于多种问题，并且扩展了可以高效利用自然梯度的分布集合，可用于最大似然估计和变分推断任务。

    Oct, 2023

  • 共轭计算变分推断：将非共轭模型中的变分推断转化为共轭模型中的推断

    本文提出 CVI 算法，将共轭计算和随机梯度结合，应用于大量模型并证明其收敛性，与忽略模型共轭结构的方法相比，我们的算法收敛速度更快。

    Mar, 2017

  • 使用带有一般散度函数的近端梯度方法加速随机变分推断

    提出了一种基于随机梯度方法的变分推断新方法，不仅利用变分参数空间的几何性质，而且即使对于非共轭模型也可以产生简单的闭合式更新，该方法也具有收敛速率分析，即使用于非凸目标的随机镜像下降。在多种问题上，实验证明新算法在该框架中导出可以导致最先进的结果。

    Oct, 2015

  • 非共轭模型中的变分推断

    本文提出了两种通用的方法 ——Laplace 变分推断和 delta 算法变分推断 —— 用于解决非共轭模型下的均值场变分方法不能直接应用的问题。这些方法不仅适用于广泛的非共轭模型，并扩展并统一了一些已存在的基于特定模型的变分方法，并且也表现出良好的在实际数据集上的性能。

    Sep, 2012

  • 自然梯度法的新洞见和视角

    探讨了自然梯度下降法作为一种二阶优化方法的性质及其在实际应用中的影响，强调了将技术如信任区域和 Tikhonov 正则化等融入实际优化器设计中的必要性。

    Dec, 2014

  • 超参数神经网络的自然梯度下降快速收敛

    本文首次分析了自然梯度下降在非线性神经网络中的收敛速度，发现若序列导数矩阵显满秩且在初始化附近稳定，则该方法在随机初始化时就能快速收敛。对于深度 ReLU 神经网络，作者在过度参数化及输入非退化的条件下论证了这两个条件在训练期间均得以保持，并将分析拓展到其他损失函数，同时说明使用 K-FAC 近似方法也能在相同条件下达到全局最小值。

    May, 2019