Aug, 2024

信息几何与贝塔链接优化稀疏变分学生-t过程

HTML
PDF
TL;DR本研究针对传统梯度下降方法在稀疏变分学生-t过程中的收敛速度慢与性能欠佳的问题，提出了利用信息几何中的自然梯度方法来优化变分参数的新策略。通过结合Fisher信息矩阵与贝塔函数的相互关系，该方法在数学上为使用学生t分布的自然梯度算法提供了有力支持，并且实验结果表明该方法在四个基准数据集上能显著加快收敛速度。
发现论文，激发创造
  • 实践中的自然梯度：高斯过程模型中的非共轭变分推断

    本文探讨了利用自然梯度方法在非共轭随机模型环境下的超参数学习，结果显示自然梯度方法可显著提高性能和效率并已被集成于GPflow软件包中。

    Mar, 2018

  • 复杂模型变分推断的快速简单的自然梯度下降

    本文研究使用自然梯度方法解决贝叶斯深度学习中的复杂模型的计算挑战，并表明这种方法在提高收敛性方面有优势。

    Jul, 2018

  • 贝叶斯过滤统一自适应和非自适应神经网络优化方法

    通过贝叶斯滤波的方法，我们提出了一种新的神经网络优化器AdaBayes，能够自适应地在SGD和Adam之间切换，并且能够恢复出AdamW的效果，同时具有和SGD相当的泛化性能。

    Jul, 2018

  • 随机深度网络的Fisher信息和自然梯度学习

    本文通过神经动力学方法研究随机连接网络中的 Fisher 信息矩阵，证明了其为逐元素块对角矩阵并附带少量非块对角元素小量项，为 Y. Ollivier 的准对角自然梯度法提供了理论依据，并成功地推导出 Fisher 信息的逆矩阵，从而得到了显式的自然梯度形式，极大地加速了随机梯度学习。

    Aug, 2018

  • 变分预测自然梯度

    本文提出一种新的自然梯度VPNG，用于解决传统自然梯度在变分参数强烈相关的情况下不能修正相关性的问题，并在分类任务、图像生成模型和概率矩阵分解等方面进行了实证验证。

    Mar, 2019

  • 双稀疏变分高斯过程

    本文提出了结合inducing points和state-space formulation的方法, 并给出了相应的varitational parameterisation公式, 该方法在深度高斯过程模型中的应用效果明显。

    Jan, 2020

  • 可行的结构化自然梯度下降使用本地参数化

    本文介绍了使用本地参数坐标的自然梯度下降法及其在协方差参数化中的应用，为深度学习、变分推断和进化策略等问题的可伸缩结构几何方法开辟了新方向。

    Feb, 2021

  • 稀疏变分学生-t过程

    利用稀疏表示和变分推断的学生-t进程来建模含有离群值或具有重尾行为的数据，提供了一种比高斯过程更灵活的选择，减少了计算复杂性，并在多个合成和真实数据集上展示了其有效性。

    Dec, 2023

  • FAdam：Adam 是一种使用对角化经验费舍尔信息的自然梯度优化器

    本文通过黎曼几何和信息几何，为Adam优化器建立了数学基础，阐明了其与自然梯度下降的联系。我们严格分析了Adam中的对角经验Fisher信息矩阵（FIM），明确了所有详细的近似方法，并主张使用基于离散分布的对数概率函数作为损失函数，这是由于经验FIM的局限性。我们的分析揭示了原始Adam算法的缺陷，并提出了修正方法，如增强动量计算、调整偏差校正和梯度修剪。我们根据理论框架改进了权重衰减项。我们修改后的算法Fisher Adam（FAdam）在包括LLM、ASR和VQ-VAE在内的不同领域展示了卓越的性能，并在ASR中取得了最先进的结果。

    May, 2024

  • 分析Adam算法收敛性的综合框架：弥合与SGD的差距

    本研究针对现有Adam算法收敛性理论理解的局限性问题，提出了一个新颖的综合框架以分析其收敛特性。研究表明，在放宽的假设下，Adam在几乎确定的意义和\(L_1\)意义上均可实现渐近收敛，同时在样本复杂度上与SGD相似，具有重要的理论与实践意义。

    Oct, 2024