半梯度 Q-learning 中的隐性偏差探究：通过福克 - 普朗克方程可视化有效的损失景观

Jun, 2024

半梯度 Q-learning 中的隐性偏差探究：通过福克 - 普朗克方程可视化有效的损失景观

Probing Implicit Bias in Semi-gradient Q-learning: Visualizing the Effective Loss Landscapes via the Fokker--Planck Equation

PDF

Shuyu Yin, Fei Wen, Peilin Liu, Tao Luo

TL;DR该论文介绍了在二维参数空间中构建和可视化有效损失景观，揭示了全局最小值如何转化为有效损失景观中的鞍点，以及半梯度方法的隐含偏差。此外，论文还证明了高维参数空间和神经网络设置下，从损失景观中的全局最小值产生的鞍点仍存在于有效损失景观中。该论文开发了一种新的方法来探究半梯度 Q-learning 中的隐含偏差。

Abstract

semi-gradient q-learning is applied in many fields, but due to the absence of an explicit loss function, studying its dynamics and implicit bias in the parameter space is challenging. This paper introduces the Fo

semi-gradient q-learning fokker-planck equation loss landscape implicit bias neural network settings

发现论文，激发创造

关于 Wasserstein 强化学习和 Fokker-Planck 方程

本篇研究提出了一种基于 Wasserstein 距离限制的策略梯度方法，并通过研究发现在 Wasserstein 距离上小步长时，策略的动态特性遵循 Fokker-Planck 方程，能够解释概率匹配设置下的收敛特性。

Dec, 2017

过参数非线性系统和神经网络中的损失景观和优化

本文提出了一种现代观点和一般性的数学框架，用于涵盖超参数机器学习模型和非线性方程组的损失景观和高效优化，其中包括超参数深度神经网络，并说明这些系统的 PL$^*$ 条件密切相关，这解释了（S）GD 对全局最小值的收敛，并提出了一个放松 PL$^*$ 条件的方法可应用于几乎超参数系统。

Feb, 2020

机器学习中的黑洞和损失地貌

本文研究机器学习中的损失函数问题，发现黑洞的熵与网络中的损失函数形成类似的能量景观，提供微观描述黑洞的潜在能量景观，估算随机梯度下降能找到大部分的极小值。

Jun, 2023

损失地形的曲率研究

通过分析嵌入的黎曼流形的微分几何性质，我们研究了损失景观，并展示了与潜在推理相关的几个设置之间的联系。

Jul, 2023

神经损失景观的局部几何的新兴特性

本文通过实验和理论研究了神经网络的波动，发现高维神经网络的损失函数曲面具有多方向高正曲率、梯度下降具有狭窄、随机位于此曲面中不同位置处的超平面理论能够解释背后的机理。

Oct, 2019

深度神经网络损失曲面优化的实证分析

本文探讨了时下最先进神经网络的损失函数，以及常用随机梯度下降变体如何优化这些损失函数，探讨中发现每个优化算法在鞍点处会做出不同的选择，从而得出每个算法在鞍点处的特征选择假设。

Dec, 2016

量子生成模型中的可训练性障碍与机遇

本文研究了量子生成模型中如何解决靠近平原以及指数损失集中的挑战，提出了解决这个问题的新方法 Quantum fidelity-type loss，并且通过对高能物理数据建模表明了本研究理论结果的正确性。

May, 2023

拟势函数作为随机梯度下降中损失函数的隐式正则化器

本研究利用变分推理和大偏差理论对随机梯度下降进行分析，提出了一个新的潜在函数模型，并探讨了噪声协方差结构对 SGD 的影响及其在隐式正则化中的作用。

Jan, 2019

深度神经网络的损失景观的可视化、重新思考和挖掘

对深度神经网络的损失景观进行研究，系统地将 1D 曲线从简单到复杂逐渐分类，并通过挖掘算法获得相应的扰动方向，最终提出基于 Hessian 矩阵的理论洞察来解释观察到的若干有趣现象。

May, 2024

生成对抗网络优化空间的深入探究

本研究通过新的可视化技术研究了 GAN 优化景观，并从理论和实践的角度对 GAN 的训练进行了实证研究，发现 GAN 在训练过程中会显著旋转，并最终收敛于一个稳定的马鞍点而非最小值。

Jun, 2019