Softmax 函数的特性及其在博弈论和强化学习中的应用

MMApr, 2017

Softmax 函数的特性及其在博弈论和强化学习中的应用

On the Properties of the Softmax Function with Application in Game Theory and Reinforcement Learning

Bolin Gao, Lacra Pavel

TL;DR本文利用凸分析和单调算子理论来推导 softmax 函数的其他性质，揭示其与对数 - 求和 - 指数函数之间的单调梯度映射关系，同时利用这种联系表明了其反温度参数决定了 softmax 函数的 Lipschitz 和共同强制性质，并通过一个游戏理论强化学习的应用展示了这些性质的有用性。

Abstract

In this paper, we utilize results from convex analysis and monotone operator theory to derive additional properties of the softmax function that have not yet been covered in the existing literature. In particular

softmax function convex analysis monotone operator theory inverse temperature parameter game-theoretic reinforcement learning

发现论文，激发创造

再探 Softmax Bellman Operator: 新的益处与新的视角

本文研究了在强化学习领域中，softmax 对值函数本身的影响，表明其虽然与 Bellman operator 的收敛性质有冲突，但在值函数近似的情况下，结合深度 Q 学习可以产生更出色的 Q-function 性能，并可减少 overestimation error。

Dec, 2018

探索 Softmax 的前沿：可证明的优化、扩散模型应用与更多

通过理论研究两层 softmax 神经网络的优化和泛化性质，揭示了 softmax 函数的归一化效应对所引起的神经核矩阵的扰动性能具有利于构建良好的损失函数曲面凸区域，从而 softmax 神经网络可以在超参数多于样本数量的情况下学习目标函数。

May, 2024

强化学习中的另一种 Softmax 算子

研究发现 Boltzmann softmax 运算符在顺序决策制定中容易出现异常，在此基础上，提出了一种可微分的 softmax 运算符，并引入了一种基于新算子的 SARSA 算法，计算出具有状态相关温度参数的 Boltzmann 策略，该算法具有收敛性和实用性。

Dec, 2016

通过可学习的单调逐点非线性性消除 Softmax 瓶颈

提出一种在 softmax 函数之上学习参数单调函数的方法，理论上和实验上都优于传统的 line-softmax 方法，在自然语言模型的应用方面具有潜在的可拓展性。

Feb, 2019

基于注意力机制的 Softmax 回归

本文探讨了大型语言模型（LLMs）的 softmax 单元，在 LLMs 中的重要性与在具有凸优化问题的中心路径法等其他应用中的使用，同时提出并证明了一种基于贪心算法的 softmax 回归方法，为了在实践中使用此方法提供了理论支持。

Apr, 2023

Soft-Max 函数的最优逼近 -- 平滑度折衷

本文提出了两种新的 soft-max 函数，其分别在近似和平滑度方面优于传统的 exponential mechanism 函数，并进一步探讨了 power mechanism 函数在差分隐私亚模性最优情况下的性能。

Oct, 2020

单隐藏层神经网络在均场极限下 softmax 策略梯度的全局最优性

本文主要研究了在无限折扣马尔可夫决策过程下，采用 softmax 策略和非线性函数逼近结合策略梯度算法的策略优化问题。研究了广泛性的单隐藏层神经网络在探索过程中的行为，证明了其在参数空间中的分布也可以确定一阶 Wasserstein 梯度流，且当参数初始化满足一定条件时，其固定点为全局最优解。

Oct, 2020

Log-Sum-Exp 和 Softmax 函数的准确计算

本文主要研究并比较了计算 log-sum-exp 函数或 softmax 函数时常见的算法，并通过舍入误差分析和函数条件数进行精度评估，得出了使用 shifted formulas 的矩阵运算相对于不使用的方法更加准确的结论。

Sep, 2019

使用 Softmax 策略梯度的冷启动强化学习

本文提出了一种基于 softmax 价值函数的强化学习方法，它不需要 warm-start 和样本方差的降低，结合了 policy-gradient 方法和最大似然方法的优点，用于训练结构化输出预测问题的序列生成模型，经实验证明，在文本自动摘要和图像字幕生成任务上性能良好。

Sep, 2017

Softmax 策略梯度方法的全局收敛速度

研究了采用策略梯度法在表格设置下的优化问题，分析并证明了使用 softmax 参数化的策略梯度法具有 O (1/t) 的收敛速率，熵正则化策略梯度法可以以 O (e^{-c * t}) 的线性收敛速度收敛到最优策略，提高了优化速度。通过非均匀 L {} ojasiewicz 度概念解释了该方法的有效性，并在理论上支持了现有的经验研究。

May, 2020