概率编程的重尾代数

Jun, 2023

A Heavy-Tailed Algebra for Probabilistic Programming

Feynman Liang, Liam Hodgkinson, Michael W. Mahoney

TL;DR该研究提出了一种系统性的方法来分析随机变量的尾部，建立了一个基于广义 Gamma 分布的代数，该代数能够在各种操作下区分不同尺度的亚高斯函数，可以直接从定义中重现大部分重要的统计分布，并通过利用重尾代数的推理算法，实现了在多个密度建模及变分推理任务上实现了卓越的性能。

Abstract

Despite the successes of probabilistic models based on passing noise through neural networks, recent work has identified that such methods often fail to capture tail behavior accurately, unless the tails of the base distribution are appropriately calibrated. To overcome this deficiency

probabilistic models tail asymptotics algebraic operations variational inference density modeling

发现论文，激发创造

关于具有指数，亚高斯和一般轻尾的算法的高概率分析的注意事项

一种简单的技术用于分析依赖于轻尾（但不一定有界）随机化源的概率算法，该技术能将算法的分析减少，并转化为使用有界随机变量的同一算法的简化变体进行分析，同时适用于任何轻尾随机化，无需专门的集中不等式。

Mar, 2024

重尾统计算法：回归、协方差估计和更多

研究怎样在不假设样本的基础分布为高斯分布的前提下，只假定有限个矩的情况下，有效地进行线性回归和协方差估计，并关注能用多少样本来实现高精度和指数级成功概率。使用八阶圆当量半定规划提供算法，预备性的证据表明在我们的算法使用的平均中位数框架中无法在多项式时间内改善这些误差率。

Dec, 2019

深度神经网络中权重矩阵的重尾正则化

通过随机矩阵理论，提出了一种名为 “Heavy-Tailed Regularization” 的正则化技术，此技术优化了神经网络的权重矩阵，使其有更重的尾巴，并提升了网络的泛化能力。对比传统的正则化方法，实验结果证明这种新方法在泛化效果上更优秀。

Apr, 2023

随机优化中的乘性噪声和重尾分布

本文介绍了使用离散随机递归关系模拟随机优化算法，说明由于局部收敛速度方差的增加，会导致多项式噪声，从而得到具有重尾结构的参数固定点，其优化具有更高的容量，以更好地探索非凸损失面。

Jun, 2020

随机梯度下降中的重尾现象

本文阐述了随机梯度下降（SGD）在深度学习中的泛化性能与最小值的浅奥关系，并通过线性回归等简单问题分析证明了参数选择会对算法的收敛率及概率分布产生影响。

Jun, 2020

指数族分布下尾概率的界限

该论文提出了与指数型分布家族相关的尾部概率新不等式，这些分布包括泊松分布、伽马分布、二项分布、负二项分布和倒数高斯分布。所有这些不等式都以有符号对数似然函数为表述，并且这些不等式是定性的，表述用随机支配或者交集属性，即某个离散分布非常接近于某个连续分布。

Jan, 2016

有关损失函数分布尾部衰减率的估计

本文提出了一种新的估计极值尾的方法 - CTE，相比于传统方法更为鲁棒，适用于带有大量变异的样本，同时通过实验研究证明了过度拟合与损失分布尾厚度之间的关系。

Jun, 2023

从互信息到期望动力学：针对重尾随机梯度下降的新的泛化界限

理解现代机器学习算法的泛化能力作为研究主题在过去几十年中备受关注。最近，随机梯度下降（SGD）的学习动态与重尾动态有关，这已成功应用于利用这些动态的分形属性的泛化理论中。然而，所推导出的界限依赖于超出计算能力的互信息（解耦）项。在本研究中，我们证明了一类重尾动态轨迹上的泛化界限，而无需这些互信息项。相反，我们通过比较基于经验风险的学习动态（依赖于群体风险）与基于预期风险的动态引入了一个几何解耦项。我们进一步利用重尾和分形文献中的技术对该几何项进行了上界限定，使其完全可计算。此外，为了收紧界限，我们提出了一个基于扰动动态的 PAC-Bayesian 设置，在该设置中，相同的几何项起着关键的作用，并且仍然可以使用上述描述的技术进行界定。

Dec, 2023

几何变量和指数变量之和的尾部界

该研究得出了独立的几何或指数变量之和的尾部概率的明确界限。

Sep, 2017

泛链式下尾部界

我们使用 Talagrand 通用串联方法修改，为随机过程的所有 p 阶矩获得上界。我们将此过程应用于改进和扩展一些已知的偏差不等式，以便获得至上极限的上尾估计，同时具有最佳的偏差参数，其中包括未限制的经验过程和混沌过程的极限值。作为实践，我们提供了约束等距性质的明显简化证明，该质将离散傅立叶变换的子采样用于稀疏信号恢复。

Sep, 2013