Oct, 2023

贝叶斯稳定性之园

PDF
TL;DR我们展示了学习理论文献中的许多稳定性定义是等价的，我们区分了两个稳定性定义家族：依赖于分布的稳定性和独立于分布的贝叶斯稳定性。在每个家族中，我们建立了各种定义之间的等价性，涵盖了近似差分隐私、纯差分隐私、可复制性、全局稳定性、完美泛化、TV 稳定性、互信息稳定性、KL 散度稳定性和 Renyi 散度稳定性。通过这个过程，我们证明了一些提升结果，可以增强学习规则的稳定性。这项工作是朝着更系统的稳定性概念分类法迈出的一步，可以促进稳定性概念的清晰性和我们对近年来涌现的各种稳定性概念的理解的提升。
发现论文，激发创造
  • 技术笔记：偏置与稳定性的量化

    研究机器学习算法偏差对预测精度的影响时，应考虑稳定性因素，本文提出了一种基于概念一致性的稳定性度量方法，讨论了稳定性、预测精度和偏差之间的关系。

    Dec, 2002

  • 典型稳定性

    介绍了一种算法稳定性的概念 -- 典型稳定性，可以控制自适应数据分析的泛化误差，对于具有轻尾分布的计算统计信息的查询，提出了一些简单的噪音添加算法。

    Apr, 2016

  • 几乎处处算法稳定性与泛化误差

    探讨了算法稳定性作为分析学习算法泛化误差的可行框架的概念。引入了学习算法训练稳定性的新概念，并证明在一般情况下它足以得到泛化误差的好界。在 PAC 设置中，训练稳定性在可学习性上既是必要的也是充分的。基于训练稳定性的方法不涉及 VC 维或 VC 熵，不需要证明一致收敛，而广义 McDiarmid 不等式可直接限制泛化误差。因此，它可能使我们处理比经验风险最小化更广泛的学习算法类。还探讨了 VC 维、泛化误差和各种稳定性概念之间的关系，并考虑了几个学习算法的例子。

    Dec, 2012

  • 局部弹性稳定性更好的泛化界限

    本文提出一种基于局部弹性的弱稳定性概念，用以提供具有指数通用性限制条件的机器学习算法算法稳定性，比常见的分布无关的最坏损失情况敏感性更具参考价值，该概念在支持向量机、最小二乘回归和随机梯度下降等模型中具有受限制的情况下比统一稳定性提供更紧的泛化限制条件。

    Oct, 2020

  • 学习算法的统计不可区分性

    本文讨论如何通过总变差（TV）距离度量学习规则的输出相似性，提出了 TV 不可辨认性的信息论等价性和统计学放大以及提升算法，并研究了基于 TV 不可辨认性的假设类可学习性。

    May, 2023

  • 通过分布扰动分析进行稳定性评估

    通过分析数据集的分布扰动来评估学习模型的稳定性，利用最优输运法来量化该扰动，从而解决现实场景中常见的数据损坏和子集群转移两种分布转移类型问题，同时提供了可行的凸优化问题和计算方法以实现实际应用的价值。

    May, 2024

  • 一种计算随机稳定分布的算法，并应用于在重复博弈中的多智能体学习

    用随机稳定性的概念可以解决代理在反复博弈中平衡选择问题，本文提出了一种精确计算马尔可夫链中随机稳定分布的算法，并将其用于预测简单学习算法在样本反复博弈中的长期动态。

    Jul, 2012

  • 算法稳定性和假设复杂度

    本研究提出了算法稳定性的概念，即我们称之为 “参数稳定性”，它捕捉从中选择假设的函数的规范空间中学习算法产生的假设的稳定性。 论文的主要结果在于以参数稳定性来限制任何学习算法的泛化误差。这些限制基于 Banach 空间中的鞅不等式。 我们将普遍限制应用于基于经验风险最小化和随机梯度下降的一些学习算法的性能边界。

    Feb, 2017

  • 在线可学习稳定性条件

    研究表明，稳定性是一种可以用来量化学习算法的稳定程度的一般概念，是推动在线学习和减少后悔的关键。本文引入了在线稳定性，这是与均匀留一稳定性相关的一种稳定性条件，足以实现在线可学习性，并且说明了流行类的在线学习算法的一些理论。在特定的二分类设置中，稳定性条件是充分必要的。

    Aug, 2011

  • 连续世界中有限信息下贝叶斯推断的脆弱性

    本文使用降维算法对贝叶斯灵敏度分析中的优化问题进行了探究，结果发现贝叶斯模型在精度固定的有限采样数据的基础上依然可能出现最大可能的预测误差，且学习和稳健性是有冲突的。该研究还探讨了在使用贝叶斯推断的连续世界中是否存在缺失的稳定性条件。

    Apr, 2013