Feb, 2024

近确定性回归中的规范误差不确定性

HTML
PDF
TL;DR前向论合理化了模型的泛化错误上界，为学习提供了健壮的PAC-Bayes边界。然而，已知损失的最小化会忽略错误规范化，在此情况下模型无法完全复现观测结果。我们分析了近确定、错误规范化和欠参数化替代模型的泛化错误，这是科学和工程中广泛相关的一种情况。我们证明了后验分布必须覆盖每个训练点以避免泛化错误的发散，并导出了一种满足此约束条件的集合假设，对线性模型而言额外开销最小。这种高效方法在模型问题上得到了证明，并应用于原子尺度机器学习中的高维数据集，由错误规范化导致的参数不确定性在欠参数化极限中仍然存在，从而可以准确预测和限定测试误差的上限。
发现论文，激发创造
  • 非凸学习中带噪声梯度方法的泛化误差界

    本文应用Bayes-Stability框架证明算法相关的广义误差界，得到了随机梯度 Langevin 动力学以及其他一些带噪声梯度的方法（例如加动量，小批量和加速，熵-SGD）的数据相关的新广义误差界，论文结果较之前相关研究更紧凑。

    Feb, 2019

  • 安全贝叶斯广义线性回归

    该研究探讨了广义贝叶斯推断在错配模型下的应用，包括广义线性模型，通过MCMC抽样来实现广义贝叶斯Lasso和Logistic回归，并在模拟和真实数据中展示了广义贝叶斯在表现上超过标准贝叶斯的优点。

    Oct, 2019

  • PAC$^m$-Bayes：缩小误差贝叶斯模型的经验风险差距

    本研究提出了一种多样本损失方法用以改进贝叶斯后验预测分布的泛化性能，该方法不仅具有计算优势还提供了 PAC 泛化保证，实证研究显示该方法可以有效改善预测分布。

    Oct, 2020

  • 通过不确定性驱动的扰动提高泛化能力

    本文讨论了梯度下降算法中的简单性偏差问题，并提出一种基于不确定性驱动的扰动方式来减小这种偏差。我们发现该方法能够提高模型的边际及泛化性能，同时在多个数据集上表现出有竞争力的鲁棒性和泛化性的平衡。

    Feb, 2022

  • PAC-Bayes下的冷后验分析

    通过PAC-Bayes泛化界限的视角研究了冷后效应，发现在非渐进情况下，当训练样本数量相对较少时，应该考虑到近似贝叶斯推断对超样本数据性能的保证，并指出对于回归和分类任务，利用PAC-Bayes解释温度参数可以解释冷后效应。

    Jun, 2022

  • 基于模型错误假定的仿真推断鲁棒统计学习

    提出了一种通过惩罚那些增加数据和模型之间不匹配度的统计量的正则化损失函数作为一般性方法来处理模型错误规范问题，从而在SBI过程中获取稳健的推断结果。

    May, 2023

  • 没有独立性的泛化误差：去噪、线性回归和迁移学习

    本文探讨了线性模型在实际数据中的泛化能力，并提出了一种在非独立同分布数据和分布变化情况下的解决方法，得到了渐近精确的理论结果，并在实际数据验证了结果的有效性。

    May, 2023

  • 利用装袋后验进行可重复的参数推断

    在模型错配方面，贝叶斯后验经常无法正确量化真实参数或伪真参数的不确定性，并导致模型在独立数据集上产生矛盾的后验分布。为了定义在模型错配中可复现的不确定性量化准则，我们考虑从独立数据集构建的两个置信区间的重叠概率，并建立了适用于任何有效置信区间的重叠概率下界。我们证明了标准后验的可信区间往往会严重违反这个下界，尤其在高维环境中（即维度随样本大小增加）表现出不内聚性。为了提高易使用性和普适性，并改善可复现性，我们提出将bagging方法应用于贝叶斯后验（“BayesBag”'），即使用基于自助样本构建的后验分布的平均值。我们基于第一原则从Jeffrey条件化的角度推导了BayesBag，并证明了袋装后验通常满足重叠下界。此外，我们证明了袋装后验的Bernstein-Von Mises定理，确定了其渐进正态分布。我们通过模拟实验和犯罪率预测应用展示了BayesBag的优势。

    Nov, 2023

  • 使用神经网络检测摊余贝叶斯推断中的模型错误：一项扩展研究

    在模拟基础推理中，我们研究了模拟程序不准确表示真实系统行为对推理结果的影响，并提出了一种能够可靠检测模型错误规范性的新度量标准。实验证明，这个度量标准对于警示用户可疑输出、当预测结果不可靠时发出警告，并引导模型设计者寻找更好的模拟器具有很大的实用性。

    Jun, 2024

  • 超越规范：检测回归模型中的预测误差

    该研究论文讨论了检测回归算法中的不可靠行为的挑战，首先正式介绍了回归中的不可靠性概念，然后利用概率建模工具估计误差密度并测量其统计差异性，从而得出表达回归结果不确定性的数据驱动评分。实验证明在多个回归任务中，该方法在错误检测方面的性能显著优于流行的基准方法，并为不确定性量化和安全机器学习系统的广泛领域做出贡献。

    Jun, 2024