Jun, 2021

使用扰动响应曲线预测深度神经网络的泛化能力

PDF
TL;DR本文提出了一种用于评估神经网络泛化能力的新框架，使用扰动响应曲线和 Gi-score，Pal-score 等新指标来预测泛化差距，并在 PGDL 竞赛中取得更好的预测成绩。此外，该框架和指标还可用于选择与给定扰动不变的最佳网络架构和超参数。
发现论文，激发创造
  • Gi 和 Pal 分数：深度神经网络推广统计

    本文提出了 Gi-score 和 Pal-score 两个新的度量标准，用于衡量深度神经网络的泛化能力和不变性，这些度量标准可准确预测一些泛化差距。

    Apr, 2021

  • 基于表示的复杂度测度对深度学习的泛化能力进行预测

    从神经科学理论的角度解释深度神经网络的泛化能力，提供可自主计算的复杂度度量方法以揭示深度模型的泛化行为，并详细介绍在 NeurIPS 2020 举办的预测深度学习泛化比赛中获胜的解决方案。

    Dec, 2020

  • NeurIPS 2020 比赛：深度学习的泛化预测

    深度学习中的泛化是一个重要的问题，并且通过复杂度衡量的新进展有望更好地理解深度学习的机制，更好地应用于对未知数据的泛化，并提高模型的可靠性和鲁棒性。

    Dec, 2020

  • 使用无需访问任何训练或测试数据的泛化度量评估自然语言处理模型

    本文研究了自然语言处理模型中，关于深度神经网络的推广问题，提出了几种新的推广度量标准并作了实证研究。研究表明，通过拟合嵌入矩阵的形状的度量标准与与推广表现有着更强的相关性。

    Feb, 2022

  • 使用边界分布预测深度网络中的泛化差距

    该论文研究发现，交叉熵等损失函数不能很好地预测深度神经网络的泛化能力，作者提出了一种基于边缘分布的测量方法，它可以被应用在任何架构的前馈深度网络上，并指出这个方法可能会提示新的训练损失函数的设计来实现更好的泛化。

    Sep, 2018

  • 寻找可探查的泛化度量

    本文旨在探索深度神经网络泛化度量的可检测性，评估和比较探测单独层的泛化度量的有效性和鲁棒性。同时，我们介绍了一套新的训练模型和性能度量数据集 GenProb，用于测试泛化度量，模型调优算法和优化算法。

    Oct, 2021

  • 寻求鲁棒的泛化测量方法

    本文讨论了深度学习中的一项科学挑战，即解释归纳泛化问题，通过关注经验性评估方法，提出了将泛化度量评估纳入分布强健性框架的看法。

    Oct, 2020

  • 深度神经网络中基于边界的泛化预测

    在这项研究中，我们分析了在不同环境下基于边界距离的泛化预测方法，并提出了一种融合基础数据流形的新的基于边界距离的度量，该度量在大多数情况下能更好地预测泛化。同时，我们对这种方法的实用性和局限性进行了分析，并发现这个度量与之前的工作的观点是吻合的。

    May, 2024

  • 预测优化框架的最佳策略学习

    我们提出了一种新颖的决策感知替代损失函数家族，称为扰动梯度（PG）损失函数，用于预测 - 优化框架。这些损失函数直接近似下游决策损失，并可以使用现成的基于梯度的方法进行优化。重要的是，与现有的替代损失函数不同，我们的 PG 损失函数的近似误差随着样本数量的增加而消失。这意味着优化我们的替代损失函数在错配设置中渐近地产生了最佳策略，甚至在错配的设置下也是如此。这是第一个在错配设置中获得这样的结果，我们提供了数值证据，证实当基础模型发生错配且噪声不是中心对称时，我们的 PG 损失函数在实质上优于现有的提案。鉴于错配在实践中经常发生，尤其是当我们可能更喜欢一个更简单、更可解释的模型时，PG 损失函数提供了一种新颖的、在理论上有理据的、可计算的、决策感知学习的方法。

    Feb, 2024

  • 输入边界也能预测泛化

    基于输入边界的约束边界测量被证明在深度神经网络的泛化能力预测上具有很高的竞争力，这为泛化和分类边界之间的关系提供了新的见解，并强调了在深度神经网络的泛化研究中考虑数据流形的重要性。

    Aug, 2023