Dec, 2020

基于表示的复杂度测度对深度学习的泛化能力进行预测

PDF
TL;DR从神经科学理论的角度解释深度神经网络的泛化能力，提供可自主计算的复杂度度量方法以揭示深度模型的泛化行为，并详细介绍在 NeurIPS 2020 举办的预测深度学习泛化比赛中获胜的解决方案。
发现论文，激发创造
  • NeurIPS 2020 比赛：深度学习的泛化预测

    深度学习中的泛化是一个重要的问题，并且通过复杂度衡量的新进展有望更好地理解深度学习的机制，更好地应用于对未知数据的泛化，并提高模型的可靠性和鲁棒性。

    Dec, 2020

  • 深度神经网络中基于边界的泛化预测

    在这项研究中，我们分析了在不同环境下基于边界距离的泛化预测方法，并提出了一种融合基础数据流形的新的基于边界距离的度量，该度量在大多数情况下能更好地预测泛化。同时，我们对这种方法的实用性和局限性进行了分析，并发现这个度量与之前的工作的观点是吻合的。

    May, 2024

  • 神奇的泛化度量及其发现方法

    通过系统地变化常用超参数来训练超过 10,000 个卷积网络，我们提出了深度网络推广的第一个大规模研究，并研究了来自理论界和经验研究的 40 多种复杂度衡量标准，探索每种衡量标准和推广之间的因果关系，并通过仔细控制的实验展示了一些衡量标准的惊人失败，以及进一步研究的有希望的衡量标准。

    Dec, 2019

  • 通过张量方法理解深度学习中的泛化

    在这项研究中，我们从压缩的角度提出了一系列直观，数据相关且易于测量的属性，紧密地刻画了神经网络的可压缩性和通用性，进而提供了进一步设计具有更好 / 保证通用性属性的神经网络架构的见解。

    Jan, 2020

  • 寻找可探查的泛化度量

    本文旨在探索深度神经网络泛化度量的可检测性，评估和比较探测单独层的泛化度量的有效性和鲁棒性。同时，我们介绍了一套新的训练模型和性能度量数据集 GenProb，用于测试泛化度量，模型调优算法和优化算法。

    Oct, 2021

  • 深度学习中的泛化探讨

    研究深度网络通用性的驱动因素，在考虑到规范基础控制、锐度和鲁棒性等因素后，发现尺度归一化对于通用性至关重要，并建立锐度与 PAC-Bayes 理论之间的联系，进一步探究这些措施如何解释已观察到的现象。

    Jun, 2017

  • 寻求鲁棒的泛化测量方法

    本文讨论了深度学习中的一项科学挑战，即解释归纳泛化问题，通过关注经验性评估方法，提出了将泛化度量评估纳入分布强健性框架的看法。

    Oct, 2020

  • 深度学习的泛化界限

    本研究提出了关于深度学习的泛化误差的准则，介绍了一种基于边际似然的 PAC-Bayesian Bound 方法来预测泛化误差，并进行了广泛实证分析以评估该方法的效果和特性。

    Dec, 2020

  • 使用扰动响应曲线预测深度神经网络的泛化能力

    本文提出了一种用于评估神经网络泛化能力的新框架，使用扰动响应曲线和 Gi-score，Pal-score 等新指标来预测泛化差距，并在 PGDL 竞赛中取得更好的预测成绩。此外，该框架和指标还可用于选择与给定扰动不变的最佳网络架构和超参数。

    Jun, 2021

  • Gi 和 Pal 分数：深度神经网络推广统计

    本文提出了 Gi-score 和 Pal-score 两个新的度量标准，用于衡量深度神经网络的泛化能力和不变性，这些度量标准可准确预测一些泛化差距。

    Apr, 2021