ICMLOct, 2021

寻找可探查的泛化度量

PDF
TL;DR本文旨在探索深度神经网络泛化度量的可检测性，评估和比较探测单独层的泛化度量的有效性和鲁棒性。同时，我们介绍了一套新的训练模型和性能度量数据集 GenProb，用于测试泛化度量，模型调优算法和优化算法。
generalization behaviourdeep neural networksexplainability measuresmodel tuningoptimization algorithms
发现论文，激发创造
  • 神奇的泛化度量及其发现方法

    通过系统地变化常用超参数来训练超过 10,000 个卷积网络，我们提出了深度网络推广的第一个大规模研究，并研究了来自理论界和经验研究的 40 多种复杂度衡量标准，探索每种衡量标准和推广之间的因果关系，并通过仔细控制的实验展示了一些衡量标准的惊人失败，以及进一步研究的有希望的衡量标准。

    Dec, 2019

  • 寻求鲁棒的泛化测量方法

    本文讨论了深度学习中的一项科学挑战，即解释归纳泛化问题，通过关注经验性评估方法，提出了将泛化度量评估纳入分布强健性框架的看法。

    Oct, 2020

  • NeurIPS 2020 比赛：深度学习的泛化预测

    深度学习中的泛化是一个重要的问题，并且通过复杂度衡量的新进展有望更好地理解深度学习的机制，更好地应用于对未知数据的泛化，并提高模型的可靠性和鲁棒性。

    Dec, 2020

  • 深度学习中的泛化探讨

    研究深度网络通用性的驱动因素，在考虑到规范基础控制、锐度和鲁棒性等因素后，发现尺度归一化对于通用性至关重要，并建立锐度与 PAC-Bayes 理论之间的联系，进一步探究这些措施如何解释已观察到的现象。

    Jun, 2017

  • 评估深度神经网络解释质量的算法稳定性指标

    我们提出了两个新的用于评估解释的度量标准：平均泛化 MeGe 和相对一致性 ReCo，并发现基于 1-Lipschitz 网络的解释比基于传统神经网络的解释更具可靠性和解释性。

    Sep, 2020

  • 基于表示的复杂度测度对深度学习的泛化能力进行预测

    从神经科学理论的角度解释深度神经网络的泛化能力，提供可自主计算的复杂度度量方法以揭示深度模型的泛化行为，并详细介绍在 NeurIPS 2020 举办的预测深度学习泛化比赛中获胜的解决方案。

    Dec, 2020

  • 利用可解释度度量增强 SGD

    通过提出一种新的解释性指标来量化神经网络中冗余信息的质量， 并量化与优化器、网络和数据集的泛化性能高度相关的复杂度措施来增强随机梯度下降（SGD）的方法，我们提出了一种可以对深度神经网络中间层进行探索并给出量化学习质量的方法，并将其应用于 RMSGD，在应用、架构和数据集上表现出良好的泛化特性。

    Mar, 2022

  • 奇妙的概括度量无处追寻

    神经网络在超参数化设置中的泛化界限无法达到紧致性，除非在总体分布上具备合适的假设。

    Sep, 2023

  • 模型无关的泛化困难度度量

    该研究提出了第一个与模型无关的任务内在泛化难度度量，称为归纳偏差复杂度度量，该度量可以应用于计算和比较监督学习、增强学习和元学习的泛化难度。

    May, 2023

  • 深度学习中的隐式正则化

    本研究探讨深度学习中的泛化现象，并发现隐式正则化通过优化方法在深度学习模型的泛化和成功方面起着关键作用，我们进一步研究了不同的复杂度度量，以确保泛化并解释了优化算法如何隐含地正则化这些复杂度度量，为了更好地研究神经网络中的不变量，我们提出了复杂度度量和优化算法，并在许多学习任务上进行了评估。

    Sep, 2017