神奇的泛化度量及其发现方法

Dec, 2019

Fantastic Generalization Measures and Where to Find Them

Yiding Jiang, Behnam Neyshabur, Hossein Mobahi, Dilip Krishnan, Samy Bengio

TL;DR通过系统地变化常用超参数来训练超过 10,000 个卷积网络，我们提出了深度网络推广的第一个大规模研究，并研究了来自理论界和经验研究的 40 多种复杂度衡量标准，探索每种衡量标准和推广之间的因果关系，并通过仔细控制的实验展示了一些衡量标准的惊人失败，以及进一步研究的有希望的衡量标准。

Abstract

generalization of deep networks has been of great interest in recent years, resulting in a number of theoretically and empirically motivated complexity measures. However, most papers proposing such measures study

generalization deep networks complexity measures convolutional networks hyperparameters

发现论文，激发创造

寻找可探查的泛化度量

本文旨在探索深度神经网络泛化度量的可检测性，评估和比较探测单独层的泛化度量的有效性和鲁棒性。同时，我们介绍了一套新的训练模型和性能度量数据集 GenProb，用于测试泛化度量，模型调优算法和优化算法。

Oct, 2021

寻求鲁棒的泛化测量方法

本文讨论了深度学习中的一项科学挑战，即解释归纳泛化问题，通过关注经验性评估方法，提出了将泛化度量评估纳入分布强健性框架的看法。

Oct, 2020

基于表示的复杂度测度对深度学习的泛化能力进行预测

从神经科学理论的角度解释深度神经网络的泛化能力，提供可自主计算的复杂度度量方法以揭示深度模型的泛化行为，并详细介绍在 NeurIPS 2020 举办的预测深度学习泛化比赛中获胜的解决方案。

Dec, 2020

NeurIPS 2020 比赛：深度学习的泛化预测

深度学习中的泛化是一个重要的问题，并且通过复杂度衡量的新进展有望更好地理解深度学习的机制，更好地应用于对未知数据的泛化，并提高模型的可靠性和鲁棒性。

Dec, 2020

深度学习中的泛化探讨

研究深度网络通用性的驱动因素，在考虑到规范基础控制、锐度和鲁棒性等因素后，发现尺度归一化对于通用性至关重要，并建立锐度与 PAC-Bayes 理论之间的联系，进一步探究这些措施如何解释已观察到的现象。

Jun, 2017

重新思考泛化对于了解深度学习至关重要

该研究通过系统实验和理论构建发现，传统方法很难解释为什么大型神经网络的泛化性能良好，即使加入正则化仍然不会改变随机标记训练数据的状态，因为只要参数数量超过数据点数量，简单的两层神经网络就能实现完美的有限样本表达能力。

Nov, 2016

奇妙的概括度量无处追寻

神经网络在超参数化设置中的泛化界限无法达到紧致性，除非在总体分布上具备合适的假设。

Sep, 2023

通过张量方法理解深度学习中的泛化

在这项研究中，我们从压缩的角度提出了一系列直观，数据相关且易于测量的属性，紧密地刻画了神经网络的可压缩性和通用性，进而提供了进一步设计具有更好 / 保证通用性属性的神经网络架构的见解。

Jan, 2020

网络架构与复杂度关系的实证研究

本文探讨了网络处理数据复杂性变化的实证研究，以图像分类任务为例，测量了不同网络体系结构对不断增加的类别数目所产生的泛化误差变化情况。

Nov, 2019

深度神经网络中基于边界的泛化预测

在这项研究中，我们分析了在不同环境下基于边界距离的泛化预测方法，并提出了一种融合基础数据流形的新的基于边界距离的度量，该度量在大多数情况下能更好地预测泛化。同时，我们对这种方法的实用性和局限性进行了分析，并发现这个度量与之前的工作的观点是吻合的。

May, 2024