Gi 和 Pal 分数：深度神经网络推广统计
本文提出了一种用于评估神经网络泛化能力的新框架，使用扰动响应曲线和 Gi-score，Pal-score 等新指标来预测泛化差距，并在 PGDL 竞赛中取得更好的预测成绩。此外，该框架和指标还可用于选择与给定扰动不变的最佳网络架构和超参数。
Jun, 2021
从神经科学理论的角度解释深度神经网络的泛化能力，提供可自主计算的复杂度度量方法以揭示深度模型的泛化行为，并详细介绍在 NeurIPS 2020 举办的预测深度学习泛化比赛中获胜的解决方案。
Dec, 2020
深度学习中的泛化是一个重要的问题，并且通过复杂度衡量的新进展有望更好地理解深度学习的机制，更好地应用于对未知数据的泛化，并提高模型的可靠性和鲁棒性。
Dec, 2020
本文旨在探索深度神经网络泛化度量的可检测性，评估和比较探测单独层的泛化度量的有效性和鲁棒性。同时，我们介绍了一套新的训练模型和性能度量数据集 GenProb，用于测试泛化度量，模型调优算法和优化算法。
Oct, 2021
通过系统地变化常用超参数来训练超过 10,000 个卷积网络，我们提出了深度网络推广的第一个大规模研究，并研究了来自理论界和经验研究的 40 多种复杂度衡量标准，探索每种衡量标准和推广之间的因果关系，并通过仔细控制的实验展示了一些衡量标准的惊人失败，以及进一步研究的有希望的衡量标准。
Dec, 2019
研究深度网络通用性的驱动因素，在考虑到规范基础控制、锐度和鲁棒性等因素后，发现尺度归一化对于通用性至关重要，并建立锐度与 PAC-Bayes 理论之间的联系，进一步探究这些措施如何解释已观察到的现象。
Jun, 2017
本文探讨了利用输入和最终层表示之间的互信息来估算深度神经网络广义误差，并使用输入压缩边界将互信息和广义误差联系起来，证明其在许多情况下表现优异，有助于消除试错的过程。
Jul, 2022
领域通用化的目标是设计算法和模型，能够在之前未见过的测试分布上取得高性能。本研究中，我们对平均度量进行了细致的探究，并提出了 “最差 + 间隙” 度量作为一种强健的替代方案。通过理论推导和实验分析，我们发现平均度量不能准确近似真实的领域通用化性能，而 “最差 + 间隙” 度量在理论上和实践中都表现出了鲁棒性。
May, 2024