Jan, 2020

通过张量方法理解深度学习中的泛化

PDF
TL;DR在这项研究中，我们从压缩的角度提出了一系列直观，数据相关且易于测量的属性，紧密地刻画了神经网络的可压缩性和通用性，进而提供了进一步设计具有更好 / 保证通用性属性的神经网络架构的见解。
neural networksgeneralizabilitycompressiontensor analysisarchitecture
发现论文，激发创造
  • 通过压缩方法增强深度网络的泛化界限

    本论文通过新的简洁再参数化方法的引入和新的 “噪声稳定性” 属性的发现，提供了一种基于压缩的框架来估计神经网络的泛化性能边界，并将此方法拓展到卷积神经网络中。

    Feb, 2018

  • ImageNet 尺度下的非空泛化界：一种 PAC-Bayesian 压缩方法

    本文介绍了现代神经网络的普遍过拟合问题以及如何通过模型压缩来限制模型复杂度，提高模型泛化性能，同时基于对模型压缩技术的分析，提供了在压缩神经网络时的泛化误差界限及给出了实际应用于 ImageNet 分类问题中的第一个非微不足道的可行泛化误差保证。

    Apr, 2018

  • 基于表示的复杂度测度对深度学习的泛化能力进行预测

    从神经科学理论的角度解释深度神经网络的泛化能力，提供可自主计算的复杂度度量方法以揭示深度模型的泛化行为，并详细介绍在 NeurIPS 2020 举办的预测深度学习泛化比赛中获胜的解决方案。

    Dec, 2020

  • 通过泛化噪音鲁棒性，确定性 PAC-Bayesian 深度网络泛化界

    本文研究了过参数化的深层网络使用随机梯度下降法（SGD）能够良好推广的能力，提出了一种 PAC-Bayesian 框架，利用这种能力为原始网络提供界限，同时不会受到权重矩阵谱范数乘积的影响。

    May, 2019

  • 基于压缩的非压缩网络界限：大型可压缩深度神经网络统一泛化误差分析

    本文提出一种统一框架，将压缩基础界限转化为非压缩原始网络的界限，并建立数据相关的泛化误差界限，比数据独立的误差界限更紧密。

    Sep, 2019

  • 张量神经网络：神经网络的泛化和模型压缩应用

    该研究提出了张量神经网络，利用高阶张量操作解决参数学习的难题，并实现了对高阶输入对象的自然处理，同时利用训练方法和压缩技术在精度和效率上均有提升。

    May, 2018

  • 探究过度参数化在神经网络泛化中的作用

    本研究提出了基于单元能力的复杂度度量，为两层 ReLU 网络提供了更紧密的泛化界限，这可能有助于解释神经网络过参数化的泛化改进现象。同时，我们还提出了一个匹配的 Rademacher 复杂性下限，该下限优于之前神经网络的容量下限。

    May, 2018

  • 重新思考泛化对于了解深度学习至关重要

    该研究通过系统实验和理论构建发现，传统方法很难解释为什么大型神经网络的泛化性能良好，即使加入正则化仍然不会改变随机标记训练数据的状态，因为只要参数数量超过数据点数量，简单的两层神经网络就能实现完美的有限样本表达能力。

    Nov, 2016

  • 神奇的泛化度量及其发现方法

    通过系统地变化常用超参数来训练超过 10,000 个卷积网络，我们提出了深度网络推广的第一个大规模研究，并研究了来自理论界和经验研究的 40 多种复杂度衡量标准，探索每种衡量标准和推广之间的因果关系，并通过仔细控制的实验展示了一些衡量标准的惊人失败，以及进一步研究的有希望的衡量标准。

    Dec, 2019

  • 神经网络中的灵敏度和泛化性：一项实证研究

    本研究通过对深度学习模型的多方面度量，特别是模型对输入扰动的敏感性度量，研究了大规模的、过度参数化的神经网络与小规模的夹杂网络的复杂度与泛化之间的紧张关系，并得出结论：训练的神经网络在其训练数据范围内更加鲁棒，这种鲁棒性与泛化能力有关联，而诸如数据扩增和修正线性单元等好的泛化因素会带来更强的鲁棒性。

    Feb, 2018