Sep, 2020

学习难以改变的解释

PDF
TL;DR本文研究在深度学习中 “好的解释很难变化” 的原则，指出在梯度平均时往往偏向记忆化和拼凑的解决方案而忽视了不变性，在此基础上提出了一种基于逻辑 AND 的简单算法并在多个真实任务上进行测试。最后使用一组合成数据集和常见正则化方法进行比较。
deep learninggradient averagingconsistencyinvariancesmemorization
发现论文，激发创造
  • 神经网络中不变性的好处

    本文分析比较了深度学习中两种广泛使用的处理不变性的方法：数据增强和特征平均，并针对其优缺点提出了相关理论结果和实验证明。其中，数据增强训练可以更好地估计风险和其梯度，并提供了 PAC-Bayes 泛化界；而特征平均可以在使用凸损失时降低泛化误差并收紧 PAC-Bayes 界。

    May, 2020

  • 相干梯度：一种理解基于梯度下降的优化中泛化性质的方法

    本文提出了一个关于如何解释神经网络使用梯度下降算法泛化能力较强的假设 Coherent Gradients，并支持该假设的启发式论证和简单实验证明。同时，该分析为防止过拟合提出了一种自然而然的梯度下降修改方法。

    Feb, 2020

  • 深度学习：统计观点

    探讨了深度学习中简单梯度方法在寻找接近最优解的非凸优化问题上的出人意料的成功，以及其之所以具有超预期的表现，推断是因为过度参数化可以让梯度方法寻找插值解，这些方法隐含地施加正则化，并且过度参数化导致了良性过拟合等基本原理构成了这个现象，同时摘要了最新的理论进展，重点考虑了神经网络的线性区域。

    Mar, 2021

  • 深度网络中的泛化（IIIb 理论）

    该论文研究了深度神经网络中过拟合的问题，证明了使用特定的损失函数时神经网络的收敛性及性能，提出了一种实用的判断不同零最小化点泛化性能的方法。

    Jun, 2018

  • 深度学习理论 III：解释非过拟合谜题

    该研究探讨深度网络中的过拟合问题，发现梯度下降在非线性网络中的优化动力学与线性系统是等价的，同时也推广了梯度下降的两个性质到非线性网络中：隐式正则化以及最小范数解的渐近收敛，通过这些性质，可以提高模型的泛化能力，同时在分类任务中也能得到较好的分类误差。

    Dec, 2017

  • 深度学习中的隐式正则化

    本研究探讨深度学习中的泛化现象，并发现隐式正则化通过优化方法在深度学习模型的泛化和成功方面起着关键作用，我们进一步研究了不同的复杂度度量，以确保泛化并解释了优化算法如何隐含地正则化这些复杂度度量，为了更好地研究神经网络中的不变量，我们提出了复杂度度量和优化算法，并在许多学习任务上进行了评估。

    Sep, 2017

  • 深度学习中的泛化

    本文提供深度学习为何能够进行很好的泛化的理论洞察，同时探讨了为深度学习提供有效泛化保证的方法并提出了新的开放性问题与讨论了原有结果的限制。

    Oct, 2017

  • 重新思考泛化对于了解深度学习至关重要

    该研究通过系统实验和理论构建发现，传统方法很难解释为什么大型神经网络的泛化性能良好，即使加入正则化仍然不会改变随机标记训练数据的状态，因为只要参数数量超过数据点数量，简单的两层神经网络就能实现完美的有限样本表达能力。

    Nov, 2016

  • 深度学习模型的描述长度

    通过实验证明，即使考虑到参数编码，深度神经网络仍能够压缩训练数据，而这种压缩视角最初激励了神经网络中变分方法的使用。我们发现，这些变分方法提供了惊人的较差压缩界限，这可能解释了变分方法在深度学习中相对较差的实际性能。另一方面，简单的增量编码方法在深度网络上产生了出色的压缩效果，从而证明了 Solomonoff 的方法。

    Feb, 2018

  • 并行 SGD：何时使用平均有帮助？

    研究了多个工作者独立运行 SGD 并定期平均模型的常见但未被充分理解的做法，探讨了模型平均作为方差减少机制的两种方式，并说明了平均频率对收敛的影响，对于凸目标函数，频繁平均的好处依赖于梯度方差包络，在非凸目标函数中，该好处取决于多个全局最优点的存在。在合成数据和实际数据上进行了多核实验以补充研究结果。

    Jun, 2016