多任务深度神经分类器中的泛化问题：基于统计物理学的方法

Oct, 2019

多任务深度神经分类器中的泛化问题：基于统计物理学的方法

Generalization in multitask deep neural classifiers: a statistical physics approach

Tyler Lee, Anthony Ndirango

TL;DR本论文通过应用无序系统的统计物理学技术，对解决使用 softmax 输出和交叉熵损失的分类任务的深度神经网络的推广进行非线性动力学的分析，以理论上支持多任务学习表现由任务的噪声性以及输入特征对其的对齐程度来决定的直觉。

Abstract

A proper understanding of the striking generalization abilities of deep neural networks presents an enduring puzzle. Recently, there has been a growing body of numerically-grounded theoretical work that has contributed important insights to the theory of learning in deep neural nets. There has also been a recent interest in extending these analyses to unders

deep neural networks multitask learning classification tasks softmax outputs generalization capacity

发现论文，激发创造

深度线性网络中泛化动态和迁移学习的分析理论

研究了在深度学习中的泛化难题，发展了一个解决泛化问题的解析理论，并探讨了多任务学习和跨任务学习的知识迁移方法。

Sep, 2018

重新思考泛化需要重新审视旧观念：统计力学方法和复杂学习行为

本文介绍了一种超越当前流行的最坏情况的理论控制框架，重新审视神经网络的统计力学的古老理论，并使用一个名为 VSDL 的模型来描述当算法过早停止或输入加噪声时会增加的温度和减少的数据量对深度神经网络的控制效果，进而提供了关于其过度拟合训练数据、学习算法波动和转变的一种新的定性描述。

Oct, 2017

神经网络中的泛化：一项广泛调查

本文综述了神经网络模型不同抽象级别的概念、建模方法和最近的研究发现，包括网络模型的概括、分布、域、任务、模式和范围的泛化，着重于在各泛化层次上存在的问题，例如过拟合问题和域适应问题。

Sep, 2022

深度网络中的泛化（IIIb 理论）

该论文研究了深度神经网络中过拟合的问题，证明了使用特定的损失函数时神经网络的收敛性及性能，提出了一种实用的判断不同零最小化点泛化性能的方法。

Jun, 2018

重新思考泛化对于了解深度学习至关重要

该研究通过系统实验和理论构建发现，传统方法很难解释为什么大型神经网络的泛化性能良好，即使加入正则化仍然不会改变随机标记训练数据的状态，因为只要参数数量超过数据点数量，简单的两层神经网络就能实现完美的有限样本表达能力。

Nov, 2016

深度学习的统计理论综述：逼近、训练动态和生成模型调查

这篇文章介绍了关于神经网络的统计理论，从三个角度进行了综述：非参数回归或分类中关于神经网络过度风险的结果，神经网络的训练动力学以及生成模型中的最新理论进展。

Jan, 2024

核回归和宽神经网络的波谱偏差和任务 - 模型一致性解释泛化

探究基于核回归的可推广性误差，解释了以 “简单函数” 为特征的归纳偏差，并表明更多数据可能会损害推广能力，还研究了与无限宽深度神经网络相关的旋转不变内核的数学性质。

Jun, 2020

NeurIPS 2020 比赛：深度学习的泛化预测

深度学习中的泛化是一个重要的问题，并且通过复杂度衡量的新进展有望更好地理解深度学习的机制，更好地应用于对未知数据的泛化，并提高模型的可靠性和鲁棒性。

Dec, 2020

神经网络与乔姆斯基层次结构

通过在 20,910 个模型和 15 个任务上进行广泛的实证研究，我们展示了按照 Chomsky 层次分类任务可以预测特定体系结构的广义能力。结果表明，只有增加了结构化记忆的网络（例如堆栈或内存带）才能成功地推广上下文自由和上下文相关的任务。

Jul, 2022

深度学习中的泛化错误

本文概述了现有理论和界限，以表征深度神经网络的泛化误差。

Aug, 2018