一般分布学习：深度学习的理论框架

Jun, 2024

一般分布学习：深度学习的理论框架

General Distribution Learning: A theoretical framework for Deep Learning

Binchuan Qi, Li Li, Wei Gong

TL;DR广义分布学习（GD Learning）是一种全新的理论学习框架，通过包含先验知识并最小化学习误差来提高性能，以处理深度学习中的各种问题，包括超参数化、非凸优化、偏差 - 方差权衡和平坦极小值的机制等。

Abstract

There remain numerous unanswered research questions on deep learning (DL) within the classical learning theory framework. These include the remarkable generalization capabilities of overparametrized neural networks (NNs), the efficient optimization performance despite non-convexity of

deep learning general distribution learning machine learning statistical learning gd learning

发现论文，激发创造

深度学习的统计理论综述：逼近、训练动态和生成模型调查

这篇文章介绍了关于神经网络的统计理论，从三个角度进行了综述：非参数回归或分类中关于神经网络过度风险的结果，神经网络的训练动力学以及生成模型中的最新理论进展。

Jan, 2024

边缘传递学习实现域泛化

提出了领域泛化问题的形式框架，主要是在标记的训练集数据来自于几个相关的预测问题的情况下，通过扩充原特征空间来增加特征向量的边际分布，以期在未知的未标记数据集上获得精确的预测。针对核方法，提供了更多的定量结果和通用一致的算法，并在一个合成和三个真实世界的数据集上做了实验比较.

Nov, 2017

两层神经网络格势的均场视角

本论文在研究多层神经网络的优化问题，发现随机梯度下降算法会收敛到一个全局最优点，且这一点具有很好的泛化能力。结果表明，适当的尺度下，随机梯度下降动态可以通过某个非线性偏微分方程捕捉，从而证明了 SGD 的收敛性。

Apr, 2018

生成对抗网络中的持续学习

通过减少灾难性遗忘，本研究将最新工作应用于在一系列不同分布的序列上训练生成对抗网络并实现连续生成建模。

May, 2017

基于深度神经网络的梯度元学习的全局收敛性和泛化界

通过证明过参数化 DNN 是收敛于全局最优解，我们回答了 GBML with DNNs 是否具有全局收敛保证的问题；进一步证明了 GBML 等效于从过去的任务中传播经验的功能梯度下降操作，并证明了过参数化 DNNs 的 GBML 的泛化误差界限。

Jun, 2020

超参数神经网络的梯度下降动力学

本文通过 Lyapunov 分析，证明了使用梯度下降法训练过程中神经网络权重的动态会收敛到接近最小范数解的一个点，并通过实例表明这一结论的意义在于 GD 收敛于泛化性能好的预测函数，从而提供了 Arora 等人的普适性结果的另一证明。

May, 2021

领域泛化通过元学习：一项调查

深度神经网络在人工智能领域带来了革命性的进展，但面对分布转移时常常缺乏性能。传统神经网络假设训练和测试数据服从同一分布，然而实际应用中这一假设经常被违反。元学习作为一种有前景的方法，通过获取可传递的知识来快速适应各种任务，从而消除了从头学习每个任务的需求。本文基于特征提取策略和分类器学习方法的新分类法，全面调查了元学习在领域泛化方面的贡献，详细介绍了该领域的基础知识，并提供了关于未来研究方向的实践见解和深入讨论。

Apr, 2024

深度神经网络的学习曲线：高斯场理论视角

使用一种物理学方法对深度学习进行研究，通过重整化群、Feynman 图和副本构造了一个多功能场论形式体系用于分析高度超参数化情况下的深度学习，研究表明 DNNs 除了高度超参数化外，仍然具有解释性和预测性 —— 偏向于简单函数。

Jun, 2019

领域泛化：一份调查报告

本文综述了过去十年领域泛化方向的研究进展，包括领域泛化的定义，现有的方法和理论，并提供未来研究方向的见解和讨论。

Mar, 2021

学习轨迹是概括指标

本文旨在探讨深度神经网络（DNNs）的学习轨迹与其在广泛使用的梯度下降和随机梯度下降算法优化时的相应泛化能力之间的关系。作者构建了线性逼近函数以建立轨迹信息模型，并基于其提出一种新的、基于更丰富轨迹信息的泛化界限。实验结果表明，所提出的方法能够有效地捕捉到不同训练步骤、学习率和标签噪声水平下的泛化趋势。

Apr, 2023