Jun, 2020

基于深度神经网络的梯度元学习的全局收敛性和泛化界

PDF
TL;DR通过证明过参数化 DNN 是收敛于全局最优解，我们回答了 GBML with DNNs 是否具有全局收敛保证的问题；进一步证明了 GBML 等效于从过去的任务中传播经验的功能梯度下降操作，并证明了过参数化 DNNs 的 GBML 的泛化误差界限。
gradient-based meta-learningdeep neural netsfew-shot learningglobal convergencegeneralization error
发现论文，激发创造
  • 神经网络中带全局收敛保证的特征学习

    该研究通过梯度流优化模型，研究宽神经网络中的特征学习和训练损失收敛问题，证明了一定条件下训练损失会以线性速率收敛于零，并展示了该模型的学习特性和推广能力。

    Apr, 2022

  • 过拟合元学习的泛化性能理论特征化

    本文研究了使用高斯特征的线性回归模型下过拟合元学习的泛化性能，发现过拟合的 MAML 最小 L2 规范解可以有效降低泛化误差。

    Apr, 2023

  • Few-Shot 学习的 MAML 全局收敛和灵感理论神经架构搜索

    本文证明了使用过参数化的深度神经网络的元学习在全局最优点处具有线性收敛性，并提出了一种新的无训练神经架构搜索方法 MetaNTK-NAS，该方法使用 Meta Neural Tangent Kernels 对架构进行排名和选择，并在 miniImageNet 和 tieredImageNet 数据集上得到了可比较或更好的结果，速度比当前最先进的神经架构搜索方法提高了 100 倍以上。

    Mar, 2022

  • 深度网络中的泛化（IIIb 理论）

    该论文研究了深度神经网络中过拟合的问题，证明了使用特定的损失函数时神经网络的收敛性及性能，提出了一种实用的判断不同零最小化点泛化性能的方法。

    Jun, 2018

  • 深度学习的超参数化收敛理论

    通过对大规模深层神经网络的优化方法的研究，我们证明了 SGD 可以在多项式时间内发现 DNNs 训练目标上的全局极小值。

    Nov, 2018

  • 基于梯度元学习的泛化理解探索

    本文研究了神经网络在基于梯度的元学习中的泛化问题，分析了目标景观的各种特性，提出了一种新的正则化方法以增强模型的泛化能力。实验表明，在元训练提供的元解决方案的基础上，通过几步基于梯度的微调适应元训练模型到新任务时，所得到的元测试解决方案变得越来越平坦，损失更低，并且远离元训练解决方案。

    Jul, 2019

  • 学习超参数化深度 ReLU 网络的梯度下降泛化误差界

    通过算法依赖的综合误差界推导，论文解释了过度参数化的深度神经网络在合适的随机初始化下，使用梯度下降法可以获得任意小的泛化误差。

    Feb, 2019

  • 两层神经网络的梯度下降：边界最大化和简化偏差

    本文研究了 Leaky ReLU 神经网络的全局最优性，证明了线性可分对称数据上的梯度流算法能够收敛于全局最优的 “max-margin” 解，同时还对梯度下降在训练初期的 “简单度偏向” 现象进行了理论解释。

    Oct, 2021

  • 一般分布学习：深度学习的理论框架

    广义分布学习（GD Learning）是一种全新的理论学习框架，通过包含先验知识并最小化学习误差来提高性能，以处理深度学习中的各种问题，包括超参数化、非凸优化、偏差 - 方差权衡和平坦极小值的机制等。

    Jun, 2024

  • 基于梯度的元学习的可证明保证

    本文介绍了基于在线凸优化的元学习问题，并提出了一种元算法，使得流行的基于梯度的元学习和传统的基于正则化的多任务转移方法之间的差距得以弥合。我们的方法是第一个在凸设置下同时满足良好的样本效率保证，并且具有随着任务相似度提高而改善的泛化界限，同时在现代深度学习体系结构和多任务环境下具有可伸缩性的方法。尽管算法很简单，但它匹配了下限，是任何此类参数传输方法在自然任务相似度假设下的性能的常数因子。我们在凸和深度学习设置下的实验验证和演示了我们理论的适用性。

    Feb, 2019