过拟合元学习的泛化性能理论特征化
本文研究了神经网络在基于梯度的元学习中的泛化问题，分析了目标景观的各种特性，提出了一种新的正则化方法以增强模型的泛化能力。实验表明，在元训练提供的元解决方案的基础上，通过几步基于梯度的微调适应元训练模型到新任务时，所得到的元测试解决方案变得越来越平坦，损失更低，并且远离元训练解决方案。
Jul, 2019
深度神经网络在人工智能领域带来了革命性的进展，但面对分布转移时常常缺乏性能。传统神经网络假设训练和测试数据服从同一分布，然而实际应用中这一假设经常被违反。元学习作为一种有前景的方法，通过获取可传递的知识来快速适应各种任务，从而消除了从头学习每个任务的需求。本文基于特征提取策略和分类器学习方法的新分类法，全面调查了元学习在领域泛化方面的贡献，详细介绍了该领域的基础知识，并提供了关于未来研究方向的实践见解和深入讨论。
Apr, 2024
本文概述了 “过参数化机器学习” 的新理论，通过统计信号处理的角度解释最近研究发现的相应现象和结果，着重强调了这个研究领域的独特性和开放的问题。
Sep, 2021
对深度神经网络（DNN）进行逆向训练以提高其对敌对扰动的鲁棒性是一种被广泛采用的方法。然而，经验观察到，对于超参数化网络的逆向训练往往存在 “鲁棒过拟合” 问题：它可以实现接近于零的逆向训练错误，但鲁棒性的泛化性能不佳。本文从逼近的角度对逆向训练中过拟合的 DNN 的泛化能力进行了理论研究，得出了三个主要结果：i）对于分类问题，我们通过构造证明在超参数化的 DNNs 上存在无穷多的逆向训练分类器，可以获得任意小的逆向训练错误（过拟合），同时在数据质量、明显分离和扰动水平等方面满足一定条件时可以获得良好的鲁棒泛化误差。ii）只要目标函数足够平滑，线性超参数化（即参数数量略大于样本大小）就足以确保这种存在性。iii）对于回归问题，我们的结果证明，在逆向训练中存在无穷多的超参数化过拟合 DNNs，可以实现几乎最优的标准泛化误差收敛速率。总体来说，我们的分析指出，鲁棒过拟合是可以避免的，但所需的模型容量将取决于目标函数的平滑程度，而鲁棒泛化差距是不可避免的。我们希望我们的分析能够更好地从逼近的角度理解 DNNs 的鲁棒性的数学基础。
Jan, 2024
本文研究了超模型学习中的 MAML 算法在监督学习问题的推广性质，探讨了训练 MAML 模型的任务和样本数量对其推广误差的影响。我们提出了一种新的稳定性定义，从而捕捉了任务数和每个任务样本数对 MAML 推广误差的作用。
Feb, 2021
通过证明过参数化 DNN 是收敛于全局最优解，我们回答了 GBML with DNNs 是否具有全局收敛保证的问题；进一步证明了 GBML 等效于从过去的任务中传播经验的功能梯度下降操作，并证明了过参数化 DNNs 的 GBML 的泛化误差界限。
Jun, 2020
本文提出了一种简单而有效的方法，通过在每个参数的内部循环优化中随机删除梯度来缓解基于梯度的元学习的过拟合风险，从而改善了深度神经网络在新任务上的泛化性能。 作者在大量计算机视觉任务上进行了实验和分析，证明了梯度丢失规范化可以缓解过拟合问题并提高各种基于梯度的元学习框架的性能。
Apr, 2020
本研究旨在探讨部分相似性对转移学习表现的影响，在探究各种类型的转移学习的基础上，提供了实用的指导，以确定共同部分和任务特定部分的特征数，从而实现更好的泛化性能。
Jun, 2023