Mar, 2021

学习曲线的形状：综述

PDF
TL;DR本综述回顾了学习曲线这一术语的起源并提供了其正式定义。其中，本文最大的贡献是对学习曲线形状的文献进行了综述，讨论了高斯过程的学习曲线，以及影响它们的因素。本文特别关注了学习曲线的非理想形状，这些形状表明随着更多的训练数据，学习性能变差。最后，我们指出了各种值得深入的经验和理论问题。总的来说，我们的综述强调，学习曲线是非常多样化的，并且无法确定一个通用的模型。
发现论文，激发创造
  • 深度网络分析的学习曲线

    本研究探讨如何利用学习曲线来评估设计选择，例如预训练、架构和数据增强，发现了几个有趣的观察结果。

    Oct, 2020

  • 卷积神经网络图像分类中的学习曲线估计策略与影响

    通过估算模型的学习曲线，选择最佳模型进行全数据集训练，以减少培训时间。本文提出了一种框架和几种策略，并通过模拟学习曲线和图像分类任务的实验对这些策略进行了评估。

    Oct, 2023

  • 学习曲线理论

    本研究论文重点研究了神经网络中数据尺寸 (n) 对于训练或测试误差的普适性缩放规律，并通过研发最简单的模型来分析学习曲线，探究数据分布是否对于这种规律产生影响。

    Feb, 2021

  • 核岭回归在幂律衰减下的渐近学习曲线

    在这篇论文中，我们在温和且更现实的假设下，对学习曲线进行了全面的描述，详细阐述了正则化参数、源条件和噪声的选择对学习曲线的影响和相互作用。特别地，我们的结果表明，在噪声水平较小时，' 良性过拟合现象 ' 只存在于非常宽的神经网络中。

    Sep, 2023

  • 普适性学习理论

    本文研究了一种更贴近于实际机器学习应用的学习模型，但仍然在学习可能性方面提供了完整的理论，并通过探索万能学习问题的学习曲线发现，每个概念类的学习曲线都以指数、线性或任意缓慢的速率衰减，并提出了最优学习算法来实现每种情况下最佳的可能速率。

    Nov, 2020

  • 多重下降：设计自己的泛化曲线

    该研究探讨了可变参数模型家族中线性回归的泛化损失，证明了一般化曲线可以有任意数量的峰值，并且这些峰值位置可以明确地受到控制。结果表明，经典的 U 形一般化曲线和最近观察到的双下降曲线不是模型家族的固有属性，而是由数据和学习算法的归纳偏差相互作用所导致的。

    Aug, 2020

  • 课程学习理论与凸损失函数

    通过对困难得分和收敛速率的理论分析，研究了以适度难度曲线为基础的课程学习在凸问题中的作用并阐述它与硬数据挖掘的矛盾之处。

    Dec, 2018

  • 损失地形的曲率研究

    通过分析嵌入的黎曼流形的微分几何性质，我们研究了损失景观，并展示了与潜在推理相关的几个设置之间的联系。

    Jul, 2023

  • 经验风险的最小化和风险单调性

    该研究提出了风险单调性的正式概念，其要求风险不会随着培训集大小的增加而期望恶化。此外，该研究还发现了各种标准学习器（特别是最小化经验风险的学习器）可以在培训样本大小上无脑不单调，这为新的研究方向开辟了一条全新的途径。

    Jul, 2019

  • 神经网络梯度下降训练中的普适性尺度律

    本文通过对梯度下降训练的神经网络的优化轨迹进行研究，展示了学习轨迹可以用大训练时间的显式渐近特征描述。

    May, 2021