通过估算模型的学习曲线，选择最佳模型进行全数据集训练，以减少培训时间。本文提出了一种框架和几种策略，并通过模拟学习曲线和图像分类任务的实验对这些策略进行了评估。

Oct, 2023

本综述回顾了学习曲线这一术语的起源并提供了其正式定义。其中，本文最大的贡献是对学习曲线形状的文献进行了综述，讨论了高斯过程的学习曲线，以及影响它们的因素。本文特别关注了学习曲线的非理想形状，这些形状表明随着更多的训练数据，学习性能变差。最后，我们指出了各种值得深入的经验和理论问题。总的来说，我们的综述强调，学习曲线是非常多样化的，并且无法确定一个通用的模型。

Mar, 2021

本文介绍了一种自动化机器学习的新方法，通过优化成对排名损失和利用其他数据集的学习曲线，能够在不必观察太多或非常长的学习曲线的情况下，有效地进行学习曲线排序，提高神经结构搜索的速度，并分析了模型各组成部分的影响和预测行为。

Jun, 2020

本研究分析了课程学习对深度神经网络训练的影响，使用转移学习和自举法解决难度排序问题，以及不同的步伐函数指导采样，并最终证明其有效地修改了优化模型的全局最小解。

Apr, 2019

本文针对在随机梯度下降优化凸线性回归损失时的课程学习进行了理论研究，并探讨了在训练卷积神经网络时如何通过迁移学习推断课程学习。实验证明，理论与实践表现相似，课程学习能够有效地提升模型的泛化性能，并对异常情况拥有鲁棒性。

Feb, 2018

本文提出通过损失函数对训练样本曲率的测量来对神经网络的记忆化能力进行研究和分析。通过对 popular image datasets 的样本进行测量、可视化和排序，研究展示了神经网络在长尾数据、错误标签和冲突样本方面的记忆化失效，并发现了 CIFAR100 数据集中存在的重复标签问题。实验结果表明，通过曲率排序可以有效地找到疑似错误标签的样本。

Jul, 2023

本研究论文重点研究了神经网络中数据尺寸 (n) 对于训练或测试误差的普适性缩放规律，并通过研发最简单的模型来分析学习曲线，探究数据分布是否对于这种规律产生影响。

Feb, 2021

采用热力学和推理之间的形式对应来定义学习容量，该容量是对模型有效维度的度量，与 PAC-Bayesian 框架获得的容量概念具有数值上的一致性，是许多基于典型数据集训练的深度网络的参数数量的一小部分，而且取决于训练时使用的样本数量，可以用于理解有效维度，即使是对于随机森林和 kNN 分类器等非参数模型。

May, 2023

通过分析嵌入的黎曼流形的微分几何性质，我们研究了损失景观，并展示了与潜在推理相关的几个设置之间的联系。

Jul, 2023

本文研究了一种更贴近于实际机器学习应用的学习模型，但仍然在学习可能性方面提供了完整的理论，并通过探索万能学习问题的学习曲线发现，每个概念类的学习曲线都以指数、线性或任意缓慢的速率衰减，并提出了最优学习算法来实现每种情况下最佳的可能速率。

Nov, 2020