- Open RL 基准：强化学习的全面跟踪实验
Open RL Benchmark 是第一个旨在提高和促进领域内研究人员工作的 RL 基准，它包含了一套完全跟踪的 RL 实验数据，以及算法特定和系统度量，成功复现了超过 25000 次运行的 RL 实验，涵盖了多个 RL 库和参考实现，并 - 低资源场景中 PoS 标注器模型的建模
在资源匮乏的情景下，我们评估了早期学习曲线估计作为选择在非深度学习者应用的最适模型的实用机制，以提高性能并控制成本。使用西伊比利亚 - 罗曼斯语族中的加利西亚语作为案例研究，实验结果与我们的预期一致。
- 卷积神经网络图像分类中的学习曲线估计策略与影响
通过估算模型的学习曲线，选择最佳模型进行全数据集训练，以减少培训时间。本文提出了一种框架和几种策略，并通过模拟学习曲线和图像分类任务的实验对这些策略进行了评估。
- 语言模型预训练中的学习曲线特征：学习、遗忘和稳定性
语言模型在预训练时如何学习进行预测？通过提取来自五个自回归英语语言模型预训练运行的学习曲线，我们观察到语言模型在学习生成更长更连贯的文本前会生成短重复短语。我们量化了上下文中个体标记的学习曲线的最终惊奇度、运行内变异度、习得年龄、忘却度以及 - 一次迭代是否足够进行多重准确性超参数优化？
调研中发现多样性 MF-HPO 基准测试应包含更复杂的案例，同时建议研究人员始终使用建议的基准测试以及多样性 MF-HPO 方法的基准测试结果需要延长计算时间。
- 异质特征子采样岭回归集成的学习曲线
特征集合是一种旨在通过在特征的随机子样或投影上对组合估计器进行训练以减少预测方差的成熟集合方法。我们引入异质特征集合方法，在具有不同特征维度数量的估计器上构建，考虑其在线性回归设置中的性能。我们研究了一个线性预测器的组合，每个预测器使用岭回 - 多类学习的通用速率
研究了多类别分类的通用速率问题，证明了所有假设类的最优速率（最多对数因子），基于有限和无限 Littlestone 树和 Danieley-Shalev-Shwartz-Littleston tree 定义了 DSL 树，并提供了更精确限制 - MM委派分类
提出了一种激励感知的机器学习任务委托理论框架来防止利益冲突及影响预测性能的问题，并通过学习曲线和标度律构建小规模数据所需的预算最优合约以实现性能和经济成果的综合评估。
- 使用可微分窗口转换学习归一化熵曲线排名
本文提出了一种新颖的学习曲线排序模型 ACTR2，特别针对在在线广告和推荐系统中常用的标准化熵（NE）学习曲线进行排序，并通过自适应曲线变换层和差分曲线排名结构实现了优于现有方法的性能表现。
- 重新审视语言和视觉中的神经缩放定律
本篇研究介绍一种更严谨的方法来预测深度学习中的规模效益，提供了一种可靠的方法来估计缩放参数并通过发布基准数据集以帮助该领域的研究。
- 从学习曲线挑战中进行元学习：第一轮的经验教训和第二轮的设计
本论文介绍了一系列基于强化学习的元学习挑战，并分析了第一轮竞赛的结果，探讨了元学习者从学习曲线中学习成功的关键因素。同时，基于第一轮竞赛的经验和参与者的反馈，设计了新的协议和元数据集，开展了第二轮挑战。
- MM使用超图世界模型中的最大似然路径进行目标无关规划
本研究提出了一种基于超图的机器学习算法，一种数据结构驱动的维护方法，以及一种基于概率应用 Dijkstra 算法的规划算法，从而形成了一个目标不可知的自动化学习代理计划引擎，该引擎结合了经典机器学习和传统人工智能的有益特性。我们证明了该算法 - ACL神经语言模型中的词汇习得
研究神经语言模型在训练过程中如何获取单词，并提取 MacArthur-Bates 交际发展清单上 600 多个单词的学习曲线和获取年龄。与儿童的单词获取研究结合，评估 LSTMs、BERT 和 GPT-2 模型的多种预测因素，发现模型对单词 - 学习曲线的形状：综述
本综述回顾了学习曲线这一术语的起源并提供了其正式定义。其中，本文最大的贡献是对学习曲线形状的文献进行了综述，讨论了高斯过程的学习曲线，以及影响它们的因素。本文特别关注了学习曲线的非理想形状，这些形状表明随着更多的训练数据，学习性能变差。最后 - 使用师生模型学习真实数据集的通用特征映射的学习曲线
本文介绍一种 Gaussian 协变量泛化的 teacher-student 模型，可以在固定特征映射生成的不同空间中进行操作，可以捕捉广泛的现实数据集的学习曲线，并证明了渐近训练损失和泛化误差的严谨公式，讨论了该框架的能力和局限性。
- 学习曲线理论
本研究论文重点研究了神经网络中数据尺寸 (n) 对于训练或测试误差的普适性缩放规律，并通过研发最简单的模型来分析学习曲线，探究数据分布是否对于这种规律产生影响。
- 深度网络分析的学习曲线
本研究探讨如何利用学习曲线来评估设计选择，例如预训练、架构和数据增强，发现了几个有趣的观察结果。
- Slice Tuner：一种用于准确和公平机器学习模型的选择性数据采集框架
本文提出了利用切片优化数据采集的方法 Slice Tuner，通过维护学习曲线并使用凸优化来选择不同切片的数据量，以便在保证准确性和公平性的同时优化模型。在使用众包数据采集的真实数据集上评估了 Slice Tuner，并证明了其显著优于传统 - ICML缺失数据下 PCA 的相变：降低信噪比而非样本量！
本文研究探讨缺失数据如何影响我们学习信号结构，提出了概率主成分分析的方法用于估算缺失数据模型的信号结构，理论表明缺失数据会有效降低信噪比，而不是像通常认为的降低样本量，预测出学习曲线中的临界状态和相变现象，这一结论在模拟数据和真实数据中都得 - Wasserstein GAN
介绍了一种名为 WGAN 的新算法，可以提高学习的稳定性，解决 GAN 训练中的问题，提供有用的学习曲线进行调试和超参数搜索，并提供相关的理论工作，强调了与其他分布之间的深层次联系。