CVPRMar, 2023

一种元学习方法用于预测性能和数据需求

PDF
TL;DR本文提出了一种用分段幂律（Piecewise Power Law，PPL）来估算模型达到目标性能所需样本数量的方法，并通过随机森林回归器进行元学习来估算 PPL 的参数，从而显著提高了对模型性能的估计效果，同时提出了一种置信区间使得预测更加准确。
model performancedataset sizepower lawpiecewise power lawconfidence bound
发现论文，激发创造
  • 我需要多少更多的数据？—— 预估下游任务的需求

    本文研究机器学习系统的数据需求估计问题，通过探究一系列广义幂律函数来更准确地估计数据集规模与目标性能之间的关系，并通过引入校正因子和多轮数据采集策略来优化数据需求估计模型，从而实现开发时间和数据获取成本的节省。

    Jul, 2022

  • 需要多少数据？第 2 部分：预测深度学习类别的训练数据集大小

    通过考虑每个类别的训练样例数量而非整体训练样例数量，本文提出了一种预测机器学习分类模型性能的算法，并应用于 CIFAR10 和 EMNIST 数据集，以解决由此引发的组合问题。

    Mar, 2024

  • 一种预测规模较大数据集上分类器准确性的概率方法，基于小规模试验数据

    通过使用高斯过程模型，我们提出了一种方法，可以在数据集大小增加时获取关于准确性或类似性能指标的概率推断，通过在六个数据集上的评估，我们发现我们的方法在错误、可能性和覆盖范围方面表现出色。

    Nov, 2023

  • 智能电网中数据稀缺下的少样本负荷预测：元学习方法

    该论文提出了一种基于元学习算法的短期负荷预测方法，通过少量训练样本在任意长度的未知负荷时间序列中快速适应和泛化，并通过历史负荷消耗数据集的评估表明，该方法能够准确预测负荷，比传统的迁移学习和任务特定的机器学习方法提高了 12.5% 的准确度。

    Jun, 2024

  • 速通和机器学习中的幂律趋势

    研究发现，破解世界纪录的时间随着时间的推移呈现出幂律分布，利用这一规律建立的随机效应模型可以有效预测该领域的未来发展趋势，并能超越当前的预测模型在机器学习领域的表现，进一步揭示了该领域的发展潜力和不确定性。

    Apr, 2023

  • 利用幂律缩放应对人工智能面临的关键挑战

    使用幂律缩放在深度学习中有助于处理当前人工智能应用中的关键挑战，可用于测量训练复杂性和机器学习任务算法的量化层次，并建立数据集大小估计的基准以实现期望的测试准确性。

    Nov, 2022

  • 深度集成中的幂律

    该研究探究了深度集成的负对数似然函数在集成规模和成员网络规模方面遵循幂律的行为，发现与一个大的网络相比，具有相同参数总数的若干个中等大小的网络集成可以获得更好的性能。研究者发现这种 “memory split” 效应并发现了幂律运动的动力学，并利用此进行了性能预测。

    Jul, 2020

  • 超越神经网络规模定律：通过数据修剪击败幂律缩放

    通过使用高质量的数据剪枝度量来破解神经网络权重学习数据集大小的幂律估计，可以实现更好的误差缩放。本文进行了实证研究，并测试了十种不同的数据剪枝度量，发现现有的大多数度量在 ImageNet 上表现不佳。作者因此开发了一种新的自监督剪枝度量，具有与最佳监督度量相当的性能。研究表明，发现好的数据剪枝度量可能是深度学习资源消耗大幅降低的一个可行途径。

    Jun, 2022

  • 不使用训练或测试数据预测最先进神经网络质量趋势

    该研究利用基于规范的容量控制指标和基于幂律的重尾自正则化理论的度量方法对数百个公开可用的预训练模型进行了详细的元分析，发现基于幂律的度量方法可以更好地区分预训练模型的良好培训和质量低劣的模型。

    Feb, 2020

  • 利用性能预测加速神经架构搜索

    本文提出了一种利用标准频率回归模型通过网络架构、超参数和时间序列验证性能数据来预测部分训练模型配置的最终性能的方法，并证明该方法在视觉分类和语言建模领域中是有效的。同时，我们提出了一种早期停止方法，可用于超参数优化和元模建模，加速了模型配置的优化过程，该方法在强化学习 - based 架构选择算法和基于贝叶斯思想的搜索方法中均可无缝集成。

    May, 2017