本文提出了一种利用标准频率回归模型通过网络架构、超参数和时间序列验证性能数据来预测部分训练模型配置的最终性能的方法，并证明该方法在视觉分类和语言建模领域中是有效的。同时，我们提出了一种早期停止方法，可用于超参数优化和元模建模，加速了模型配置的优化过程，该方法在强化学习 - based 架构选择算法和基于贝叶斯思想的搜索方法中均可无缝集成。

May, 2017

参数化机器学习加速器可通过硬件加速深度神经网络和非神经网络的机器学习算法进行设计空间探索，其中采用了物理设计驱动的学习预测框架，结合后端功耗、性能和面积分析以及前端性能模拟，实现了对后端 PPA 和运行时能耗等系统指标的真实估计，并引入了完全自动化的设计空间探索技术，通过对架构和后端参数的自动搜索来优化后端和系统指标。实验结果表明，该方法在两种深度学习加速器平台（VTA 和 VeriGOOD-ML）的 ASIC 实现中，无论是商业 12 纳米工艺还是研究导向的 45 纳米工艺，都能以平均 7％或更低的预测误差一致准确地预测后端 PPA 和系统指标。

Aug, 2023

本文提出一种全新的 All-in-One Predictor (AIO-P) 来有效地预测多个计算机视觉任务下的深度学习模型的性能表现，并采用多领域神经网络结构，以及知识融入技术，经过大量的实验证明，该方法可以为新架构的预测和决策提供有力支持，并在多个任务中取得了显著的性能优势。

Nov, 2022

模型性能评估是机器学习和计算机视觉中的关键而昂贵的任务。在本文中，我们提出了一种模型评估的统计框架，包括分层、抽样和估计组成部分。我们的实验表明，通过基于准确的模型性能预测进行 k-means 聚类的分层方法能够提供比传统的简单随机抽样更为精确的准确度估计。

Jun, 2024

准确评估预测模型对于确保可靠的预测至关重要。我们提出了一个新的框架，从多个角度评估单变量时间序列预测模型，比如一步预测和多步预测。通过与经典预测技术比较，我们展示了这一框架的优势，并发现 NHITS 在多步预测上表现最佳，同时在异常处理方面被 Theta 等方法超越。这些发现突显了基于方面的模型评估的重要性。

Jun, 2024

MLPerf 是一个机器学习基准测试，用于量化评估训练性能和可扩展性，解决了优化训练、随机性和系统差异等挑战。

Oct, 2019

该研究利用基于规范的容量控制指标和基于幂律的重尾自正则化理论的度量方法对数百个公开可用的预训练模型进行了详细的元分析，发现基于幂律的度量方法可以更好地区分预训练模型的良好培训和质量低劣的模型。

Feb, 2020

本研究分析了当前用于图像识别的大多数深度神经网络 (DNN) 的性能指标，包括识别准确率、模型复杂度、计算复杂度、内存使用和推断时间等，并通过在两种不同计算机架构上的实验来测量指标，以帮助研究者们了解目前已经研究探索的解决方案及其未来发展方向，并帮助从业者选择最适合其资源限制的 DNN 架构。

Oct, 2018

AdaPruner 是一种自适应数据集修剪框架，通过消除冗余的训练样本和减少计算和内存开销来提高模型性能和效率，可以在无需显式定义度量标准的情况下有效地修剪数据集并进行模型微调，展现了高可伸缩性和兼容性，并在修剪了训练数据的情况下显著提高了模型性能，同时节省了存储和计算成本。

Dec, 2023

该研究提出了一种新的深度神经网络准确性预测器，可以预测未知输入数据集的分类性能，在不需要任何训练的情况下，在单个 GPU 上每秒超过 100 个网络，大规模架构搜索只需要几分钟。

Jun, 2018