CTBENCH 是一个统一的库和高质量的基准测试，用于证明训练。通过在公平设置和系统调整的超参数下评估所有算法，CTBENCH 展示了几乎所有算法超越了文献中所报道的性能，并建立了新的最先进方法，同时揭示了近期算法的优势在强化基线后明显减弱。基于 CTBENCH，我们为当前的证明训练状态提供了新的见解，并提出了未来的研究方向。我们相信 CTBENCH 将成为证明训练未来研究的基准和测试平台。

Jun, 2024

MLPerf 是一个机器学习基准测试，用于量化评估训练性能和可扩展性，解决了优化训练、随机性和系统差异等挑战。

Oct, 2019

通过提出一个新的 deep neural networks 训练基准 (TBD)，并在三个主要的深度学习框架 (TensorFlow、MXNet、CNTK) 上进行广泛的性能分析，本文为 DNN 训练提供了一套新的分析工具集以及对未来研究和优化的建议。

Mar, 2018

本文系统地回顾了优化算法基准测试的过程，并讨论了公正比较的挑战。我们提供了每个步骤的建议并强调了评估优化算法性能时要避免的陷阱。我们还讨论了各种报告基准测试结果的方法。最后，提出了一些未来研究的建议以改进当前的基准测试过程。

Sep, 2017

通过模拟对比机器学习算法的整个基准测试过程，我们发现数据采样、参数初始化和超参数选择对结果的影响显著。进一步分析今天所用的主要比较方法，我们提出一种反直觉的结果，即在不增加计算成本的情况下，将更多的变化源添加到不完美的估计器中可以接近更理想的估计器。通过五个不同的深度学习任务和架构，分析改进检测错误率，提出了性能比较的建议。

Mar, 2021

通过对 rigorous experiment designs 的计算成本的探究，本研究提倡使用额外的实验范式来克服 benchmarking 的局限性。

Jun, 2024

在大数据和机器学习、深度学习以及人工智能算法得到越来越多支持的时代，急需标准化的应用基准来对这些新技术进行压力测试和评估。本文在基于标准化的 BigBench (TPCx-BB) 基准的基础上，通过引入三个新的工作负载和扩展机器学习算法的覆盖范围，丰富了改进版的 BigBench V2。我们的工作负载使用多种算法，并对同一算法在多个流行的库中（如 MLlib、SystemML、Scikit-learn 和 Pandas）的不同实现进行比较，展示了我们基准扩展的相关性和可用性。

Jun, 2024

通过计算量的减少和算法效率的提高，探讨了算法进步方面的量化问题，认为硬件和算法的效率提升是倍增的，应该综合考虑这两个因素来评估人工智能的进展。

May, 2020

数据科学研究正在经历一场由技术、互联网和不断增长的计算能力驱动的革命。我们在此提出，需要创造性地利用科学研究和算法开发社区作为强大创新的轴心，通过关键评估、社区实验和集众智等方式，让这些社区参与科学发现探索，从而带来发展新的数据驱动、可复现且经过充分基准测试的算法解决方案，来解决当前感兴趣的基础性和应用性问题。通过协调社区参与高度复杂和大规模数据的分析，可以找到最佳应对这些挑战的鲁棒方法学。当社区参与采用竞赛形式，也被称为挑战赛时，分析方法的验证在本质上得到解决，建立了性能基准。最后，挑战赛促进跨学科开放创新，创建能够直接或间接协作解决重要科学差距的社区。通过共同努力，参与者可以解决诸如健康研究、气候变化和社会公正等各种重要问题。最重要的是，挑战赛可以催化和加速将复杂数据合成知识或可执行信息的过程，应被视为一个产生持久社会和研究贡献的强大工具。

Dec, 2023

为了更好地评估超参数优化方法，本文提供了一组便宜但仍然代表现实用例的基准测试，并在基准测试上对超参数优化方法进行了广泛的性能和鲁棒性比较。

May, 2019