本文证明运行基准测试是困难的，并展示了在两个广泛研究的数据集上的问题，Movielens 10M 的基准测试报告的结果亚优，而对基线的细致设置可以改善结果并超越任何新提出的方法，Netflix Prize 社区需要巨大的努力才能获得简单方法的高质量结果，研究论文的实证研究结果是否可靠需要在经过了研究社区的细致调整的标准基准测试上进行。

May, 2019

本研究介绍了十个具有不同特性（包括噪声、不连续性、参数估计和未知路径）的新基准，用于测试新优化算法及其变种以评估其性能。

Aug, 2023

该研究提出一种新的基于社会选择理论的系统排名方法，用于评估机器学习中使用 benchmark 的效果。该方法在评估自然语言处理中的预训练模型时更为可靠且稳健，有别于简单的平均聚合，可为实际应用提供最佳的系统选择。

Feb, 2022

本文介绍了一个可访问、策划和开发的公共基准资源，用于促进不同机器学习方法的优缺点的识别。我们比较了这一资源中当前一组基准数据集的元特征，以表征可用数据的多样性。最后，我们应用了一些已经建立的机器学习方法到整个基准套件，并分析数据集和算法在性能方面是如何聚类的。该工作是了解流行基准套件的限制并开发将现有的基准标准与未来更多样化和有效标准相连接的资源的重要第一步。

Mar, 2017

本研究理论分析了动态基准测试的两种实现方式，第一种模型中，模型性能最初会有所提高，但只会在三轮后停滞，而第二种模型则保证了比第一种模型更多的进展，但复杂度更高，并通过模拟动态基准测试的结果来验证了理论分析，为动态基准测试提供了理论和实践上的支持。

Oct, 2022

通过重新实现 DistMult 模型，本文发现几乎所有在 FB15k 标准数据集上发布的模型的准确性都可以被我们适当调整基线模型超越，表明最近模型的性能改进可能不是由于架构变化，而是由于超参数调整或不同的训练目标。这应促使未来的研究重新考虑如何评估和报告模型的性能。

May, 2017

该论文介绍了最近在系统辨识理论中发展起来的非渐近方法，重点介绍了在该领域的一系列问题中特别有用的工具，如覆盖技术、Hanson-Wright 不等式和自标准化马丁格尔方法，并使用这些工具对用于识别自回归模型中的参数的各种最小二乘估计器的性能给出了简化的证明。最后概述了如何将所提出的思想扩展到某些非线性辨识问题。

Sep, 2023

该论文基于新型和经典数据集引入了一个无结构数据情况下的基准测试，评估了几种经典和神经基础模型，并发现基于静态领域词汇表示的轻量级词袋模型在多年的文本数据中获得了出人意料的良好结果。

Aug, 2022

本文介绍了一个新的模拟基准数据集 DynaBench, 用于直接从稀疏散乱的数据中学习动力系统。该数据集着重于通过低分辨率、非结构化的测量预测动力学系统的演变，并评估了几个机器学习模型（包括传统的图神经网络和点云处理模型）。

Jun, 2023

通过在 6 个具有挑战性的数据集上定量和定性地比较 40 个最先进的模型（28 个显著性目标检测、10 个注视预测、1 个目标性、1 个基准）以进行显著目标检测和分割方法的基准测试，评价显示，这个领域在准确度和运行时间方面在过去几年里有了持续的快速进步。对于这个问题，我们发现显著目标检测专门设计的模型通常比相关领域中的模型表现更好，这为问题的精确定义提供了提示，并提出了一些可能的解决方案和未来的研究方向。

Jan, 2015