本文提出了一种新的基于局部统计梯度的早期停止准则，该准则完全消除了验证集的需要，并在最小二乘法、逻辑回归和神经网络的情况下被证明是一种可行的方法。

Mar, 2017

机器学习中的 K-fold 交叉验证和神经影像数据集

Jan, 2024

在这项研究中，我们对多源数据环境下的标准 K 折交叉验证和留源交叉验证方法进行了系统的实证评估，考虑了基于心电图的心血管疾病分类任务，并将 PhysioNet CinC Challenge 2021 和山东省医院的公开可用数据集进行了整合和协调。我们的结果表明，无论是单一源数据还是多源数据上的 K 折交叉验证都会在目标是推广到新的数据源时系统地高估预测性能。留源交叉验证提供了更可靠的性能估计，具有接近零的偏差但较大的可变性。这种评估凸显了关于在医学数据上获取具有误导性的交叉验证结果的危害，并展示了在拥有多源数据的情况下如何减轻这些问题。

Mar, 2024

本研究介绍了一种比 K 折交叉验证更少变异的 J-K 折交叉验证方法，用于评估自然语言处理任务中机器学习模型的性能和参数调整，探讨了如何选择 J 和 K 的问题以及该方法的应用于情感分类、词性标注和文档分类等不同领域的案例表现。

Jun, 2018

本文提出了一种通用的基于增量学习算法的交叉验证 (Cross-validation) 的性能估计方法，并通过实验表明其在减少计算负担，以及对数据规模扩展和分布式实现上均具有良好的性能。

Jun, 2015

提供数量证据来推动研究者使用嵌套交叉验证方法，同时介绍在研究设计中进行机器学习分析的功率分析方法和 MATLAB 代码，使用 Monte Carlo 模拟比较了四种不同的交叉验证方法，在统计效力和统计置信度方面比较，结果表明嵌套 10 折交叉验证具有最高的统计置信度和统计效力，而样本量要求比单次留存法少 50%，嵌套交叉验证模型的置信度比单次留存法模型高四倍。

Aug, 2023

本文综述了机器学习中模型评估、模型选择和算法选择等三个子任务的不同技术，并讨论了每种技术的主要优缺点，给出了推荐实践建议。重点介绍了常见的模型评估和选择技术，如保留集方法和交叉验证技术，并给出了实用技巧。同时提出了多种算法比较策略，包括 5x2 交叉验证和嵌套交叉验证等，推荐在小数据集情况下使用。

Nov, 2018

本文介绍了一种名为 Blocked Cross-validation（BCV）的新方法，在超参数调整方面比传统的 Repeated Cross-validation（RCV）提供更精确的错误估计，即使运行的数量显著减少，也能实现更高的准确度和更低的计算复杂度。

Jun, 2023

本文提出了一种基于非参数检验和顺序分析的改良型交叉验证程序，可以在保留完整的交叉验证性能的同时，快速找到最佳参数集，比完整的交叉验证计算时间减少了高达 120 倍，并对准确性影响不大。

Jun, 2012

通过研究我们发现，在机器学习模型的性能评估中，交叉验证方法会引入分布偏差现象，导致性能评估及超参数优化受到负面影响。为了解决这个问题，我们提出了一个通用的校正分布偏差的交叉验证方法，并通过合成模拟和多个已发布的实验验证结果。

Jun, 2024