使用 J-K 折交叉验证在微调 NLP 模型时降低方差

COLINGJun, 2018

使用 J-K 折交叉验证在微调 NLP 模型时降低方差

Using J-K fold Cross Validation to Reduce Variance When Tuning NLP Models

Henry B.Moss, David S.Leslie, Paul Rayson

TL;DR本研究介绍了一种比 K 折交叉验证更少变异的 J-K 折交叉验证方法，用于评估自然语言处理任务中机器学习模型的性能和参数调整，探讨了如何选择 J 和 K 的问题以及该方法的应用于情感分类、词性标注和文档分类等不同领域的案例表现。

Abstract

k-fold cross validation (CV) is a popular method for estimating the true performance of machine learning models, allowing model selection and parameter tuning. However, the very process of CV requires random part

k-fold cross validation machine learning models parameter tuning j-k-fold cv natural language processing

发现论文，激发创造

K 折交叉验证是否是机器学习最佳模型选择方法？

机器学习中的 K-fold 交叉验证和神经影像数据集

Jan, 2024

增量学习的快速交叉验证

本文提出了一种通用的基于增量学习算法的交叉验证 (Cross-validation) 的性能估计方法，并通过实验表明其在减少计算负担，以及对数据规模扩展和分布式实现上均具有良好的性能。

Jun, 2015

方阻交叉验证：一种精确高效的超参数调优方法

本文介绍了一种名为 Blocked Cross-validation（BCV）的新方法，在超参数调整方面比传统的 Repeated Cross-validation（RCV）提供更精确的错误估计，即使运行的数量显著减少，也能实现更高的准确度和更低的计算复杂度。

Jun, 2023

通过空间 k 折交叉验证估计空间模型的预测性能

本文研究机器学习中的空间自相关问题，提出了基于空间 k 折交叉验证的方法，并通过三个真实开放数据集的实验验证了该方法的有效性和应用性。

May, 2020

多类分类问题中 k 折配置的枚举

通过组合枚举算法，我们引入了一种方法来测试声称的性能分数和实验设置的一致性，以解决人工智能所面临的可重复性危机。

Jan, 2024

不要浪费时间：早停止交叉验证

使用早停法进行交叉验证的模型选择，可以更高效地收敛，涵盖更多搜索空间，并实现更好的性能。

May, 2024

近似交叉验证：模型评价和选择的保证

通过单个牛顿推的启动程序，实现了对大量训练数据集的 CV 的近似，解决了 CV 运行时间长的问题；本文提供了一致的非渐进性，确定性的模型评估保证，同时也保证了与 CV 相当的模型选择性能。

Mar, 2020

快速交叉验证通过顺序测试

本文提出了一种基于非参数检验和顺序分析的改良型交叉验证程序，可以在保留完整的交叉验证性能的同时，快速找到最佳参数集，比完整的交叉验证计算时间减少了高达 120 倍，并对准确性影响不大。

Jun, 2012

临床机器学习中多源交叉验证的实证研究

在这项研究中，我们对多源数据环境下的标准 K 折交叉验证和留源交叉验证方法进行了系统的实证评估，考虑了基于心电图的心血管疾病分类任务，并将 PhysioNet CinC Challenge 2021 和山东省医院的公开可用数据集进行了整合和协调。我们的结果表明，无论是单一源数据还是多源数据上的 K 折交叉验证都会在目标是推广到新的数据源时系统地高估预测性能。留源交叉验证提供了更可靠的性能估计，具有接近零的偏差但较大的可变性。这种评估凸显了关于在医学数据上获取具有误导性的交叉验证结果的危害，并展示了在拥有多源数据的情况下如何减轻这些问题。

Mar, 2024

分布偏差对留一交叉验证的影响

通过研究我们发现，在机器学习模型的性能评估中，交叉验证方法会引入分布偏差现象，导致性能评估及超参数优化受到负面影响。为了解决这个问题，我们提出了一个通用的校正分布偏差的交叉验证方法，并通过合成模拟和多个已发布的实验验证结果。

Jun, 2024