Nov, 2023

交叉验证与突变验证在模型选择中的经验比较

PDF
TL;DR通过比较变异验证方法和 k 折交叉验证方法，我们发现两种方法在选择模型的泛化性能上表现相当，但变异验证方法在选择简化模型和计算成本方面具有优势。然而，在某些情况下，变异验证方法选择过于简化的模型，导致欠拟合，并在超参数选择方面表现不稳定。
发现论文，激发创造
  • K 折交叉验证是否是机器学习最佳模型选择方法？

    机器学习中的 K-fold 交叉验证和神经影像数据集

    Jan, 2024

  • 近似交叉验证：模型评价和选择的保证

    通过单个牛顿推的启动程序，实现了对大量训练数据集的 CV 的近似，解决了 CV 运行时间长的问题；本文提供了一致的非渐进性，确定性的模型评估保证，同时也保证了与 CV 相当的模型选择性能。

    Mar, 2020

  • 比较贝叶斯预测方法用于模型选择

    该论文对比了几种在实际模型选择问题中广泛使用的贝叶斯模型选择方法，重点关注回归和分类的变量子集选择，并使用模拟和现实世界的数据进行了几次数值实验。结果表明，考虑到模型不确定性是预测效果最好的。此外，投影法明显优于交叉验证得分的基于选择的方法，并且交叉验证在指导模型大小选择和评估最终选择的模型的预测性能方面大有裨益。

    Mar, 2015

  • 模型选择的交叉验证程序综述

    本研究对交叉验证在模型选择中的表现进行了综述，其中特别强调了实证研究结果和理论研究结果的区别，并给出了根据问题特征选择最佳交叉验证程序的指南。

    Jul, 2009

  • 临床机器学习中多源交叉验证的实证研究

    在这项研究中，我们对多源数据环境下的标准 K 折交叉验证和留源交叉验证方法进行了系统的实证评估，考虑了基于心电图的心血管疾病分类任务，并将 PhysioNet CinC Challenge 2021 和山东省医院的公开可用数据集进行了整合和协调。我们的结果表明，无论是单一源数据还是多源数据上的 K 折交叉验证都会在目标是推广到新的数据源时系统地高估预测性能。留源交叉验证提供了更可靠的性能估计，具有接近零的偏差但较大的可变性。这种评估凸显了关于在医学数据上获取具有误导性的交叉验证结果的危害，并展示了在拥有多源数据的情况下如何减轻这些问题。

    Mar, 2024

  • 高斯过程在模型误差条件下的超参数交叉验证和最大似然估计

    研究估计协方差超参数的最大似然（ML）和交叉验证（CV）方法， 结果发现 CV 方法在协方差函数被错误指定时表现更好，但当模型被很好指定时，ML 更优。进一步将单参数情况扩展到了估计具有协方差函数的超参数的情况。

    Jan, 2013

  • 不要浪费时间：早停止交叉验证

    使用早停法进行交叉验证的模型选择，可以更高效地收敛，涵盖更多搜索空间，并实现更好的性能。

    May, 2024

  • 机器学习中的模型评估、模型选择和算法选择

    本文综述了机器学习中模型评估、模型选择和算法选择等三个子任务的不同技术，并讨论了每种技术的主要优缺点，给出了推荐实践建议。重点介绍了常见的模型评估和选择技术，如保留集方法和交叉验证技术，并给出了实用技巧。同时提出了多种算法比较策略，包括 5x2 交叉验证和嵌套交叉验证等，推荐在小数据集情况下使用。

    Nov, 2018

  • 方阻交叉验证：一种精确高效的超参数调优方法

    本文介绍了一种名为 Blocked Cross-validation（BCV）的新方法，在超参数调整方面比传统的 Repeated Cross-validation（RCV）提供更精确的错误估计，即使运行的数量显著减少，也能实现更高的准确度和更低的计算复杂度。

    Jun, 2023

  • 使用 J-K 折交叉验证在微调 NLP 模型时降低方差

    本研究介绍了一种比 K 折交叉验证更少变异的 J-K 折交叉验证方法，用于评估自然语言处理任务中机器学习模型的性能和参数调整，探讨了如何选择 J 和 K 的问题以及该方法的应用于情感分类、词性标注和文档分类等不同领域的案例表现。

    Jun, 2018