Mar, 2024

临床机器学习中多源交叉验证的实证研究

PDF
TL;DR在这项研究中，我们对多源数据环境下的标准 K 折交叉验证和留源交叉验证方法进行了系统的实证评估，考虑了基于心电图的心血管疾病分类任务，并将 PhysioNet CinC Challenge 2021 和山东省医院的公开可用数据集进行了整合和协调。我们的结果表明，无论是单一源数据还是多源数据上的 K 折交叉验证都会在目标是推广到新的数据源时系统地高估预测性能。留源交叉验证提供了更可靠的性能估计，具有接近零的偏差但较大的可变性。这种评估凸显了关于在医学数据上获取具有误导性的交叉验证结果的危害，并展示了在拥有多源数据的情况下如何减轻这些问题。
发现论文，激发创造
  • K 折交叉验证是否是机器学习最佳模型选择方法？

    机器学习中的 K-fold 交叉验证和神经影像数据集

    Jan, 2024

  • 分布偏差对留一交叉验证的影响

    通过研究我们发现，在机器学习模型的性能评估中，交叉验证方法会引入分布偏差现象，导致性能评估及超参数优化受到负面影响。为了解决这个问题，我们提出了一个通用的校正分布偏差的交叉验证方法，并通过合成模拟和多个已发布的实验验证结果。

    Jun, 2024

  • 不要浪费时间：早停止交叉验证

    使用早停法进行交叉验证的模型选择，可以更高效地收敛，涵盖更多搜索空间，并实现更好的性能。

    May, 2024

  • 通过空间 k 折交叉验证估计空间模型的预测性能

    本文研究机器学习中的空间自相关问题，提出了基于空间 k 折交叉验证的方法，并通过三个真实开放数据集的实验验证了该方法的有效性和应用性。

    May, 2020

  • 大数据贝叶斯留一验证

    模型推理是模型开发的重要部分，Leave-one-out 交叉验证方法在评估模型泛化能力方面普遍适用，但是不适用于大型数据集。我们提出了一种结合近似推理技术和大小为概率比例采样的方法，用于快速评估大型数据集的 LOO 模型，提供了理论和实证结果来说明其性能优良。

    Apr, 2019

  • 增量学习的快速交叉验证

    本文提出了一种通用的基于增量学习算法的交叉验证 (Cross-validation) 的性能估计方法，并通过实验表明其在减少计算负担，以及对数据规模扩展和分布式实现上均具有良好的性能。

    Jun, 2015

  • 在语音、语言和听力科学中迈向具有普适性的机器学习模型：功效分析和样本量估计

    提供数量证据来推动研究者使用嵌套交叉验证方法，同时介绍在研究设计中进行机器学习分析的功率分析方法和 MATLAB 代码，使用 Monte Carlo 模拟比较了四种不同的交叉验证方法，在统计效力和统计置信度方面比较，结果表明嵌套 10 折交叉验证具有最高的统计置信度和统计效力，而样本量要求比单次留存法少 50%，嵌套交叉验证模型的置信度比单次留存法模型高四倍。

    Aug, 2023

  • 关于参数学习中的最优泛化

    本文提出了一种快速且准确的基于参数学习的交叉验证策略 ALOOCV，并利用其开发了一种基于经验风险最小化框架的正则化优化算法。

    Nov, 2017

  • 机器学习中的模型评估、模型选择和算法选择

    本文综述了机器学习中模型评估、模型选择和算法选择等三个子任务的不同技术，并讨论了每种技术的主要优缺点，给出了推荐实践建议。重点介绍了常见的模型评估和选择技术，如保留集方法和交叉验证技术，并给出了实用技巧。同时提出了多种算法比较策略，包括 5x2 交叉验证和嵌套交叉验证等，推荐在小数据集情况下使用。

    Nov, 2018

  • 使用 J-K 折交叉验证在微调 NLP 模型时降低方差

    本研究介绍了一种比 K 折交叉验证更少变异的 J-K 折交叉验证方法，用于评估自然语言处理任务中机器学习模型的性能和参数调整，探讨了如何选择 J 和 K 的问题以及该方法的应用于情感分类、词性标注和文档分类等不同领域的案例表现。

    Jun, 2018