Nov, 2018

机器学习中的模型评估、模型选择和算法选择

PDF
TL;DR本文综述了机器学习中模型评估、模型选择和算法选择等三个子任务的不同技术，并讨论了每种技术的主要优缺点，给出了推荐实践建议。重点介绍了常见的模型评估和选择技术，如保留集方法和交叉验证技术，并给出了实用技巧。同时提出了多种算法比较策略，包括 5x2 交叉验证和嵌套交叉验证等，推荐在小数据集情况下使用。
发现论文，激发创造
  • 模型选择技术概述

    本文综述了模型选择领域的各种方法，包括统计，信息论和信号处理等方面的研究。讨论了模型选择的意义、表现和适用性，并提供了一些关于实践中的争议观点。

    Oct, 2018

  • K 折交叉验证是否是机器学习最佳模型选择方法？

    机器学习中的 K-fold 交叉验证和神经影像数据集

    Jan, 2024

  • 比较贝叶斯预测方法用于模型选择

    该论文对比了几种在实际模型选择问题中广泛使用的贝叶斯模型选择方法，重点关注回归和分类的变量子集选择，并使用模拟和现实世界的数据进行了几次数值实验。结果表明，考虑到模型不确定性是预测效果最好的。此外，投影法明显优于交叉验证得分的基于选择的方法，并且交叉验证在指导模型大小选择和评估最终选择的模型的预测性能方面大有裨益。

    Mar, 2015

  • 模型选择的交叉验证程序综述

    本研究对交叉验证在模型选择中的表现进行了综述，其中特别强调了实证研究结果和理论研究结果的区别，并给出了根据问题特征选择最佳交叉验证程序的指南。

    Jul, 2009

  • 基于多准则比较的知识引导机器学习方法的推进

    描述了一种有应用广泛的模型评估方法，能够根据核心科学原理和更实用的结果评估人工智能 / 机器学习模型。该方法通过心理学和决策科学的预测竞赛产生，对各种类型和结构的候选模型进行了多个科学、理论和实际标准的综合评估，使用计算社会选择领域的投票规则进行标准分数的排序评估，可以对不同测量和模型类型进行整体评价。还讨论了其他优势和应用。

    Mar, 2024

  • 一种高效的模型评估框架： 分层、抽样和估计

    模型性能评估是机器学习和计算机视觉中的关键而昂贵的任务。在本文中，我们提出了一种模型评估的统计框架，包括分层、抽样和估计组成部分。我们的实验表明，通过基于准确的模型性能预测进行 k-means 聚类的分层方法能够提供比传统的简单随机抽样更为精确的准确度估计。

    Jun, 2024

  • 无监督机器学习模型选择中的主观性

    本研究以隐马尔可夫模型为例，调查了模型选择过程中涉及的主观性，发现参与者和大型语言模型在不同的应用场景下存在选择的差异和不一致性，结果突出了在模型选择过程中制定标准化方式以记录主观选择的重要性。

    Sep, 2023

  • 不要浪费时间：早停止交叉验证

    使用早停法进行交叉验证的模型选择，可以更高效地收敛，涵盖更多搜索空间，并实现更好的性能。

    May, 2024

  • 机器学习算法超参数优化：理论与实践

    本篇论文研究了常见机器学习模型的超参数优化，介绍了一些最先进的优化技术，并讨论了如何将它们应用于机器学习算法。同时，也提供了许多用于超参数优化问题的库和框架，并在基准数据集上进行了实验，以比较不同优化方法的性能，提供超参数优化的实际例子。该综述论文将帮助工业用户、数据分析师和研究人员通过有效地识别适当的超参数配置来更好地开发机器学习模型。

    Jul, 2020

  • 基于统计模型的主动学习

    本文回顾了如何使用最优数据选择技术来优化一些类型的机器学习算法，包括前馈神经网络、高斯混合模型和局部加权回归，并探讨了此方法如何降低训练数据量，提高模型性能。

    Mar, 1996