Jun, 2024

使用主动学习量化本地模型的有效性

PDF
TL;DR通过主动学习减少所需数据量并学习模型错误来获得本地有效性估计，而不是全局指标太不敏感或评估本地有效性成本过高。使用模型验证基准，提供实证证据表明该方法能够在使用相对较少的数据量时生成具有足够辨别性能的错误模型，同时相比于替代方法，对于本地有效性边界的局部变化具有增强的敏感性。
machine learning modelsregulationsvalidityapproximation erroractive learning
发现论文，激发创造
  • 所有模型都是局部的：用重复局部验证代替外部验证的时间

    通过 MLOps 启发的重复本地验证范式，保证模型有效性，同时防止不断改变的数据变异对模型性能的破坏。外部验证不足以建立 ML 模型的安全性或实用性。

    May, 2023

  • 机器学习模型本地可靠性的高效估计

    本文提出了分析估计器，用于高效计算多类辨别模型的局部鲁棒性，并证实了这些估计器在标准深度学习模型中准确且高效地计算局部鲁棒性，突出了局部鲁棒性的概念理解的进步，并使其计算实用化，能够在关键的下游应用中使用。

    Jul, 2023

  • 制造业自动视觉检测中的主动学习和新模型校准测量

    本研究比较了三种主动学习方法和视觉检测，提出了六个新的指标来评估校准质量，并探讨了现有校准器是否能通过利用近似基准事实来扩大校准集合来提高性能。研究结果表明，即使在达到 0.95 的阈值时，探索的主动学习设置也可以将数据标注工作量减少三到四个百分点，并且不会损害整体质量目标。此外，研究结果表明，建议的校准指标成功捕获相关信息，无需获取基准事实数据，可以用于估计模型概率校准的质量。

    Sep, 2022

  • 机器学习预测的局部和全局可解释度度量

    本文提供了一种新颖的量化指标框架，用于解释分类器和回归模型的预测结果，旨在提高人工智能系统的透明度和可信度。应用公开数据集，展示了这些指标如何更全面地理解模型预测，并在决策者和利益相关者之间促进更好的沟通，从而增加人工智能系统的整体透明度和问责度。

    Feb, 2023

  • 基于统计模型的主动学习

    本文回顾了如何使用最优数据选择技术来优化一些类型的机器学习算法，包括前馈神经网络、高斯混合模型和局部加权回归，并探讨了此方法如何降低训练数据量，提高模型性能。

    Mar, 1996

  • 面向物体检测的定位感知主动学习

    本文介绍了两种度量目标假设信息量的度量方法：localization tightness 和 localization stability，这些方法可以使基于分类的主动学习算法更加有效地用于减少标注数据量以达到目标物体检测性能，实验结果表明，使用这些度量方法可以将所需标注数据量减少高达 25%。

    Jan, 2018

  • 临床机器学习中的有效性问题：间接数据标注使用共识定义

    机器学习在医学疾病诊断这一关键应用领域存在一个有效性问题，当训练数据中的目标标签通过间接测量确定时，若基础测量数据包括在输入数据表示中，则机器学习模型只会学会复原已知目标定义，导致模型在与其类似的测试数据上表现完美，但在现实世界中，当定义的基础测量无法完全获取时，模型将在可接近灾难的程度上失败。我们提出了一个通用的流程用于识别存在问题的数据集和黑盒机器学习模型，并将我们的检测流程应用于败血症早期预测任务。

    Nov, 2023

  • 公平主动学习

    本文提出了一种基于公平主义的主动学习算法，旨在平衡机器学习模型的准确性和公平性，并在多个基准数据集上验证了其有效性和效率。

    Jan, 2020

  • 聚合输出的回归主动学习

    提出使用互信息测量方法的主动学习模型，使用 Bayesian linear basis functions 模型，在训练聚合数据的回归模型时减少标注集的成本，并实现更好的预测性能。

    Oct, 2022

  • 深度学习模型的本地有效和判别预测区间

    通过最近的完全预测方法 [13, 33]，并利用核回归的经典思想，我们提出了局部有效和区分预测间隔（LVD）的一种简单、高效、轻量级方法，用于为几乎任何 DL 模型构建区分预测间隔（PIs）。我们在各种数据集上进行了实证验证，结果表明，除了是 DL 的唯一局部有效方法外，LVD 还超过或匹配现有不确定性量化方法的性能（包括覆盖率和预测准确性），同时在可扩展性和灵活性方面提供了额外的好处。

    Jun, 2021