Nov, 2023

一种预测规模较大数据集上分类器准确性的概率方法，基于小规模试验数据

PDF
TL;DR通过使用高斯过程模型，我们提出了一种方法，可以在数据集大小增加时获取关于准确性或类似性能指标的概率推断，通过在六个数据集上的评估，我们发现我们的方法在错误、可能性和覆盖范围方面表现出色。
classifiersaccuracydata sizegaussian process modelmedical tasks
发现论文，激发创造
  • 多类别分类的性能外推：能够识别多少张人脸？

    通过使用少数类别的数据，可以预测分类器在更多类别情况下的性能表现，以生成分类器为前提，通过估算准确性分布的条件准确性分布的 k-1 时刻，可以提供性能外推的理论基础，同时探讨了方法的稳健性。

    Jun, 2016

  • 一种元学习方法用于预测性能和数据需求

    本文提出了一种用分段幂律（Piecewise Power Law，PPL）来估算模型达到目标性能所需样本数量的方法，并通过随机森林回归器进行元学习来估算 PPL 的参数，从而显著提高了对模型性能的估计效果，同时提出了一种置信区间使得预测更加准确。

    Mar, 2023

  • 我需要多少更多的数据？—— 预估下游任务的需求

    本文研究机器学习系统的数据需求估计问题，通过探究一系列广义幂律函数来更准确地估计数据集规模与目标性能之间的关系，并通过引入校正因子和多轮数据采集策略来优化数据需求估计模型，从而实现开发时间和数据获取成本的节省。

    Jul, 2022

  • 带或不带有效性保证的大规模概率预测器

    本文从理论和实践出发，研究了一种将机器学习算法转化成概率预测器的方法，并保证其有效性和计算效率；理论上完全校准的概率预测器产生不精确的概率，但合并后的精确概率预测器相较于现有方法表现更准确。

    Nov, 2015

  • 需要多少数据？第 2 部分：预测深度学习类别的训练数据集大小

    通过考虑每个类别的训练样例数量而非整体训练样例数量，本文提出了一种预测机器学习分类模型性能的算法，并应用于 CIFAR10 和 EMNIST 数据集，以解决由此引发的组合问题。

    Mar, 2024

  • 少样本分类通用性预测的统计模型

    本文提出了一种基于高斯模型的特征分布参数估计方法，通过估计类间条件密度之间的距离实现对于少样本分类任务中泛化误差的预测，并在实验中表明该方法优于 leave-one-out cross-validation 等传统方法。

    Dec, 2022

  • 用于分类的非参数校准

    提出了一种调整分类器置信度估计的方法，使其接近正确分类的概率，该方法利用了潜在高斯过程的非参数表示，并针对多类分类进行了特别设计，适用于任何输出置信度估计的分类器，不限于神经网络，实验证明其性能强。

    Jun, 2019

  • 基于狄利克雷过程的大规模校准分类高斯过程

    本文讨论了利用 Dirichlet 分布将 Gaussian 过程回归直接应用于分类标签从而在保证精确性的前提下减少计算开销的新方法。实验证明该方法在减少计算资源消耗的同时也可以提供与 Gaussian 过程分类相当的准确性和不确定性估计。

    May, 2018

  • 基于高斯过程的低数据置信图像预测的非参数模型研究

    未来状态预测在与动态环境交互中对决策具有至关重要的作用。我们提出使用非参数模型以概率化的方式预测图像序列的未来图像，并通过时间传播不确定性生成预测的置信度度量。我们利用高斯过程的数据效率和在线动态训练能力来演示我们的方法，成功预测了平滑流体模拟环境的未来帧。

    Jul, 2023

  • 提高对陌生示例的置信度估计

    本论文比较和评估了几种方法，用于改善对未知和已知样本的置信度评估。作者使用包括置信度校准，模型模拟，贝叶斯模型等方法进行评估，其中调整后的模型集合表现最佳，并且 T-scaling 是具有最快推理速度的方法之一。

    Apr, 2018