通过使用簇抽样、加权和两阶段抽样，以及分层的抽样设计，提出了一种有效的抽样和评估框架，该框架旨在在最小化人力成本的同时提供具有强大统计保证的高质量的准确性评估。

Jul, 2019

使用改编自国际临床试验指南的估计框架，提出一种改进评估方法的方法，用于评估 AI 或机器学习模型的有效性和实用性，以揭示其潜在问题、原因和解决方案。

Jun, 2024

该研究提出了基于分层取样的策略来选取测试集的子集进行标注，以尽可能准确地估计分类器的性能，相对于简单随机取样，这些策略可以显著减少分类器精度估计中方差的误差，并且在有限标注资源下比随机取样需要更少的样本来估计分类器的准确性，有些情况下减少的样本数量高达 60％。

Jul, 2016

本研究探讨了一种简单的降低标注成本的方法，即采用分层抽样和控制变量等技术，结合文档成员身份信息和自动评估指标，从而在固定标注预算下获得更高的准确性。在测试集上，相比于纯随机抽样，平均误差降低了高达 20%。该技术易于实现且适用于类似结构的问题。

Apr, 2022

本文综述了机器学习中模型评估、模型选择和算法选择等三个子任务的不同技术，并讨论了每种技术的主要优缺点，给出了推荐实践建议。重点介绍了常见的模型评估和选择技术，如保留集方法和交叉验证技术，并给出了实用技巧。同时提出了多种算法比较策略，包括 5x2 交叉验证和嵌套交叉验证等，推荐在小数据集情况下使用。

Nov, 2018

本研究提出了一种基于元学习的框架来同时提高置信度估计模型在不均衡数据和各种数据输入情况下的表现，并在单目深度估计和图像分类任务中进行了验证。

Oct, 2022

在 Few-Shot 学习中，已经提出了许多基准测试，但是所有这些基准测试都侧重于在许多任务上平均性能，而关于如何可靠地评估和调整针对单个任务进行训练的模型的问题尚未得到解决。本文首次探讨了任务级评估，这是部署模型的基本步骤。我们衡量了少样本设置下性能估计器的准确性，考虑了模型选择的策略，并研究了通常被认为具有鲁棒性的评估器失败的原因。我们得出结论，将低折叠交叉验证作为直接估计模型性能的最佳选择，而使用自助法或大折叠交叉验证则更适用于模型选择目的。总体而言，我们发现现有的 Few-Shot 学习基准测试并不是以一种可靠的方式设计的，无法获得关于如何有效地在个别任务上使用方法的可靠画面。

Jul, 2023

本文提出一个数学模型以创造具有代表性的数据来解决机器学习模型在非代表性数据集上产生的问题。我们将数据集创建问题形式化为一个约束优化问题，并提出了一种灵活的方法，它包含模型构建者和其他利益相关者的偏好，以及学习任务的统计特性。此外，我们证明，在一定条件下，即使没有关于学习率的先前知识，该优化问题也可以高效地求解。通过在合成基因组数据上进行的模拟研究，我们发现我们提出的自适应采样策略优于多种常用的数据收集启发式算法，包括等量和比例采样，并证明了通过策略数据集设计构建公平模型的价值。

Jan, 2022

通过利用目标硬件架构和初始参数扫描，我们提出了一种新的性能建模方法，显着减少了训练样本的数量，同时保持较高的准确性。我们的方法针对单层估计达到 0.02% 的平均绝对百分比误差（MAPE），针对整个深度神经网络的估计达到 0.68% 的 MAPE，仅需不到 10000 个训练样本，相比于随机抽样的模型，实验结果证明了我们方法在单层估计中的优越性。

Jun, 2024

本文提出了一种基于自适应重要性抽样的在线评估框架，该框架可通过自适应分布来标记物品，以最大化统计精度，并通过实验验证，利用 Dirichlet-tree 模型实现了比固定标签预算的最新技术平均 MSE 更高的结果。

Jun, 2020