本论文提出了一个模型不可知的数据集评估框架，通过基于经典测试理论的统计分析，评估数据集的可靠性、难度和有效性等三个基本维度，并以命名实体识别为案例研究，介绍了 9 个统计指标用于评估数据集的质量，实验结果和人工评估验证了该框架的有效性，发现数据集质量对模型绩效有显著影响，因此在模型训练或测试前应进行数据集质量评估或针对性的数据集改进。

Dec, 2022

该论文提出了一种具有社会关注的领域特定语言来描述机器学习数据集的结构以及数据出处的新方法，这将促进任何机器学习倡议来利用和从机器学习的数据中获益。

Jul, 2022

本文主要探讨机器学习和计算机视觉领域中的目标识别问题，认为其根源在于缺乏知识表示方法，因此提出了一种基于图像属性的分类方法，并在 ImageNet 数据集上进行了验证。

Feb, 2022

通过提出一套可解释性方法对比两个数据集，我们展示了这种方法在各种数据模式下的多功能性，不仅在解释质量和正确性方面优于相关方法，而且能够提供行动性的、互补的见解来有效理解和减轻数据集的差异。

Mar, 2024

本文扩展了 Shifts 数据集，加入了两个来源于高风险工业应用的数据集，用于探索模型的鲁棒性和不确定性估计。新数据集包括 3D 磁共振脑图像中白质多发性硬化病变的分割和船舶功耗的估计，具有普遍分布转移和严格的安全要求。

Jun, 2022

通过集合理论推导和实验，我们对泛化进行定义并提出了一种有效的泛化方法，实验证实了定义的准确性和方法的有效性。

Nov, 2023

通过添加一小部分未见图片到训练集中，我们的方法可以降低训练与注释成本，提高监督式深度学习模型的泛化性能，并在动态环境中对未见数据的模型性能提供估计。

Aug, 2023

本研究提出了 Shifts 数据集，用于评估不确定性预测和对分布偏移的鲁棒性，并提供了基线结果和任务描述。

Jul, 2021

使用 Data Maps 工具基于模型的训练动态量化和诊断数据集。实验结果表明，数据地图揭示了数据集中的模糊、易于学习和难以学习的区域，这些发现对于构建健壮的模型和提高分布外泛化能力非常重要。

Sep, 2020

本文提出了一个自动化框架来测量数据分布对自然语言处理模型性能和评估的影响，并通过两组实验表明数据的分布对评估具有统计学上的重要性，并且可预测模型的泛化能力。

Mar, 2024