WWWJun, 2023

AQuA: 标签质量评估的基准测试工具

PDF
TL;DR该论文提出了一个用于评估机器学习中标签错误的基准环境 AQuA，引入了标签错误检测模型的具体设计选择的设计空间，并希望借助该基准实现客观而严格的机器学习工具评估。
machine learninglabeling errorsbenchmarklabel error detection modelsaqua
发现论文，激发创造
  • 质量进出：评估异常检测基准数据的质量

    本文通过对一个用于异常检测的基于流量的真实数据集进行修改，发现相对较小的修改对模型性能的影响，强调了数据质量评估和优化技术对于自主网络的重要性。

    May, 2023

  • 测试集中普遍出现标签错误，破坏机器学习基准

    利用自信学习算法和众包验证方法发现了 10 个常用计算机视觉、自然语言和音频数据集的测试集中的标签错误问题，并探讨了这些标签错误对基准结果的影响以及建议应该使用经过正确标注的测试集来评估模型的有效性，对于高比例的标记错误的现实世界数据集，低容量的模型可能比高容量的模型更实用。

    Mar, 2021

  • 分类器数据质量：一种基于几何复杂度的自动基线和见解生成方法

    该研究开发了复杂度量度，可用于量化观测数据的分类复杂度并确定基准性能阈值，其有效突出可能被错误分类的数据区域和观测数据。

    Dec, 2021

  • 通过任意模型评估语义分割数据的标签质量和误差

    研究了用于自动检测语义分割数据集中标注错误的算法，其中应用了 7 种不同的质量评分方法，最有效的方法是使用准确率和召回率的模型预测概率的软最小值来识别标注错误的图像。

    Jul, 2023

  • 在实验室和野外学习盲目评估图像质量

    通过多个畸变场景下的图像数据库训练，我们提出的盲视觉质量评估深度网络模型可以有效地在实验室和野外进行盲目评估，比以前的方法具有更高的评估精度。

    Jul, 2019

  • PMLB: 机器学习评估和比较的大型基准测试套件

    本文介绍了一个可访问、策划和开发的公共基准资源，用于促进不同机器学习方法的优缺点的识别。我们比较了这一资源中当前一组基准数据集的元特征，以表征可用数据的多样性。最后，我们应用了一些已经建立的机器学习方法到整个基准套件，并分析数据集和算法在性能方面是如何聚类的。该工作是了解流行基准套件的限制并开发将现有的基准标准与未来更多样化和有效标准相连接的资源的重要第一步。

    Mar, 2017

  • 使用 Krippendorff Alpha 评估注释数据的质量，用于计算机视觉应用

    本文旨在研究深度学习模型中标注数据的影响因素，以及如何通过监测数据标注质量来提高算法精度和准确性。通过多个数据标注实验，作者发现标注过程、训练数据和评估数据等因素是确保 AI 系统可信度的基本要素。

    Dec, 2019

  • 关于机器学习数据质量维度与工具的调研

    机器学习中数据质量评估工具的回顾与比较，提出了开源数据质量工具发展的路线图，并探讨了大型语言模型和生成式人工智能在数据质量评估和改进中的潜在应用。

    Jun, 2024

  • 基于动态数据过滤的训练可能不适用于自然语言处理数据集

    探讨了使用 Area Under the Margin（AUM）度量方法来识别和去除 / 修正自然语言处理数据集中错误标记的样本，表明该方法可以滤除 NLP 数据集中的错误标记，但也会去除大量正确标记点并导致大量相关语言信息的丧失。模型依靠分布信息而非依赖句法和语义表示。

    Sep, 2021

  • 利用人机交互提升计算机视觉数据集质量

    本研究引入了一个轻量级、用户友好、可扩展的框架 “Multilabelfy”，通过人机智能的协同作用，实现了高效的数据集验证和质量提升，同时突出了多标签占比的重要性，发现 ImageNetV2 数据集中约 47.88% 的图像包含至少两个标签，这凸显了对这类有影响力的数据集更严格评估的需求，并揭示了潜在标签数与模型准确性之间的负相关关系。

    Jan, 2024