AAAIDec, 2021

分类器数据质量：一种基于几何复杂度的自动基线和见解生成方法

PDF
TL;DR该研究开发了复杂度量度，可用于量化观测数据的分类复杂度并确定基准性能阈值，其有效突出可能被错误分类的数据区域和观测数据。
machine learningai-infused applicationstestingcomplexity measuresbaseline models
发现论文，激发创造
  • 模型无关的泛化困难度度量

    该研究提出了第一个与模型无关的任务内在泛化难度度量，称为归纳偏差复杂度度量，该度量可以应用于计算和比较监督学习、增强学习和元学习的泛化难度。

    May, 2023

  • 分类问题的复杂程度如何？关于分类复杂度测量的调查

    本文介绍从训练数据集中提取的能用于特征描述的分类复杂度的测量方法，包括数据的空间分布、决策边界的形状和大小等。同时，分析了这些特征在最新研究中的应用以及未来的工作机会，并介绍了一个名为 Extended Complexity Library (ECoL) 的 R 包，该包实现了一套复杂度测量方法并对公众开放。

    Aug, 2018

  • 分类应用中衡量数据质量的新度量方法（扩展版本）

    介绍并解释一种基于分类性能和数据退化的相关演变来度量数据质量的新指标，该方法具有模型无关性，并通过大量的数值实验以及具有可控和可解释质量的案例详细验证了所提出度量标准的实用性。

    Dec, 2023

  • 基于应用数据集特征的轻量级分类难度度量

    通过提出的分类困难度度量方法，可以在进行一次模型家族的训练和测试后，通过比较难度度量来预测不同数据集和相同家族模型的相对性能，为小型数据集选择计算效率高的模型比重复训练和测试快 6 至 29 倍。

    Apr, 2024

  • AQuA: 标签质量评估的基准测试工具

    该论文提出了一个用于评估机器学习中标签错误的基准环境 AQuA，引入了标签错误检测模型的具体设计选择的设计空间，并希望借助该基准实现客观而严格的机器学习工具评估。

    Jun, 2023

  • 机器学习系统的质量管理

    本文提出了一个基于现有进展的全面质量管理框架视角，并确定了软件工程研究的新领域，以实现更可靠的人工智能。

    Jun, 2020

  • QI2 数据质量保证的交互式工具

    高数据质量的重要性随着机器学习系统和大数据的影响和分布而增加。欧洲委员会提出的计划的 AI 法案特别针对与安全相关的机器学习系统的市场引入，定义了具有挑战性的数据质量法律要求。本文介绍了一种新的方法，支持多种数据质量方面的数据质量保证过程。该方法可以验证定量数据质量要求。通过小的示例数据集介绍和解释了该概念和好处。通过对著名的 MNIST 数据集进行基于手写数字的应用演示了该方法的应用。

    Jul, 2023

  • 应用机器学习分析软件质量测试

    本文利用机器学习对可用数据进行了操作并计算出了累计软件故障程度。应用机器学习预测软件的残余缺陷，以准确预测软件故障是本文的总体目标。

    May, 2023

  • 更公平、更准确，但为谁而做？

    该论文介绍了一种比较不同风险评估模型公平性的框架，特别关注与种族和性别的不平等问题，以预测再犯率和贷款为例进行实验。

    Jun, 2017

  • 质量进出：评估异常检测基准数据的质量

    本文通过对一个用于异常检测的基于流量的真实数据集进行修改，发现相对较小的修改对模型性能的影响，强调了数据质量评估和优化技术对于自主网络的重要性。

    May, 2023