通过自编码器处理的空间中的决策树特征评估数据集质量

Jun, 2023

通过自编码器处理的空间中的决策树特征评估数据集质量

Assessing Dataset Quality Through Decision Tree Characteristics in Autoencoder-Processed Spaces

Szymon Mazurek, Maciej Wielgosz

TL;DR本文探讨了机器学习分类任务中数据集质量评估的重要性，并提出了一个综合性框架进行数据集质量评估，旨在帮助研究人员和实践者评估数据集是否足够且具有特定任务所需的质量。

Abstract

In this paper, we delve into the critical aspect of dataset quality assessment in machine learning classification tasks. Leveraging a variety of nine distinct datasets, each crafted for classification tasks with varying complexity levels, we illustrate the profound impact of dataset qu

dataset quality assessment machine learning feature selection data volume data quality

发现论文，激发创造

质量进出：评估异常检测基准数据的质量

本文通过对一个用于异常检测的基于流量的真实数据集进行修改，发现相对较小的修改对模型性能的影响，强调了数据质量评估和优化技术对于自主网络的重要性。

May, 2023

统计数据集评估：可靠性，难度和有效性

本论文提出了一个模型不可知的数据集评估框架，通过基于经典测试理论的统计分析，评估数据集的可靠性、难度和有效性等三个基本维度，并以命名实体识别为案例研究，介绍了 9 个统计指标用于评估数据集的质量，实验结果和人工评估验证了该框架的有效性，发现数据集质量对模型绩效有显著影响，因此在模型训练或测试前应进行数据集质量评估或针对性的数据集改进。

Dec, 2022

关于机器学习数据质量维度与工具的调研

机器学习中数据质量评估工具的回顾与比较，提出了开源数据质量工具发展的路线图，并探讨了大型语言模型和生成式人工智能在数据质量评估和改进中的潜在应用。

Jun, 2024

基于预训练深度神经网络的图像质量评估与掩模算法

本研究提出了一种基于深度学习的图像质量评估算法，利用自编码器学习高质量天文图像的特征，从而实现自动评估图像质量和噪声区域的遮盖，提高数据处理效率。该算法经过两种情景的测试，证明能够有效识别点扩散函数和复杂背景所影响的区域，可用于不同的天文巡天项目中的图像质量评估，进一步提高数据处理的速度和稳定性。

May, 2024

深度判别潜空间聚类

本研究提出优化自动编码器的磨损和判别力对数的预训练阶段，以获得更高的聚类准确性和更快的收敛速度。

May, 2018

基于自编码器的制造质量控制与无监督类别选择

基于视觉异常检测和无监督类别选择的缺陷定位自编码器在制造业中提高缺陷检测的准确度和可靠性。

Sep, 2023

一种数据中心的框架，用于改进特定领域的机器阅读理解数据集

本文提出了一个旨在增强原始数据集数据质量的框架，并应用于四个生物医学数据集，使用回译技术提高数据集质量，在 BioASQ 数据集上表现出相对提高了 33%/40% 的检索 / 阅读器模型的微调效果。

Apr, 2023

评估可信 AI 医学数据质量的 METRIC 框架：一项系统综述

通过系统评估医学数据集合，我们提出了 METRIC 框架，该框架包含了 15 个数据质量意识维度，帮助减少偏见、增加稳健性、提高可解释性，从而为医学中可信赖的人工智能奠定了基础。

Feb, 2024

大数据生态系统中提升数据质量的 AI 驱动框架：错误检测、修正和元数据集成

该研究论文提出了一套新的互联框架，旨在全面提升大数据质量，包括引入新的质量指标和加权评分系统，采用人工智能模型检测各种质量异常，以及通过预测建模纠正检测到的异常，并着重讨论了在大数据生态系统中提高元数据质量的创新框架。

May, 2024

应用典型度量方法评估决策树处理未知车辆碰撞数据的可靠性

研究论文通过理论和实验，探讨了 ε- 代表性方法在决策树中评估数据集相似性的可靠性，发现 ε- 代表性与特征重要性排序具有显著相关性，并将结果扩展到 XGboost 在未见车辆碰撞数据中的应用。

Apr, 2024