Jun, 2023

基于机器学习的分类数据缺失值填充

PDF
TL;DR本研究探讨了使用机器学习算法来预测和填补分类数据集中的缺失值，着重于采用纠错输出编码 (ECOC) 框架的集成模型，包括基于 SVM 和 KNN 的集成模型，以及结合了 SVM、KNN 和 MLP 模型的集成分类器。我们将这些算法应用于三个数据集：CPU 数据集、甲状腺机能减退数据集和乳腺癌数据集。我们的实验表明，机器学习算法能够在预测和填补缺失值方面取得良好的性能，但具体的数据集和缺失值模式可能会有所不同。基于 ECOC 框架的集成模型在提高预测的准确性和鲁棒性方面特别有效，但使用深度学习进行缺失值填补也存在挑战和局限性，包括需要大量标记数据和可能出现过拟合的问题。需要进一步研究深度学习算法在缺失值填补方面的有效性和效率，并制定应对可能出现的挑战和限制的策略。
machine learningensemble modelsmissing value imputationecoc frameworkdeep learning
发现论文，激发创造
  • 监督学习的缺失数据插补

    本文比较了不同的方法在监督分类任务中填补缺失分类数据的效果，并证明了方法可以提高预测准确性，并达到了 Missing-data perturbation 和 k-nearest-neighbors imputation 下准确率的最新水平。

    Oct, 2016

  • 医疗数据中的缺失值和填补：可解释机器学习能提供帮助吗？

    本文介绍了一种在解决缺失数据问题时使用可解释机器学习的方法。将高精度的玻璃盒可解释性增强机（EBMs）用于缺失值处理，可帮助用户更好地了解缺失机制并检测可能引入的风险。实验表明了该方法在处理真实医疗数据集时的有效性。

    Apr, 2023

  • 基于健康数据库的预测模型缺失值处理方法的基准测试

    本文系统评估了处理缺失值的策略在预测模型中的效果，重点关注大型健康数据库，结果表明，在监督式机器学习中自然支持的缺失值预测表现优于最先进的插补方法，且计算成本更低。

    Feb, 2022

  • 医疗数据缺失值填补技术的性能评估

    该研究比较了七种填补技术在三个医疗数据集上的表现，结果显示 Missforest 填补法表现最好，其次是 MICE 填补法；此外，研究还表明在处理包含缺失值的数据时，首先进行填补再进行特征选择效果更好。

    Mar, 2024

  • 多元时间序列插补的深度学习：综述

    通过对最近提出的深度学习插补方法进行综合调查，本文首先提出了一种分类法，然后通过强调其优势和局限性对这些方法进行了结构化的审查。同时，我们还进行了实证实验，研究了不同方法并比较了它们对下游任务的改进效果。最后，指出了未来研究多变量时间序列插补的开放问题。

    Feb, 2024

  • 统计学习中的确定性和近似确定性模型

    本文提出了一种统一的方法，以验证数据插补对于学习准确模型是否必要，并在插补不必要的情况下返回准确模型。通过我们的算法，可以显著减少数据插补所需的时间和工作量，并且不会带来明显的计算负担。

    Feb, 2024

  • 数据库内数据填充

    通过在数据库系统中使用 MICE 方法，本研究实现了高效、高质量和可扩展的数据填充，充分利用计算共享和环形抽象技术以加快模型训练并在 PostgreSQL 和 DuckDB 中取得了比其他 MICE 实现和基于模型填充技术快两个数量级的计算时间，同时保持了高水平的填充质量。

    Jan, 2024

  • 表格数据中的缺失值插值扩散模型

    本文提出了一种用于 Tabular 数据的基于条件分数的扩散模型方法（TabCSDI），并研究了热点问题中的三种处理技术。实验结果表明与现有方法相比，TabCSDI 是有效的，同时也强调了分类嵌入技术的重要性。

    Oct, 2022

  • 适应缺失值的公平干预

    该论文研究了缺失数据对算法公平性的影响，并提出了一种可扩展和自适应的公平分类算法来处理所有可能的缺失模式，以保留缺失模式中编码的信息，并在多个数据集上实验证明该算法相比于传统的 impute-then-classify 方法在公平性和准确性上具有优势。

    May, 2023

  • 面向较好的缺失数据建模：一种基于对比学习的可视分析视角

    本研究提出了一种对待处理缺失数据的机器学习模型建模的对比学习框架，该框架通过学习不完整样本与其完整对应物之间的相似性和其他样本之间的不相似性来解决现有方法中的三个主要缺点，并引入了可解释技术来可视化学习过程和诊断模型状态，结果表明该方法在不需要填充缺失值的情况下具有高预测准确性和模型可解释性。

    Sep, 2023