Nov, 2022

缺失指示器法：从低维到高维

PDF
TL;DR本文介绍了一种用于处理缺失数据的方法 ——Missing Indicator Method，该方法通过在特征矩阵中添加缺失模式指示变量来搭配数据的填充，能够提高模型性能，同时还针对高维数据可能出现的模型过拟合问题，提出了一种 SMIM 扩展方法，并在实际的临床数据任务中表明了方法的实用性。
missing indicator methodmissing datadata imputationinformative missing patternsselective mim
发现论文，激发创造
  • 监督学习的缺失数据插补

    本文比较了不同的方法在监督分类任务中填补缺失分类数据的效果，并证明了方法可以提高预测准确性，并达到了 Missing-data perturbation 和 k-nearest-neighbors imputation 下准确率的最新水平。

    Oct, 2016

  • 基于健康数据库的预测模型缺失值处理方法的基准测试

    本文系统评估了处理缺失值的策略在预测模型中的效果，重点关注大型健康数据库，结果表明，在监督式机器学习中自然支持的缺失值预测表现优于最先进的插补方法，且计算成本更低。

    Feb, 2022

  • 基于特征重要性的迭代缺失值填补

    通过考虑特征重要性，我们设计了一种基于矩阵完成和特征重要性学习的填补算法，实验证明该方法在处理缺失值方面优于现有的五种填补算法。

    Nov, 2023

  • 医疗数据中的缺失值和填补：可解释机器学习能提供帮助吗？

    本文介绍了一种在解决缺失数据问题时使用可解释机器学习的方法。将高精度的玻璃盒可解释性增强机（EBMs）用于缺失值处理，可帮助用户更好地了解缺失机制并检测可能引入的风险。实验表明了该方法在处理真实医疗数据集时的有效性。

    Apr, 2023

  • 统计学习中的确定性和近似确定性模型

    本文提出了一种统一的方法，以验证数据插补对于学习准确模型是否必要，并在插补不必要的情况下返回准确模型。通过我们的算法，可以显著减少数据插补所需的时间和工作量，并且不会带来明显的计算负担。

    Feb, 2024

  • 适应缺失值的公平干预

    该论文研究了缺失数据对算法公平性的影响，并提出了一种可扩展和自适应的公平分类算法来处理所有可能的缺失模式，以保留缺失模式中编码的信息，并在多个数据集上实验证明该算法相比于传统的 impute-then-classify 方法在公平性和准确性上具有优势。

    May, 2023

  • 机器学习模型在缺失数据下的可解释性

    模型解释中，遗漏数据与解晰人工智能相关联的相关领域的一个主要因素，在本文中，经验性地研究了各种填充方法对 Shapley 值（一种解释复杂机器学习模型的流行技术）的计算的影响。通过比较不同填充策略，评估其对 Shapley 值决定的特征重要性和交互作用的影响，理论上分析了缺失值对 Shapley 值的影响。结果表明，填充方法的选择可能引入偏差，从而改变 Shapley 值，影响模型的解释性，强调了在机器学习模型中考虑填充效应以确保可靠洞见的重要性。

    Jun, 2024

  • 缺失数据填补中的公平性

    本研究探讨了缺失数据补全方法的公平性，发现缺失值补全在敏感群体中存在公平性问题，因此有必要对相关因素进行仔细研究，以减少与缺失数据补全相关的不公平性。

    Oct, 2021

  • 基于时间的迭代插补策略用于多变量纵向临床数据

    本文提出了一种简单的新方法，即基于时间依赖的迭代插补（TDI），用于填补临床数据中的缺失值，该方法针对多变量和纵向数据，并基于数据的临床模式（包括缺失率和测量频率）引入了患者、变量和观察特定的动态加权策略。对 MIMIC III 和 COVID-19 住院病例进行的测试表明，TDI 可提高风险预测的准确性。

    Apr, 2023

  • 面向较好的缺失数据建模：一种基于对比学习的可视分析视角

    本研究提出了一种对待处理缺失数据的机器学习模型建模的对比学习框架，该框架通过学习不完整样本与其完整对应物之间的相似性和其他样本之间的不相似性来解决现有方法中的三个主要缺点，并引入了可解释技术来可视化学习过程和诊断模型状态，结果表明该方法在不需要填充缺失值的情况下具有高预测准确性和模型可解释性。

    Sep, 2023