Feb, 2022

基于健康数据库的预测模型缺失值处理方法的基准测试

PDF
TL;DR本文系统评估了处理缺失值的策略在预测模型中的效果，重点关注大型健康数据库，结果表明，在监督式机器学习中自然支持的缺失值预测表现优于最先进的插补方法，且计算成本更低。
missing-valuespredictive modelshealth databasesimputationsupervised machine learning
发现论文，激发创造
  • 医疗数据中的缺失值和填补：可解释机器学习能提供帮助吗？

    本文介绍了一种在解决缺失数据问题时使用可解释机器学习的方法。将高精度的玻璃盒可解释性增强机（EBMs）用于缺失值处理，可帮助用户更好地了解缺失机制并检测可能引入的风险。实验表明了该方法在处理真实医疗数据集时的有效性。

    Apr, 2023

  • 时间序列健康数据深度填补缺失值：综述与基准评估

    本文以五个时间序列健康数据集和六个实验条件为基准，展开数据中心的方法来评估最先进的深度插补方法，发现没有单一的插补方法在所有五个数据集上表现最佳，插补表现取决于数据类型，变量统计，缺失率和类型，这表明在选择多变量时间序列数据的缺失值插补方法时要考虑数据的特定情况。

    Feb, 2023

  • 监督学习的缺失数据插补

    本文比较了不同的方法在监督分类任务中填补缺失分类数据的效果，并证明了方法可以提高预测准确性，并达到了 Missing-data perturbation 和 k-nearest-neighbors imputation 下准确率的最新水平。

    Oct, 2016

  • 医疗数据缺失值填补技术的性能评估

    该研究比较了七种填补技术在三个医疗数据集上的表现，结果显示 Missforest 填补法表现最好，其次是 MICE 填补法；此外，研究还表明在处理包含缺失值的数据时，首先进行填补再进行特征选择效果更好。

    Mar, 2024

  • 适应缺失值的公平干预

    该论文研究了缺失数据对算法公平性的影响，并提出了一种可扩展和自适应的公平分类算法来处理所有可能的缺失模式，以保留缺失模式中编码的信息，并在多个数据集上实验证明该算法相比于传统的 impute-then-classify 方法在公平性和准确性上具有优势。

    May, 2023

  • 缺失指示器法：从低维到高维

    本文介绍了一种用于处理缺失数据的方法 ——Missing Indicator Method，该方法通过在特征矩阵中添加缺失模式指示变量来搭配数据的填充，能够提高模型性能，同时还针对高维数据可能出现的模型过拟合问题，提出了一种 SMIM 扩展方法，并在实际的临床数据任务中表明了方法的实用性。

    Nov, 2022

  • 统计学习中的确定性和近似确定性模型

    本文提出了一种统一的方法，以验证数据插补对于学习准确模型是否必要，并在插补不必要的情况下返回准确模型。通过我们的算法，可以显著减少数据插补所需的时间和工作量，并且不会带来明显的计算负担。

    Feb, 2024

  • 自适应预测缺失数据的优化

    训练具有缺失条目的预测模型时，我们可以利用两阶段自适应优化问题来处理缺失数据，并提出了一种新类模型，即自适应线性回归模型，其中回归系数根据观测特征进行自适应。我们展示了一些自适应线性回归模型等价于同时学习一个填充规则和一个下游线性回归模型，而不是顺序学习。我们利用这种联合填充 - 回归解释来推广我们的框架到非线性模型。在数据不随机缺失的情况下，我们的方法可以提高 2-10% 的样本外准确率。

    Feb, 2024

  • 基于特征重要性的迭代缺失值填补

    通过考虑特征重要性，我们设计了一种基于矩阵完成和特征重要性学习的填补算法，实验证明该方法在处理缺失值方面优于现有的五种填补算法。

    Nov, 2023

  • 数据库内数据填充

    通过在数据库系统中使用 MICE 方法，本研究实现了高效、高质量和可扩展的数据填充，充分利用计算共享和环形抽象技术以加快模型训练并在 PostgreSQL 和 DuckDB 中取得了比其他 MICE 实现和基于模型填充技术快两个数量级的计算时间，同时保持了高水平的填充质量。

    Jan, 2024