Nov, 2022

解决数据集中缺失问题的方法论研究及其在人口健康数据集中的应用

PDF
TL;DR本研究提出了一种处理健康数据集中缺失数据的方法，通过结合生成合成数据集、缺失数据插补和深度学习方法来解决缺失数据问题，并使用高斯混合模型、聚类、分类和直接插补分析等综合性能分析框架评估，得出当采用 DAE 方法进行插补时，模型的对数损失最低且性能表现较好，该方法对于处理其他领域的缺失数据同样适用。
missing datasynthetic datasetsimputationdeep learningmodel performance
发现论文，激发创造
  • 比较多重插补技术的方法：以美国国家 COVID 队列合作为例的案例研究

    本研究提出了一种新的框架，以数字方式评估在统计分析背景下处理缺失数据的策略，特别关注多重插补技术，并在 National COVID Cohort Collaborative 提供的大型 2 型糖尿病患者队列上进行了实证研究，结果显示多重插补技术可以有效地处理缺失数据。

    Jun, 2022

  • 基于健康数据库的预测模型缺失值处理方法的基准测试

    本文系统评估了处理缺失值的策略在预测模型中的效果，重点关注大型健康数据库，结果表明，在监督式机器学习中自然支持的缺失值预测表现优于最先进的插补方法，且计算成本更低。

    Feb, 2022

  • 统计学习中的确定性和近似确定性模型

    本文提出了一种统一的方法，以验证数据插补对于学习准确模型是否必要，并在插补不必要的情况下返回准确模型。通过我们的算法，可以显著减少数据插补所需的时间和工作量，并且不会带来明显的计算负担。

    Feb, 2024

  • MIDA: 使用去噪自编码器进行多重插补

    本文提出一种基于过完备去噪深度自编码器的多重插补模型，可以处理不同的数据类型、缺失模式、缺失比例和分布，评估表明我们的模型在多种条件下显著优于现有的最先进方法，同时改善了末端的线性分析。

    May, 2017

  • 时间序列健康数据深度填补缺失值：综述与基准评估

    本文以五个时间序列健康数据集和六个实验条件为基准，展开数据中心的方法来评估最先进的深度插补方法，发现没有单一的插补方法在所有五个数据集上表现最佳，插补表现取决于数据类型，变量统计，缺失率和类型，这表明在选择多变量时间序列数据的缺失值插补方法时要考虑数据的特定情况。

    Feb, 2023

  • 适应缺失值的公平干预

    该论文研究了缺失数据对算法公平性的影响，并提出了一种可扩展和自适应的公平分类算法来处理所有可能的缺失模式，以保留缺失模式中编码的信息，并在多个数据集上实验证明该算法相比于传统的 impute-then-classify 方法在公平性和准确性上具有优势。

    May, 2023

  • 面向较好的缺失数据建模：一种基于对比学习的可视分析视角

    本研究提出了一种对待处理缺失数据的机器学习模型建模的对比学习框架，该框架通过学习不完整样本与其完整对应物之间的相似性和其他样本之间的不相似性来解决现有方法中的三个主要缺点，并引入了可解释技术来可视化学习过程和诊断模型状态，结果表明该方法在不需要填充缺失值的情况下具有高预测准确性和模型可解释性。

    Sep, 2023

  • 生成合理的医疗记录合成数据集

    通过对患者数据集进行聚类，我们提出了一种新方法来生成二进制数据集，该方法不同于 Generative adversarial networks（GANs），生成的模型易于解释，且通过比较实际应用数据集的多个参数得出的结果表明，该方法生成的人造数据集在多个指标上比现有方法更为逼真。

    Jul, 2018

  • 缺失数据填补中的公平性

    本研究探讨了缺失数据补全方法的公平性，发现缺失值补全在敏感群体中存在公平性问题，因此有必要对相关因素进行仔细研究，以减少与缺失数据补全相关的不公平性。

    Oct, 2021

  • 基于特征重要性的迭代缺失值填补

    通过考虑特征重要性，我们设计了一种基于矩阵完成和特征重要性学习的填补算法，实验证明该方法在处理缺失值方面优于现有的五种填补算法。

    Nov, 2023