Jun, 2024

缺失偏移下的稳健预测

PDF
TL;DR预测表现受到缺失协变量的影响，处理缺失数据的方法选择会极大地影响模型性能。研究发现，具有信息性缺失值的模型可以实现最佳的预测性能，但实际部署后缺失值产生的原因可能会发生变化，此时基于缺失的条件概率在目标数据中会有所不同。因此，如果缺失值的产生是不可忽略的，Bayes 预测器可能会因为缺失值的变化而有所改变。然而，我们的实证研究发现，在高度信息化的情况下，忽略缺失值是最有益的。
发现论文，激发创造
  • 协变量漂移下的稳健公平性

    通过考虑协变量变化，提出了一种对于未知数据能够保持公正与性能的预测模型的方法。

    Oct, 2020

  • 不知情掩模分布转移下的不完整数据预测

    本研究提出了一种新的预测方法 StableMiss，通过利用存在于每个 mask 下的不变最优预测器的思想，采用双重参数技术来近似联合学习最优预测器，以达到对于缺失数据下的分布转移具有稳定性和较强的预测性能。

    May, 2023

  • 学习概念转变时：混淆、不变性和降维

    基于观测数据的领域自适应问题，通过线性结构因果模型和表示学习方法，研究使用不变的协变量表示来解决概念漂移和改善目标预测的可行性，并通过在 Stiefel 流形上约束优化来证明大多数局部最优解与不变的线性子空间一致。通过验证实现方法和理论的三个真实数据集。

    Jun, 2024

  • 缺失值下的符合预测

    本文研究缺失值为特征的预测问题，提出了基于缺失数据增广的广义预测方法，可以有效地提高预测效果和抵抗缺失值的影响。

    Jun, 2023

  • 自适应预测缺失数据的优化

    训练具有缺失条目的预测模型时，我们可以利用两阶段自适应优化问题来处理缺失数据，并提出了一种新类模型，即自适应线性回归模型，其中回归系数根据观测特征进行自适应。我们展示了一些自适应线性回归模型等价于同时学习一个填充规则和一个下游线性回归模型，而不是顺序学习。我们利用这种联合填充 - 回归解释来推广我们的框架到非线性模型。在数据不随机缺失的情况下，我们的方法可以提高 2-10% 的样本外准确率。

    Feb, 2024

  • 具有贝叶斯数据重新加权的强健概率建模

    本研究提出了一种方法，通过将每个观察的可能性变为一种权重，从数据中推断连续变量和权重，以检测和减轻大量概率模型的不匹配性，并明确不同类型的不匹配性对模型的影响与表现，这有助于提高模型的鲁棒性和预测准确性。

    Jun, 2016

  • 协变量偏移下的类别先验估计：难点何在？

    本文探究了在分类上，当协变量发生变化时，简单的预先估计方法是不可行的，因为降低协变量的信息量会导致与源和目标分布之间的关系失去恒定性。我们证明了在统计意义上，保留协变量变化特性的协变量变换对于所有协变量是必要的，同时提出了一种另类的探究算法来应对协变量变化下的类先验估计问题。

    Jun, 2022

  • 协变量偏移下贝叶斯模型平均的危险性

    通过使用全批处理的哈密尔顿蒙特卡罗来近似推断的贝叶斯神经网络，在协变量转移下实现了良好的性能，但我们发现，贝叶斯模型平均在这种情况下可能会出现问题，特别是在输入特征中存在线性相关性导致后验收缩不足的情况下，我们提出了新的先验概率分布，以提高 BNN 对多种协变量转移的稳健性。

    Jun, 2021

  • 协变量偏移下的 PAC 预测集

    论文提出了一种新的、能够在存在协变量转移情况下构建可能准确的预测集的方法，该方法重点关注源分布与目标分布之间的协变量转移，假设给定了编码训练样本概率变化的重要性权重，从而实现了不确定性的量化。

    Jun, 2021

  • 机器学习模型在缺失数据下的可解释性

    模型解释中，遗漏数据与解晰人工智能相关联的相关领域的一个主要因素，在本文中，经验性地研究了各种填充方法对 Shapley 值（一种解释复杂机器学习模型的流行技术）的计算的影响。通过比较不同填充策略，评估其对 Shapley 值决定的特征重要性和交互作用的影响，理论上分析了缺失值对 Shapley 值的影响。结果表明，填充方法的选择可能引入偏差，从而改变 Shapley 值，影响模型的解释性，强调了在机器学习模型中考虑填充效应以确保可靠洞见的重要性。

    Jun, 2024