Jan, 2020

模型错误规范和不可知分布转移下的稳定预测

PDF
TL;DR提出了一种新的 Decorrelated Weighting Regression (DWR) 算法，能够提高模型错误规范化和未知测试数据下的参数估计准确性和预测稳定性。
machine learningmodel misspecificationdecorrelated weighting regressionparameter estimationprediction stability
发现论文，激发创造
  • 学习加权表示以实现跨设计通用化

    提出了一个基于表示学习和样本重加权的误差界，针对因果推断和无监督域自适应问题，在设计转换下减少泛化误差的算法框架，与以往方法相比具有更好的效果并具有渐近一致性。

    Feb, 2018

  • 不知情掩模分布转移下的不完整数据预测

    本研究提出了一种新的预测方法 StableMiss，通过利用存在于每个 mask 下的不变最优预测器的思想，采用双重参数技术来近似联合学习最优预测器，以达到对于缺失数据下的分布转移具有稳定性和较强的预测性能。

    May, 2023

  • 应用于强化学习的纠正误指的回归中减轻协变量变化

    在机器学习应用中普遍存在分布偏移现象，本文研究在模型错误规定和对抗性协变量偏移存在的情况下的分布偏移影响，提出一种新的算法，通过鲁棒优化技术避免了错误规定放大，同时获得最佳的统计指标，应用于离线和在线强化学习。

    Jan, 2024

  • 样本重加权的稳健学习

    本文研究如何在模型错配偏差情况下学习线性预测模型。我们提出了一种样本重新加权方法，该方法可以减少输入变量之间的共线性，从而提高设计矩阵的条件，并与任何标准学习方法相结合，用于参数估计和特征选择，进而提高模型在不同分布数据集下的稳定性。

    Nov, 2019

  • 自主驱动的重要性权重理论分析 —— 基于协变量偏移广义化的研究

    本文证明了独立驱动的重要性权重算法的有效性，并将其解释为特征选择过程，指定了最小稳定变量集，在理想条件下，该算法可以识别此集合中的变量，并提供了渐近性质分析，结果在多个合成实验中得到证明。

    Nov, 2021

  • 使用可微分遗忘方法处理分布偏移下的时间序列预测

    本文提出了一种基于加权经验风险最小化的方法处理时间序列预测中的分布偏移问题，具有遗忘机制和基于梯度的学习方法，可提高优化效率和参数灵活性。

    Jul, 2022

  • 稳健验证：即使分布发生偏移，也能自信地做出预测

    本文提出了一种建立在鲁棒性预测推断上的不确定性估计模型，使用 conformal inference 方法建立了准确覆盖测试数据分布的预测集，通过估计数据漂移量建立了鲁棒性，并在多个基准数据集上进行了实验证明了该方法的重要性。

    Aug, 2020

  • 协变量转移下的一致性预测

    本文提出拓展 Conformal Prediction 方法，可计算在测试和训练协变量分布不同的情况下的无分布预测区间，同时在数据满足一定加权交换性的情况下，拓展还可以应用于其他设置，如潜在变量和缺失数据问题。

    Apr, 2019

  • 具有因果正则化的学习：对数据选择偏差的不可知性处理

    本文基于因果关系假设，将因果技术纳入预测建模中，提出一种新的因果正则化逻辑回归（Causally Regularized Logistic Regression，CRLR）算法，以共同优化全局混杂因素平衡和加权逻辑回归，以解决对假设的无知选择偏差对实际应用中的稳健模型学习的重要性问题。

    Aug, 2017

  • 在协变量偏移下，在少量测试样本的情况下改善公平性和准确性的权衡

    在测试数据中的协变量偏移可以显著降低模型的准确性和公平性表现。我们提出了一种基于加权熵的预测准确性目标和表示匹配损失的新型组合目标函数，通过实验证明了我们的损失函数优化在公平性与准确性的权衡上优于其他基线方法。我们还提出了一种称为不对称协变量偏移的新颖设置，并展示了我们的方法在这种设置下的显著优势。最后，我们理论上证明了在训练集上的加权熵项和预测损失可以近似于协变量偏移时的测试损失。我们通过实验证明了这种对未见测试损失的近似不依赖于影响其他基线方法的重要性采样方差。

    Oct, 2023