Sep, 2020

重抽样相对于重新加权在使用随机梯度进行纠正抽样偏差时的表现更佳

PDF
TL;DR考虑到数据集采样偏差影响机器学习模型的效果，本研究分析重新采样和重新加权等多种技术，并通过实验和理论工具从动态稳定性和随机渐近性方面阐述重新采样的优越性。我们强调在处理采样偏差时应该同时考虑目标函数设计和优化算法。
biased data setsmachine learning modelsresamplingreweightingobjective function design
发现论文，激发创造
  • 样本选择偏差校正理论

    本文基于分布稳定性的新概念，对样本选择偏差校正进行了理论分析，研究了两种估计技术：基于簇的估计技术和核均值匹配，以及使用这些技术对几个数据集进行样本偏差校正实验。

    May, 2008

  • 以 Wasserstein 距离为指导的对抗性权重调整用于偏见缓解

    通过对抗再加权方法来解决机器学习中的表征偏差，平衡数据分布以减少对少数群体的不公正对待，从而提高分类准确性和公平性。

    Nov, 2023

  • 样本重加权的稳健学习

    本文研究如何在模型错配偏差情况下学习线性预测模型。我们提出了一种样本重新加权方法，该方法可以减少输入变量之间的共线性，从而提高设计矩阵的条件，并与任何标准学习方法相结合，用于参数估计和特征选择，进而提高模型在不同分布数据集下的稳定性。

    Nov, 2019

  • 基于混合重赋权的子种群转移方法

    提出一种名为 RMIX 的简单实用的框架来解决超参数化神经网络中意义重要性加权方法效果不佳的问题，从而更好地应对含不同子群比例的训练和测试分布的子群转移问题，并通过混合样本上的重要性加权来获取更鲁棒的模型。同时，RMIX 还利用训练轨迹的不确定性估计来灵活地表征子群分布，并通过理论分析验证了其具有更好的广义化界限。

    Apr, 2023

  • 机器学习中识别和纠正标签偏差

    本文提出了一种数学公式来证明数据集中的偏见对分类器的影响，通过无需改变标签来重新计算数据点的值，从而得到一个无偏分类器，这种方法可以在各种机器学习算法中使用，并实现了公平分类的目标。

    Jan, 2019

  • 通过重要性重新加权纠正空间建模中的采样偏差

    机器学习模型中，在空间数据（例如环境研究中常见的数据）中，估计错误往往很复杂、存在分布偏差。我们介绍了一种基于重要性采样思想的方法，以获取目标误差的无偏估计。通过考虑期望误差与可用数据之间的差异，我们的方法在每个样本点上重新加权错误，并抵消偏移。重要性采样技术和核密度估计用于重新加权。我们使用模拟真实空间数据集的人造数据验证了我们方法的有效性。我们的研究结果表明，该方法在目标误差估计方面具有优势，为分布偏移问题提供了解决方案。预测的整体误差从 7% 降至仅为 2%，并且随着样本量的增加而减小。

    Sep, 2023

  • 协变量转移适应中的一般正则化

    通过重新加权样本，本研究在再生核希尔伯特空间中修正最小二乘学习算法的误差，以解决未来数据分布与训练数据分布不同引起的问题，并证明在弱平滑条件下，相比现有分析所证明的，为了达到与标准监督学习相同精度所需的样本数量更小。

    Jul, 2023

  • 重采样对不平衡分类准确性的影响

    研究了不平衡数据集下使用不同的重采样方法对分类准确性的影响，并比较了重采样方法的优缺点。

    Jul, 2017

  • 关于数据集属性选择适当的重采样策略以解决类别不平衡问题

    本文通过比较分析 40 个来自不同应用领域的数据集，研究了不平衡数据分类的各种因素对过采样和欠采样技术的有效性的影响，提出了基于性能度量的自动最优采样策略选择模型，可以在不同领域中选择最合适的方法。

    Dec, 2021

  • 恢复平衡：基于原则的数据欠采样 / 过采样用于最佳分类

    在这项研究中，我们确定了线性分类器（支持向量机）在高维度情况下的泛化曲线的确切分析表达式，并对于数据的类别不平衡性、数据的第一和第二时刻以及所考虑的性能指标的影响给出了锐利的预测。我们表明，涉及数据的欠采样和过采样的混合策略会提高性能。通过数值实验，我们展示了我们理论预测在真实数据集、更深层次的架构和基于无监督概率模型的采样策略上的相关性。

    May, 2024