Apr, 2023

基于混合重赋权的子种群转移方法

PDF
TL;DR提出一种名为 RMIX 的简单实用的框架来解决超参数化神经网络中意义重要性加权方法效果不佳的问题，从而更好地应对含不同子群比例的训练和测试分布的子群转移问题，并通过混合样本上的重要性加权来获取更鲁棒的模型。同时，RMIX 还利用训练轨迹的不确定性估计来灵活地表征子群分布，并通过理论分析验证了其具有更好的广义化界限。
subpopulation shiftimportance reweightingover-parameterized modelsrmixgeneralization bounds
发现论文，激发创造
  • 通过子群混合增强数据以提高公平性

    通过对小组之间进行配对混合的数据增广方法，改善组间公平性并提高分类性能，特别是针对少数群体的社会偏见问题。

    Sep, 2023

  • 重抽样相对于重新加权在使用随机梯度进行纠正抽样偏差时的表现更佳

    考虑到数据集采样偏差影响机器学习模型的效果，本研究分析重新采样和重新加权等多种技术，并通过实验和理论工具从动态稳定性和随机渐近性方面阐述重新采样的优越性。我们强调在处理采样偏差时应该同时考虑目标函数设计和优化算法。

    Sep, 2020

  • 选择性混合有助于处理分布转移，但不仅仅因为混合

    研究表明，特定样本对之间的非随机选择使训练分布受到影响，并通过与混合无关的方法提高了泛化能力。二元分类中的 Mixup 跨类混合隐含地对数据进行重新采样，从而实现了标签转移的经典解决方案。选择性混合和重新采样方法存在新的等价性，相关的优势可以更好地结合。

    May, 2023

  • 以 Wasserstein 距离为指导的对抗性权重调整用于偏见缓解

    通过对抗再加权方法来解决机器学习中的表征偏差，平衡数据分布以减少对少数群体的不公正对待，从而提高分类准确性和公平性。

    Nov, 2023

  • Remix：重平衡的混合数据增强方法

    本文提出了一种名为 Remix 的新的正则化技术，它在深度图像分类器的分类不平衡的情况下可以使得深度图像分类器表现更好，并在多组实验中证实了 Remix 相较于现有的 Mixup、Manifold Mixup 和 CutMix 等算法在这个问题上的优越性。

    Jul, 2020

  • 自适应优先权重新加权以提高公平性泛化

    通过提出一种新颖的自适应重新加权方法，该论文旨在消除训练和测试数据之间分布变化对模型普适能力的影响，进而改善算法的公平性和泛化性能。实验证明了该方法在准确性和公平性度量方面的普适性，并突出了对语言和视觉模型公平性改善的性能提升。

    Sep, 2023

  • 协变量偏移适应性的双加权方法

    该研究提出了最小化风险分类的方法来处理资料控制变量变化的问题，同时也发展了有效的技术，取得了更好的分类性能。

    May, 2023

  • 变化十分困难：分析亚群体转变

    通过实验测试，我们对机器学习中的次群体转变机制和算法的泛化能力进行了深入分析，并提出了一种基于最差类准确率的简单选择标准，强调了最差组准确率和其他重要指标之间的基本权衡关系。

    Feb, 2023

  • 跨模态去偏倚：利用语言减轻图像中的亚种群转变

    本文通过利用多模态基础模型中的分布鲁棒性，通过参数微调来提高分布鲁棒性，并利用自然语言输入来消除图像特征中的偏见，从而在子群落变化下改善最坏情况性能。大量实证研究表明，通过自然语言进行去偏倚的图像表示能够显著提高性能，并降低在子群体变化下的性能不稳定性。

    Feb, 2024

  • 基因型分群漂移的基线标准

    本文提出一种方法，通过控制数据次群体的训练和测试集来实现对模型对子群体变化的鲁棒性进行评估和测试，并在 ImageNet 数据集上得到了验证。

    Aug, 2020