Aug, 2023

应对子群体稀缺的分布自适应优化与不变表示学习：机制与局限

PDF
TL;DR通过全面的评估研究，我们首先展示了在医学图像分类中，当偏见不是性能不佳的唯一原因时，对于表现不佳样本的泛化再加权可能存在问题，同时也表明了朴素的不变表示学习在自身存在虚假相关性时也存在问题。然后，我们提出了一种新的方法，利用鲁棒优化来促进在存在虚假相关性的情况下学习不变表示。利用这种表示进行微调的分类器展示了减少子组群性能差异的能力，同时保持了较高的平均性能和最差组群性能。
发现论文，激发创造
  • 在部分群标签存在的情况下实现群体鲁棒性

    提出一种利用部分敏感信息训练深度神经网络并改善少数群体预测性能的方法。

    Jan, 2022

  • 检测和应对分布偏移下的伪特征

    本文主要探讨机器学习中机器如何学习到能够捕捉输入特征与输出标签之间因果关系的鲁棒性表征，以及在有偏或有限数据集上可能存在的虚假相关性。提出了一种基于最小充分统计量的鲁棒表征和虚假表征的信息理论概念，并基于分组分布式鲁棒优化方法来缓解输入分布偏移的问题，同时通过实验展示该方法在图像和语言任务中具有显著的鲁棒性优势。

    Jun, 2021

  • 分层稳健表示学习

    本研究探讨了深度学习中中间层所提取的深层特征，并证明了这些特征的性能可能不佳，因为它们是通过最小化经验风险来学习的。针对当前任务与基准数据集的数据分布不同的情况，本研究提出了一种层次稳健优化方法来学习更通用的特征。该方法同时考虑了 example-level 与 concept-level 稳健性，并将问题公式化为带有 Wasserstein 模糊集约束的分布稳健优化问题。本文提出了一种高效的算法，并在标杆数据集上进行了实验，证明了稳健特征的有效性。

    Nov, 2019

  • 学习正交解缠表示以实现公平性

    本文提出了一种新颖的分离方法来解决不变表示的问题，通过正交约束作为独立的代理来将有意义和敏感表示分离，并通过熵最大化来明确地强制有意义的表示对敏感信息不可知。该方法在公开的数据集上进行了评估，并将其与最先进的方法进行了比较，证明其在处理公平性和不变性方面具有最先进的性能。

    Mar, 2020

  • 具有概率群的分布鲁棒优化

    本文提出了一种新的概率组成员身份的框架 PG-DRO，以解决现代机器学习模型易受特定样本组内平均相关性的干扰的问题，通过考虑软组成员身份而不是硬组注释，该框架可以灵活生成组概率，从而更好地适应样本组成员身份模糊的情况，并在图像分类和自然语言处理基准测试中得到了优越性能。

    Mar, 2023

  • 以 Wasserstein 距离为指导的对抗性权重调整用于偏见缓解

    通过对抗再加权方法来解决机器学习中的表征偏差，平衡数据分布以减少对少数群体的不公正对待，从而提高分类准确性和公平性。

    Nov, 2023

  • 基于重新加权的类内鲁棒优化的群体公平正则化

    提出一种融合分布式鲁棒优化（DRO）框架和公平度量的基于迭代优化算法的方法，称为 FairDRO，通过自动产生正确的重新加权为每个组来最小化该方法，实验结果显示我们的方法在准确性公平交换上，相对于近期的强基线方法在多项基准数据集上表现出具有实现性和易适应性的状态表现。

    Mar, 2023

  • 通过轨道嵌入得到局部群不变表示

    本文提出了一种基于核方法的技术来推导局部群不变表示，通过在群上定义适当的概率分布来实现局部性，并使用核方法的强大框架来学习这些分布上的决策函数，从而生成局部不变随机特征映射。经实验证明，在三个真实数据集上，该方法优于基于核的竞争方法，并且在 Rotated-MNIST 上表现优于深度 CNN，并且与最近提出的群等变 CNN 表现相当。

    Dec, 2016

  • 通过解缠来实现灵活公平的表示学习

    该研究论文探讨了学习表示方法和多个敏感属性之间实现群体和子群体公平性的方法，通过提出一种算法来实现紧凑立体的数据表示，该算法可以灵活地进行公平性调整，同时不需要使用敏感属性进行推理，拥有较好的分类效果。

    Jun, 2019

  • 可解释和公平表达的空值采样

    本文提出在数据领域学习不变表示的方法，实现算法公平性的可解释性。采用了对抗训练模型和 null-sampling 程序来处理数据集中的强偏见，构建了具有可解释性的模型，并在 Colored MNIST、CelebA 和 Adult 数据集上进行实验。

    Aug, 2020