Jun, 2024

对抗平衡自监督对比学习的可证明优化

PDF
TL;DR研究自监督学习中公平编码器的学习，在这种情况下，所有数据都没有标签，并且只有其中一小部分数据带有敏感属性的注释。通过最小化无标签数据上的对比损失和最大化在具有敏感属性的数据上预测敏感属性的对抗损失，对抗公平表示学习非常适合这种情况。通过构建先进的优化技术，并在合理条件下提出了一种称为 SoFCLR 的随机算法，并对其收敛性进行了分析，而无需大数据批处理大小。通过广泛的实验证明了所提方法在下游分类中八个公平概念的有效性。
发现论文，激发创造
  • 自监督对抗鲁棒性分离式对抗性对比学习

    本研究提出了 Decoupled Adversarial Contrastive Learning (DeACL) 框架，将 Adversarial Training 和 Self-supervised Learning 分为两个子问题分别处理，使学习无标签鲁棒表示更加简化和高效，并在实验中取得了业界领先的表现。

    Jul, 2022

  • DualFair: 基于对比自监督的群体和个体公平表示学习

    本文提出了一种名为 DualFair 的自我监督模型，可从学到的表示中去除诸如性别和种族等敏感属性的偏差，同时优化两个公平标准，团体公平性和反事实公平性，为团体和个体提供更公平的预测，针对多个数据集进行了详细的分析，表明了该模型的有效性和进一步展示了同时解决两种公平标准的协同效应，同时建议该模型在公平的智能 Web 应用中具有潜在价值。

    Mar, 2023

  • 面部属性分类的公平对比学习

    本文提出了一种公平的监督对比损失方法（Fair Supervised Contrastive Loss），旨在保证图像的视觉表达不带有敏感属性信息，同时通过组内归一化减少分组之间的差异，实现了在公平性和准确性上的平衡，并在 CelebA 和 UTK Face 的数据集上验证了该方法的有效性。

    Mar, 2022

  • 公平分类中的改进式对抗学习

    该研究利用博弈论中的概念，提出了一种逐步提高分类器公平性的方法，并通过实验表明该方法的公平性性能显著优于其他算法。

    Jan, 2019

  • 对比自监督学习导致更高的对抗性易感性

    通过对比自监督学习与 supervised learning 在对抗鲁棒性上的表现，本文发现 contrastive self-supervised learning 的数据表示倾向于在单位超球面上均匀分布，这导致其比 supervised learning 更容易受到干扰，作者提出了一种有效的方法来检测与消除训练中的 false negative pairs，并将其应用于对比自监督学习中，成功缩小了对抗鲁棒性方面与 supervised learning 之间的差距，提高了模型的性能。

    Jul, 2022

  • 数据有效对比自监督学习：简单样本对学习最有帮助

    该研究发现对于对比自监督 (SLL) 来说，那些与其他示例具有最相似增强的样例在学习表示方面贡献最大。此外，研究还表明，对正在进行的任务性能不会产生负面影响的情况下，可以安全地排除 CIFA100 和 STL10 分别的 20% 和 40% 示例。

    Feb, 2023

  • ProFeAT：自监督学习鲁棒表示的投射特征对抗训练

    通过使用师生模型结构，利用投影头将错误的监督从教师转移到学生，以改善自我监督 - 对抗训练中存在的性能差距，并通过增加训练数据的多样性来提高模型的干净和鲁棒准确性。

    Jun, 2024

  • 通过分布式对比解缠学习公平表示

    通过对比学习中的分布对比损失构建敏感性和非敏感性的潜在空间，学习公平表示来达到去偏的目的。

    Jun, 2022

  • 通过对抗性框架学习公平表示

    本文介绍了一个最小二乘对抗框架，其中一个发生器生成学习个体的潜在表示，一个评论家保证了不同保护组的分布相似，从而在保留足够信息的同时解决了受保护属性引起的潜在偏差问题，为公平分类提供了理论保证。经验结果表明，这种方法可以有效地用于分类任务，特别是在删除受保护属性不足以实现公平分类的情况下。

    Apr, 2019

  • 有条件的监督对比学习：公平的文本分类

    提出使用有条件的监督对比目标学习在文本分类中学习公平代表的方法，以平衡在现有基准线中任务表现和偏差缓解之间的权衡，并在两个文本数据集上进行实验，展示了该方法的有效性。

    May, 2022