Jul, 2024

公平表征十年：挑战与机遇

PDF
TL;DR公平表示学习（FRL）是一组基于神经网络的广泛技术，旨在学习新的数据表示形式，其中敏感或不需要的信息已被移除。本文回顾了 FRL 的前十年，通过重新审视其理论基础，并在深度学习理论的最新工作中展示了神经网络表示中信息移除的难度，以及通过大规模实验证实了使用自动化机器学习（AutoML）对本来公平表示进行敌对性 “挖掘” 敏感信息的结果，我们的理论和实验分析表明，确定性、非量化的 FRL 方法在移除敏感信息方面存在严重问题，这尤其令人担忧，因为它们乍一看可能是 “公正” 的。
fair representation learningneural networkssensitive informationdeep learning theoryautoml
发现论文，激发创造
  • 关于公平表示学习的回归走向

    通过重新关注性能在传输任务上的公平代表学习方法的评估协议，我们重新评估了现有的方法，并突出了对于公平代表学习方法来说，与任务无关的学习信号的重要性。

    May, 2024

  • FARE: 可证明公平的表示学习

    本研究提出一种新的公平性表示学习（FRL）方法 —— 受限编码公平性（FARE）方法，通过限制编码器的表示空间来获得适当的公平性保证，实现了经验准确度 - 公平性权衡，并且利用实用的统计程序计算了下游分类器不公平性的高置信度上界。

    Oct, 2022

  • 走向公平表达的毒性注入

    公平机器学习，公平表征学习及数据污染攻击的研究。

    Sep, 2023

  • 学习具有高置信度保证的公平表示

    本研究提出了一种称为 FRG 框架的公平表示学习方法，该方法能够提供对所有下游模型和任务的不公平性的高置信度保证，并通过用户定义的上界限制不公平性。实证评估结果表明，FRG 方法能够有效地上界限制多个下游模型和任务的不公平性。

    Oct, 2023

  • 增量学习维持公平性

    该研究提出了一种名为 FaIRL 的表示学习系统，它可以在增量学习新任务的过程中维持公正，通过控制所学表示的速率畸变函数来实现公平和新任务的学习，并在目标任务上实现高性能，优于几种基准方法。

    Aug, 2022

  • 欠参数化模型中的联邦表示学习

    在参数不足的情况下，我们提出了一种新颖的 Federated representation learning 算法 FLUTE，理论上表征了其在线性模型的样本复杂度和收敛速率，实验结果证明其优于现有解决方案。

    Jun, 2024

  • 学习可控的公平表征

    本文提出了一种信息理论动机的目标函数，用于学习在公平约束条件下最具表达力的数据表示，旨在通过控制不公平性极限的方式帮助用户控制数据表示的公平性，证明了现有方法无法完全实现此目标，通过引入一种优化模型参数和表达力 - 公平性权衡的方法来平衡多种公平概念的权衡，并在更低的计算成本下实现更高的表达能力。

    Dec, 2018

  • 使用对比共享表征进行个性化的联邦学习，解决非独立同分布数据中的标签差异性

    本文提出了一种名为 Federated Contrastive Representation Learning (FedCRL) 的个性化联邦学习算法，旨在处理分布式机器学习场景中由标签分布偏斜和数据稀缺性造成的异质性。FedCRL 通过在共享表示上引入对比表示学习 (CRL) 来促进客户端的知识获取，从而提升本地模型的效果并避免受到标签分布偏斜的伤害。此外，FedCRL 采用本地聚合机制来处理数据稀缺性，并引入损失加权机制来指导全局模型与每个客户端的协调，以帮助具有稀缺数据的客户端。通过在具有不同程度标签异质性的数据集上进行模拟，结果表明 FedCRL 在减轻标签异质性方面的有效性，实现了相对于现有方法的准确性改进。

    Apr, 2024

  • 解耦表示学习

    本文综合性地回顾了基于直觉和群论的定义的 DRL，将 DRL 的方法学分为四组，最后分析了设计不同 DRL 模型的原则和未来研究方向。

    Nov, 2022

  • 通过对抗性框架学习公平表示

    本文介绍了一个最小二乘对抗框架，其中一个发生器生成学习个体的潜在表示，一个评论家保证了不同保护组的分布相似，从而在保留足够信息的同时解决了受保护属性引起的潜在偏差问题，为公平分类提供了理论保证。经验结果表明，这种方法可以有效地用于分类任务，特别是在删除受保护属性不足以实现公平分类的情况下。

    Apr, 2019