本文提出了一种新颖的分离方法来解决不变表示的问题,通过正交约束作为独立的代理来将有意义和敏感表示分离,并通过熵最大化来明确地强制有意义的表示对敏感信息不可知。该方法在公开的数据集上进行了评估,并将其与最先进的方法进行了比较,证明其在处理公平性和不变性方面具有最先进的性能。
Mar, 2020
本文研究了因果变量在相关数据上的行为并分析了最主要的解缠方法在大规模实证研究(包括 4260 个模型)中的表现,结果显示数据集中系统性引入的相关性正在被学习并反映在潜在表示中,这对于解缠的下游应用如公平性有重要的影响,同时呈现了如何通过训练期间的弱监督或使用少量标签的预训练模型的后修复来解决这些潜在的相关性。
Jun, 2020
通过分离表示的方式,研究了如何在敏感属性方面实现本地公平来实现公平分类,并在预测收入和再监禁率等真实场景下验证了该方法的优点。
May, 2022
本文提供了对无监督学习解开重要变动因素的最新发展的观点,旨在挑战一些常见的假设。本文首先从理论上证明了,无监督的解开表示恒妄图反演和数据上的约定性偏见是不可能的。接着,通过对 8 个数据集进行超过 14,000 个模型的训练,本文发现虽然不同的方法成功地实现了相应损失所鼓励的特性,但是没有监督的情况下,好的解开模型似乎无法被识别。此外,不同的评估指标并不总是在什么应该被认为是 “解开的” 上达成一致,而且在估计上表现出系统性差异。最后,增加的解开性似乎并不一定会导致学习下游任务的样本复杂度减少。本文的结果表明,关于解开学习的未来工作应该明确归因于诱导偏见和(隐含的)监督的作用,研究解开表示的具体好处,并考虑到涵盖几个数据集的可重复的实验设置。
Oct, 2020
本文提出了一个新的高分辨率数据集,其中包括 1M 个模拟图像和 1800 个带注释的现实世界图像,以评估分解表示学习到未见过的模拟和实际环境中的泛化能力,研究表明分解表示学习是识别未知分布下任务性能的有效预测因素。
本文通过大规模研究提供证据,证明在使用类似 Raven 渐进矩阵这样的抽象推理任务时,多个无监督的去卷积模型学到的分解表示模型比其他模型能够更快地学习并使用更少的样本,从而实现更好的下游性能表现。
May, 2019
本文分析了无监督学习分离表示的最新进展并挑战了一些常见假设,通过实验研究发现,不加监督训练的模型很难达到良好的分离效果,同时,增加分离度似乎不会降低学习的样本复杂度,未来的研究应该关注归纳偏置和 (隐式) 监督的作用,考虑在多个数据集上复现实验结果。
Nov, 2018
该研究论文探讨了学习表示方法和多个敏感属性之间实现群体和子群体公平性的方法,通过提出一种算法来实现紧凑立体的数据表示,该算法可以灵活地进行公平性调整,同时不需要使用敏感属性进行推理,拥有较好的分类效果。
Jun, 2019
研究表明,对于下游任务而言,维度上解耦表示是不必要的,而表示的信息性比解耦性更好地预示了下游任务的性能。
Mar, 2024
本文提出了一种基于代理属性与敏感属性的公平性框架,通过梯度解释找到模型关注点,再利用它们来指导下游任务模型的训练,以实现公平性和效用之间的平衡。实验证明,我们的框架在非分离和分离表示学习方法上具有更好的公平性 - 精度平衡。
May, 2023