用一种新颖的信息论目标分解表示以实现公平分类

ACLOct, 2023

用一种新颖的信息论目标分解表示以实现公平分类

A Novel Information-Theoretic Objective to Disentangle Representations for Fair Classification

Pierre Colombo, Nathan Noiry, Guillaume Staerman, Pablo Piantanida

TL;DR从多种上下文环境的观察中提取现实的抽象表示是深度学习的一个追求目标之一。本文采用信息论的视角来研究这个问题，提出了一种新颖的正则化方法，称为 CLINIC 损失，通过大量的数值实验证明了这种方法在解缠表征与准确性之间取得更好的平衡，并且在不过于限制解缠任务的情况下具有更好的普适性。

Abstract

One of the pursued objectives of deep learning is to provide tools that learn abstract representations of reality from the observation of multiple contextual situations. More precisely, one wishes to extract disentangle

deep learning disentangled representations fair classification information-theoretic view clinic losses

发现论文，激发创造

学习正交解缠表示以实现公平性

本文提出了一种新颖的分离方法来解决不变表示的问题，通过正交约束作为独立的代理来将有意义和敏感表示分离，并通过熵最大化来明确地强制有意义的表示对敏感信息不可知。该方法在公开的数据集上进行了评估，并将其与最先进的方法进行了比较，证明其在处理公平性和不变性方面具有最先进的性能。

Mar, 2020

通过统计相似性度量学习解缠纠缠纷的文本表征

本文研究使用统计相似度度量为基础，构建了一种新的数据表述方法，不需要深度神经网络训练，快速且精度更高地进行敏感属性的鉴别，从而避免社会偏见。

May, 2022

信息论视角下的解耦文本表示学习对抗性鲁棒性

本文从可分离表示学习的角度解决了对抗鲁棒性的挑战，并设计了一个可分离学习网络来估计互信息，实验证明该方法在对抗攻击下显著优于代表性方法，强调舍弃非鲁棒性特征对于提高对抗鲁棒性至关重要。

Oct, 2022

揭开跨类解耦的神秘面纱

介绍了一种名称为 LORD 的基于潜在空间优化的表示分离方法，使用了不对称噪声正则化方法提高了分离性能，实验表明该方法的性能优于常见的对抗训练和非对抗训练方法，并通过聚类扩展该方法，取得了关于领域翻译的有希望的结果。

Jun, 2019

关于解缠和局部公平的表示

通过分离表示的方式，研究了如何在敏感属性方面实现本地公平来实现公平分类，并在预测收入和再监禁率等真实场景下验证了该方法的优点。

May, 2022

结构化解耦表征

本研究提出了一种两级分层目标函数来控制变量块和块内个体变量之间的相对统计独立程度，以通过非监督学习从高维数据中学习无监督表示，实验结果显示该目标函数可以解开离散变量，并提高其他变量的解开程度和泛化能力。

Apr, 2018

强制学习：无须详尽标签发现分解表示

本篇论文讨论了如何用神经网络学习更好的特征表达，提出了两种新的损失函数，在循环神经网络和卷积神经网络上验证了该方法能够显著提升 KMeans 聚类效果（用 AMI 衡量）并且胜过之前的方法。

May, 2017

关于解耦表示的公平性

本篇论文探讨了如何利用不同的解缠绕概念提高表示学习中多元回归模型的公平性，并证明在某些情况下，最优的和经验的预测结果都可能是不公平的。

May, 2019

迈向一个统一的对比学习框架以实现解耦表征

通过对多种对比方法的理论分析，本论文扩展了有关数据表达的对比学习的理论保证，并验证了这些发现在多个基准数据集上的实际有效性。

Nov, 2023

深度表征中的不变性和分解性的出现

使用统计和信息理论的已建立原则，我们展示了深度神经网络中对无关因素的不变性等同于学习表示的信息最小性，而叠加层和在训练期间注入噪声自然偏向于学习不变表示。我们进一步分解了训练过程中使用的交叉熵损失，强调了内在的过拟合项。我们提出通过两种等效方式来限制这样的项的正则化损失：一种是使用 Kullbach-Leibler 项，它与 PAC-Bayes 视角相关；另一种是使用权重中的信息作为学习模型复杂度的度量，从而为权重提供了一种新的信息瓶颈。最后，我们展示出在神经网络中学习到的表示组件的不变性和独立性在权重中的信息上限和下限是有界的，因此在训练过程中自动优化。该理论使我们能够量化和预测使用我们的正则化损失时随机标签下欠拟合和过拟合之间的尖锐相变，我们通过实验证实了这一点，并阐明了损失函数的几何形状、学习表示的不变性属性和泛化误差之间的关系。

Jun, 2017