不变表示学习中的基本极限和权衡

Dec, 2020

不变表示学习中的基本极限和权衡

Fundamental Limits and Tradeoffs in Invariant Representation Learning

Han Zhao, Chen Dan, Bryon Aragam, Tommi S. Jaakkola, Geoffrey J. Gordon...

TL;DR本论文通过信息论的方法，对机器学习中不变表示的准确性和不变性之间的最优权衡进行了分析，并提出了一种几何特征，可以限定或精确刻画分类和回归任务的准确性和不变性之间的 Pareto 最优边界。

Abstract

A wide range of machine learning applications such as privacy-preserving learning, algorithmic fairness, and domain adaptation/generalization among others, involve learning invariant representations of the data t

machine learning invariant representations information plane accuracy invariance

发现论文，激发创造

无需对抗训练的不变表征

无需对抗训练，使用信息论优化能够直接获得可控转换的公平表示和生成建模的最新性能

May, 2018

通过对抗特征学习实现可控的不变性

本文提出了一种通过对抗学习策略学习能够抵抗特定数据因素影响的新型表示学习方法，并通过多个基准测试表明所提出的方法可以获取到不变表示，从而提高模型的泛化能力。

May, 2017

学习公平表达的固有折衷

本文研究了分类问题中的公平性和准确性之间的权衡，并提供了任何公平分类器群体误差和任何（近似）公平分类器的联合误差的下限，从公平表示学习角度推广这个结果。

Jun, 2019

学习正交解缠表示以实现公平性

本文提出了一种新颖的分离方法来解决不变表示的问题，通过正交约束作为独立的代理来将有意义和敏感表示分离，并通过熵最大化来明确地强制有意义的表示对敏感信息不可知。该方法在公开的数据集上进行了评估，并将其与最先进的方法进行了比较，证明其在处理公平性和不变性方面具有最先进的性能。

Mar, 2020

域不变表示中的支持和可逆性

研究表明，学习领域不变表示已成为非监督领域适应的一种流行方法，但其局限性主要在于非反演变换中丢失的信息以及领域不变性是一个过于严格的要求，本研究提出了一种权衡代价的一般化界限，并建议使用测量源域覆盖目标域范围的范围来提高性能。

Mar, 2019

使用局部变换学习不变表示

本文提出了一个新颖的具有转换不变性的特征学习框架，将线性转换纳入特征学习算法中，可应用于无监督学习方法，如自动编码器或稀疏编码，证明在 MNIST 变化，CIFAR-10 和 STL-10 等图像分类基准数据集上具有优越的分类性能并在 TIMIT 数据集上实现了最先进的电话分类任务的结果。

Jun, 2012

使用逆对比损失学习不变表示

使用反对比损失、正则化 MMD 分散度等技巧，提出了一种用于学习不受干扰的不变表示的新算法，适用于二元和连续干扰变量。

Feb, 2021

强健不变表示中的领域通用性

本文研究对象识别中不变表示的泛化性，经过广泛实验，我们证明了不变模型学习到的非结构化潜在表示对分配偏移具有鲁棒性，因此使不变性成为有限资源环境中训练的理想属性。

Apr, 2023

深度表征中的不变性和分解性的出现

使用统计和信息理论的已建立原则，我们展示了深度神经网络中对无关因素的不变性等同于学习表示的信息最小性，而叠加层和在训练期间注入噪声自然偏向于学习不变表示。我们进一步分解了训练过程中使用的交叉熵损失，强调了内在的过拟合项。我们提出通过两种等效方式来限制这样的项的正则化损失：一种是使用 Kullbach-Leibler 项，它与 PAC-Bayes 视角相关；另一种是使用权重中的信息作为学习模型复杂度的度量，从而为权重提供了一种新的信息瓶颈。最后，我们展示出在神经网络中学习到的表示组件的不变性和独立性在权重中的信息上限和下限是有界的，因此在训练过程中自动优化。该理论使我们能够量化和预测使用我们的正则化损失时随机标签下欠拟合和过拟合之间的尖锐相变，我们通过实验证实了这一点，并阐明了损失函数的几何形状、学习表示的不变性属性和泛化误差之间的关系。

Jun, 2017

领域不变图像表示的高效学习

本文介绍了一种能够有效地实现为线性分类器的学习表示算法，该算法能够明确地补偿域不匹配，并在训练分类器的过程中形成从目标（测试）域到源（训练）域的线性转换。通过多类别适应的表示学习，能够在异构特征空间之间进行映射，并且可以扩展到大型数据集。在几个图像数据集上的实验结果表明，与之前的方法相比，提高了准确性并具有计算上的优势。

Jan, 2013