不变表示学习的特征发现与分离
该论文提出了一种新的无监督不变感知诱导框架，该框架通过竞争式训练和分解重构任务学习数据的分离表示，以抵抗干扰因素，并且无需任何标签的信息或领域知识。该无监督模型可以有效地使用合成数据增强来学习不变性和领域适应，并在诸如二元 / 多类别分类或回归等任何预测任务中应用。
Sep, 2018
本文提出了一种统一的不变性框架，可用于训练神经网络，从而使其在不使用任何附带标注的同时将数据的无关因素与数据相互独立，但也可以使用关于有偏因素的标记信息，强制将其从潜在嵌入中去除以实现公平预测。该模型在不使用标记信息的情况下优于先前的工作，并在公平性设置中实现了学习自由因素的最新性能。
May, 2019
提出了一种弱监督信号和对比方法相结合的框架来同时学习解缠和不变表示，实验证明该方法在四个标准基准上均优于现有最先进方法，且无需对抗训练即具有更好的对抗防御能力。
Sep, 2022
使用统计和信息理论的已建立原则，我们展示了深度神经网络中对无关因素的不变性等同于学习表示的信息最小性，而叠加层和在训练期间注入噪声自然偏向于学习不变表示。我们进一步分解了训练过程中使用的交叉熵损失，强调了内在的过拟合项。我们提出通过两种等效方式来限制这样的项的正则化损失：一种是使用 Kullbach-Leibler 项，它与 PAC-Bayes 视角相关；另一种是使用权重中的信息作为学习模型复杂度的度量，从而为权重提供了一种新的信息瓶颈。最后，我们展示出在神经网络中学习到的表示组件的不变性和独立性在权重中的信息上限和下限是有界的，因此在训练过程中自动优化。该理论使我们能够量化和预测使用我们的正则化损失时随机标签下欠拟合和过拟合之间的尖锐相变，我们通过实验证实了这一点，并阐明了损失函数的几何形状、学习表示的不变性属性和泛化误差之间的关系。
Jun, 2017
本文提出了一种通过对抗学习策略学习能够抵抗特定数据因素影响的新型表示学习方法，并通过多个基准测试表明所提出的方法可以获取到不变表示，从而提高模型的泛化能力。
May, 2017
本文提出了一种新颖的分离方法来解决不变表示的问题，通过正交约束作为独立的代理来将有意义和敏感表示分离，并通过熵最大化来明确地强制有意义的表示对敏感信息不可知。该方法在公开的数据集上进行了评估，并将其与最先进的方法进行了比较，证明其在处理公平性和不变性方面具有最先进的性能。
Mar, 2020
本文介绍了一种通用的框架，用于在没有监督的情况下对深度网络进行端对端训练，通过固定一组目标表示并约束其深度特征对齐到这些表示来达到目的，同时采用了随机批量重新分配策略和可分离的平方损失函数来缓解标准无监督学习中的一些问题，并且在 ImageNet 和 Pascal VOC 上能够实现与最先进的无监督方法相媲美的表现。
Apr, 2017