May, 2019

统一的对抗不变性

PDF
TL;DR本文提出了一种统一的不变性框架，可用于训练神经网络，从而使其在不使用任何附带标注的同时将数据的无关因素与数据相互独立，但也可以使用关于有偏因素的标记信息，强制将其从潜在嵌入中去除以实现公平预测。该模型在不使用标记信息的情况下优于先前的工作，并在公平性设置中实现了学习自由因素的最新性能。
neural networksinvariance frameworkdata processinglatent embeddingfairness
发现论文，激发创造
  • 无监督对抗不变性

    该论文提出了一种新的无监督不变感知诱导框架，该框架通过竞争式训练和分解重构任务学习数据的分离表示，以抵抗干扰因素，并且无需任何标签的信息或领域知识。该无监督模型可以有效地使用合成数据增强来学习不变性和领域适应，并在诸如二元 / 多类别分类或回归等任何预测任务中应用。

    Sep, 2018

  • 不变表示学习的特征发现与分离

    提出了一种用于训练神经网络的框架，以识别和区分数据的预测和负面因素，并通过学习消除负面因素，从而实现对负面因素的不变性，从而实现对负面因素的不变性，并通过信息论框架和推导出的训练目标，实现了最先进的性能。

    Dec, 2019

  • 通过分离已知和未知的干扰因素进行弱监督不变表示学习

    提出了一种弱监督信号和对比方法相结合的框架来同时学习解缠和不变表示，实验证明该方法在四个标准基准上均优于现有最先进方法，且无需对抗训练即具有更好的对抗防御能力。

    Sep, 2022

  • 通过对抗遗忘实现不变表示

    本论文提供了一种新方法，通过对抗遗忘机制来实现深度神经网络的不变性，使其可以在多种数据集和任务中实现状态 - of-the-art 的性能。

    Nov, 2019

  • 通过对抗特征学习实现可控的不变性

    本文提出了一种通过对抗学习策略学习能够抵抗特定数据因素影响的新型表示学习方法，并通过多个基准测试表明所提出的方法可以获取到不变表示，从而提高模型的泛化能力。

    May, 2017

  • 无需对抗训练的不变表征

    无需对抗训练，使用信息论优化能够直接获得可控转换的公平表示和生成建模的最新性能

    May, 2018

  • 使用对抗训练解缠混合因素的深度表达

    我们提出了一种有条件的生成模型，用于学习将标记的观察结果的隐藏变化因素分离并分解成互补代码，实验结果表明该方法能够推广到未见过的类别和内类别变异。

    Nov, 2016

  • 通过神经对抗不变性学习从异构环境中追求因果关系

    通过数据驱动的方法，在结构因果模型框架下，提出了一种名为 Focused Adversarial Invariance Regularization (FAIR) 的新框架，用于解决多样环境下的不变性追求问题，并应用 FAIR-NN 估计器实现普适的非参数不变性学习。

    May, 2024

  • 深度表征中的不变性和分解性的出现

    使用统计和信息理论的已建立原则，我们展示了深度神经网络中对无关因素的不变性等同于学习表示的信息最小性，而叠加层和在训练期间注入噪声自然偏向于学习不变表示。我们进一步分解了训练过程中使用的交叉熵损失，强调了内在的过拟合项。我们提出通过两种等效方式来限制这样的项的正则化损失：一种是使用 Kullbach-Leibler 项，它与 PAC-Bayes 视角相关；另一种是使用权重中的信息作为学习模型复杂度的度量，从而为权重提供了一种新的信息瓶颈。最后，我们展示出在神经网络中学习到的表示组件的不变性和独立性在权重中的信息上限和下限是有界的，因此在训练过程中自动优化。该理论使我们能够量化和预测使用我们的正则化损失时随机标签下欠拟合和过拟合之间的尖锐相变，我们通过实验证实了这一点，并阐明了损失函数的几何形状、学习表示的不变性属性和泛化误差之间的关系。

    Jun, 2017

  • 学习正交解缠表示以实现公平性

    本文提出了一种新颖的分离方法来解决不变表示的问题，通过正交约束作为独立的代理来将有意义和敏感表示分离，并通过熵最大化来明确地强制有意义的表示对敏感信息不可知。该方法在公开的数据集上进行了评估，并将其与最先进的方法进行了比较，证明其在处理公平性和不变性方面具有最先进的性能。

    Mar, 2020