通过对抗遗忘实现不变表示
本文提出了一种统一的不变性框架，可用于训练神经网络，从而使其在不使用任何附带标注的同时将数据的无关因素与数据相互独立，但也可以使用关于有偏因素的标记信息，强制将其从潜在嵌入中去除以实现公平预测。该模型在不使用标记信息的情况下优于先前的工作，并在公平性设置中实现了学习自由因素的最新性能。
May, 2019
该论文提出了一种新的无监督不变感知诱导框架，该框架通过竞争式训练和分解重构任务学习数据的分离表示，以抵抗干扰因素，并且无需任何标签的信息或领域知识。该无监督模型可以有效地使用合成数据增强来学习不变性和领域适应，并在诸如二元 / 多类别分类或回归等任何预测任务中应用。
Sep, 2018
本文提出了一种通过对抗学习策略学习能够抵抗特定数据因素影响的新型表示学习方法，并通过多个基准测试表明所提出的方法可以获取到不变表示，从而提高模型的泛化能力。
May, 2017
使用统计和信息理论的已建立原则，我们展示了深度神经网络中对无关因素的不变性等同于学习表示的信息最小性，而叠加层和在训练期间注入噪声自然偏向于学习不变表示。我们进一步分解了训练过程中使用的交叉熵损失，强调了内在的过拟合项。我们提出通过两种等效方式来限制这样的项的正则化损失：一种是使用 Kullbach-Leibler 项，它与 PAC-Bayes 视角相关；另一种是使用权重中的信息作为学习模型复杂度的度量，从而为权重提供了一种新的信息瓶颈。最后，我们展示出在神经网络中学习到的表示组件的不变性和独立性在权重中的信息上限和下限是有界的，因此在训练过程中自动优化。该理论使我们能够量化和预测使用我们的正则化损失时随机标签下欠拟合和过拟合之间的尖锐相变，我们通过实验证实了这一点，并阐明了损失函数的几何形状、学习表示的不变性属性和泛化误差之间的关系。
Jun, 2017
本文提出了遗忘与重新学习（forget-and-relearn）是一个有利于神经网络学习的新型方法，通过不断遗忘不必要的信息并强化对不同条件下有用的特征，来塑造模型的学习轨迹。其思想融合了图像分类和语言涌现领域的众多迭代训练算法，并通过遗忘不必要的信息来改善模型。通过分析，提出了关于神经网络迭代训练动态的一致性观点，并提供了一条清晰的路径向更高性能。
Feb, 2022
通过引入一种名为 “忘却以减轻过拟合（FOMO）” 的新型学习范式，交替进行随机遗忘权重子集和重新初始化权重的调节，以及强调学习可泛化特征的学习阶段，FOMO 成功缓解了强健过拟合问题，显著减小了最佳和最后的强健测试准确率之间的差距，并提高了最先进的鲁棒性，在标准准确性和鲁棒准确性之间提供了更好的权衡正。此外，FOMO 对 AutoAttacks 具有鲁棒性，并在许多实际情境中提高了泛化能力。
Feb, 2024
提出了一种弱监督信号和对比方法相结合的框架来同时学习解缠和不变表示，实验证明该方法在四个标准基准上均优于现有最先进方法，且无需对抗训练即具有更好的对抗防御能力。
Sep, 2022
提出了一种用于训练神经网络的框架，以识别和区分数据的预测和负面因素，并通过学习消除负面因素，从而实现对负面因素的不变性，从而实现对负面因素的不变性，并通过信息论框架和推导出的训练目标，实现了最先进的性能。
Dec, 2019
本研究探讨基于表示学习和深度神经网络的匿名化方法，介绍了一种新的训练目标，同时训练一个预测器和防止中间表征成为私有标签的预测值。该三子网络的基架对应输入到表征、表征到预测的常规标签和表征到预测的私有标签。在保留有关常规标签的信息的同时，摒弃与身份有关的私人标签信息的学习表征，从而实现了有关分类与匿名化任务（手写数字和情感分析）的成功演示。
Feb, 2018